隨著今年 AI PC 話題越來越火熱,NVIDIA 這幾個月可說動作頻頻,繼 5 月初稱搭載 NVIDIA RTX 顯示卡的電腦為 Premium AI PC 之後,稍早在官方部落格中,再次展現實測效能是怎麼碾壓其他家 AI PC,就是要讓所有用戶了解到 NVIDIA RTX 領先有多大,而且不只是桌面版顯卡,連筆電 GPU 也一樣。
NVIDIA 再次展示 RTX 40 系列的 AI 效能碾壓 AI PC,RTX 筆電也全勝
NVIDIA 在官方部落格中,分享一篇解碼 RTX AI PC 和工作站 AI 效能的文章,內容不斷強調更高的 AI 效能,將會為用戶省下大把時間和金錢。
NVIDIA 表示,近期有許多 Copilot+ PC 亮相,其 NPU 可以提供最高 40TOPS(高通),但他們只能完成一些輕量級的 AI 輔助任務。
AMD 最近推出的 Ryzen AI 300 可到 50TOPS,Intel Lunar Lake 也有到 48TOPS。雖然高了一點,但跟 NVIDIA RTX 系列還是有相當一大段差距。
現今很多生成式 AI 要求更高,而 RTX GPU 的效能能夠滿足更多任務,以最強的 RTX 4090 為例,可提供超過 1,300 TOPS。
下圖是 RTX 40 系列桌面顯卡的 AI 效能,就算是最低階的 RTX 4060,也有最高 242 TOPS:
RTX 筆電 GPU 也一樣,RTX 4090 Laptop GPU 可提供最高 686 TOPS,最低階的 RTX 4050 Laptop GPU 也有 194 TOPS:
當然,TOPS 並不能代表實際 AI 任務差距就這麼大,NVIDIA 也有分享 Jan.ai 的實測結果,並跟 AMD Ryzen 9 8945HS 比較。
如果使用 TensorRT-LLM,NVIDI RTX 4090 每秒可提供高達 170.63 tokens,相較於 AMD 的 11.57 tokens,高出非常多,達到 15 倍。就算是沒有 TensorRT-LLM 也快 8.7 倍:
雖然這樣比不太公平,但跟同樣是筆電的 RTX 4070 Laptop GPU 相比,NVIDIA 還是領先最高達 4.45 倍。
更值得注意的是,這張圖表還有提供 eGPU 的測試成績,使用 RTX 4090 也能獲得最高 9.07 倍的提升。
這也代表說,對於現有筆電,其實也能考慮使用 eGPU,一樣能獲得巨大的 AI 效能提升,不用重買一台 AI PC。
NVIDIA 最後也說到:「無論是遊戲還是生成式 AI,速度都是制勝關鍵。每秒兆次運算 (TOPS)、每秒圖片生成數、每秒生成 tokens 數量以及批次大小,都是衡量效能優劣的重要指標。」
在這部影片中,NVIDIA 還有跟 Apple M3 Max、M3 Pro 比較圖片生成速度,RTX 4070、RTX 4090 都大勝:
資料來源:NVIDIA