AI PC 的時代即將到來,即使在相對普通的系統上,你很快也可以選擇在沒有網路連接的情況下在畚箕運行一些 AI 功能。然而,你可能沒有意識到,儘管擁有 AI 加速器,這些電腦仍然需要大量的 RAM 和儲存空間才能順利提供本機 AI 功能。
AI PC 的到來將使接下來所有電腦規格有望提高
AI PC 具有本機處理能力
Microsoft 的 Copilot AI 功能是配備專用神經處理單元( NPU)的新一代電腦進入市場的主要原因之一,這也是為什麼新的 Surface Pro 裝置配備常見於手機中的 ARM Snapdragon 處理器的原因之一。目前,Copilot AI PC 的最低要求是具有 40TOPS 的 NPU,而這正是這些新晶片所內建的功能。
需要本機 AI 功能的原因有很多。它速度很快,你不會與其它用戶競爭資源,而且無須支付超出硬體成本的費用。為你的筆記型電腦提供與 ChatGPT 及其同時代產品相同的智慧。
即使是小型 LLM 也很大
問題是,這些 AI 模型非常大。最小且最高效的大型語言模型(LLM)可能需要 1 – 3GB 的記憶體,但並不是那麼聰明,隨著模型獲得的參數變得更加強大,同樣也會需要更多的空間。你透過網路存取所使用的雲端超級 LLM 大小可能有數百 GB,這些 AI 模型中擁有數十億甚至在某些情況下超過一兆個參數,不適合包含家用電腦、筆電這類小型設備上運作。
然後,這些 LLM 夠小,可以在智慧型手機上運行,例如 phi-3-mini,這更符合這些 AI PC 上實際運作的運作。
模型必須存在於 RAM 中
雖然 AI 模型佔用幾 GB 的空間可能聽起來沒什麼大不了,但你必須明白,整個模型必須存在 RAM 中才能發揮良好的性能。這些 NPU 是專門的平行處理器,負責處理這些虛擬神經網路上的數字,同時具備有數十億的參數。如果模型不在 RAM 中,那麼 NPU 就無法足夠快地提供結果,它會影響到 LLM 回覆的速度,或即時翻譯、影像生成等功能。因此,如果你希望按下按鈕或簡單地與電腦對話來使用 AI 功能,則該模型本質上需要保留所需的 RAM。
可以肯定的是,這些新 PC 都具有超快的 SSD,可以快速地將資料移入和移出 RAM,但除了 SSD 的額外耗損外,它的速度還是不夠快,無法讓一切順利運行,而且不要忘記你還是會想同時運行其他應用程式。如果每次你想讓 AI 做某件事時,你的電腦都必須將瀏覽器和其他應用程式從 RAM 轉儲到磁碟,那麼將不是一個很好的體驗。
16GB 是絕對最低限度
雖然 8GB RAM 對用於一般生產力和媒體消費的現代辦公室桌上型電腦或筆電來說仍然非常合適,可對於 AI 功能的 Windows 電腦根本無法在這麼小的 RAM 中好好運行,這就是為什麼 Microsoft 將 16GB 作為 Copilot PC 的絕對最低配置。
雖然對於普通的非 AI PC 來說這是一個非常健康的 RAM 容量,但總有一種感覺,對於一直在後台運行本機 AI 助理的 PC,這將更像是 8GB PC 再附加 AI,除非你禁用部分 AI 程序。
部分 AI PC 無法升級 RAM
如果你新買的 Windows AI PC 使用整合的系統單晶片或將其 RAM 永久焊接到主機板上(就像許多輕薄筆電的情況一樣),那麼無論系統配備多少 RAM 都會讓你陷入窘迫。這表示你必須從一開始就獲取所需的 RAM,否則待 RAM 不足時你只能換一台新電腦。
當然,你是否關心本機 AI 功能才是真正重要的。如果你並不在乎,那麼這些 Copilot PC 將 RAM 最低設定為 16GB 就太好了,只需停用或忽略 AI 部分就可以。事實上,除非你有一些具說服力的理由,否則完全跳過這些 AI PC 並堅持使用更主流的選擇。
另一方面,如果你對本機 AI 功能感到興奮,並且期待看到將來可以使用這些工具的多種方式,請不要止步於最低要求,除非你的設備允許你日後添加更多 RAM,否則從一開始就給自己留多一點充裕的 RAM 空間是最保險的做法。