隨著 LLM 模型越來越厲害,即使是參數不大的版本也能提供不錯效能,因此越來越多人會想在本地安裝並運行 LLM 語言模型。而近日 AMD 也加入戰場,推出自家的 GAIA 聊天機器人,而且不像 NVIDIA,AMD 是開放給所有電腦用,就算是電腦裡沒有任何 AMD 硬體,也能安裝使用。有 Razen AI 處理器的用戶,還可以安裝優化版本,速度會更快。
AMD 推出 GAIA 本地 LLM 聊天開源工具
近日 AMD 在官網上宣布推出全新 GAIA 本地 LLM 聊天開源工具,根據介紹,GAIA 能夠在 Windows PC 上執行多種大型語言模型,透過開源的 Lemonade SDK 進行推論運算,用戶可針對不同任務來切換模型,像是摘要生成、複雜推理等。目前能安裝的模型有 Llama 系列、DeepSeek 系列。
此外,GAIA 也具備 RAG 代理系統,結合模型與知識庫,來提升回應的準確性與上下文理解能力。
目前 GAIA 支援四種代理模式:
- No Agent:無代理介入,提供最直接的 LLM 測試方式,適合開發者進行模型互動與效能評估。
- Chaty:帶有對話歷史的 AI 聊天機器人,可與使用者自然互動,進行上下文連貫的交流。
- Clip:一款結合 RAG 架構與 YouTube 搜尋 / 問答功能 的代理,能擷取影片內容並回答相關問題。
- Joker:運用 RAG 架構生成笑話的幽默型代理,為對話增添趣味與娛樂性。
GAIA 提供二種安裝程式,一個是可在任何 Windows PC 上安裝使用,另一個 Hybrid 安裝程式,則是專為搭載 Ryzen AI 處理器的電腦優化,可調用 NPU 與 整合式 GPU,大幅提升 AI 計算效能。
按上方連結進到 GitHub 頁面後,目前最新版本是 v0.7.4,滑到 Assets 區塊,下載適合你電腦的版本,我電腦處理器不是 AMD Ryzen AI,所以我下載沒有 Hybrid 字的安裝檔:
首次打開會跳出這警告,按其他資訊:
接著就能看到仍要執行的按鈕:
安裝過程一直按下一步就好:
這款運行時會需要一些依賴,過程中也會一併詢問是否要安裝,點是就對了,包括 Python 3.10、Miniconda、FFmpeg、Ollama 等:
安裝完後,請打開 GAIA-UI 這一個,就會看這介面,預設會自動下載 Llama 3.2 1B Ollama:
Llama 3.2 1B Ollama 下載並安裝完成後,就能開始跟 AI 聊天,預設是 Chaty 模式:
Llama 3.2 1B 模型也支援中文回答:
下方可以切換其他模型,首次使用需要下載安裝:
實測 DeepSeek R1 7B Ollama 也成功:
左側選單則是切換代理模式:
Clip 需要輸入 YouTube API 才能運作:
相較於 LM Studio、AingDesk 等工具,AMD 的 GAIA 還是陽春不少,也不支援中文介面,因此可以玩玩看,但比較推薦給 Ryzen AI 電腦用戶使用。