目前市面上有不少工具都能做到輕鬆在本地部署 LLM 模型，不過大多數都沒有中文，對於英文不太好的人來說，可能還是覺得有些困難，最近就發現到這款新的 AingDesk 免費開源工具，不僅支援多國語言，包括繁體中文，其模型庫清單還收納上百款，知名的 LLAMA、Gemma、Mistral、DeepSeek 等都有，一鍵輕鬆安裝移除。
更重要是，也內建知識庫功能，上傳檔案後，LLM 就能讀取你的文件。另外還有上網搜尋，重要的功能都有。Mac、Windows 都支援。
AingDesk 介紹和操作教學
AingDesk 是一款免費開源工具，在 GitHub 專案裡可獲得完整程式碼，開發者也有打包 Windows、Mac 安裝檔。
按上方連結進到 GitHub 專案後，就能找到 AingDesk 的安裝檔，目前最新版本是 v1.1.1，我安裝的是 Windows 版，也就是 win-1.1.1 這一個：
安裝過程就跟其他軟體一樣，沒特殊需求的話，一直按下一步即可：：
下圖是 AingDesk 的操作介面，非常簡單，首頁就是跟 LLM 聊天介面。預設已經安裝好 llava 模型，沒用過的人可以先試試看，如果你想安裝其他模型，就按左下方的「模型管理」：
會打開這畫面，提供超級多模型的安裝載點，不僅有 LLM、Vision、Embeding、Tools 分類，每一個模型還有簡介，這真的很讚。更棒的是，上方還會提供你的電腦硬體規格，包括處理器、記憶體、顯卡，並給予安裝模型大小的建議：
我搜尋 llama 每一個模型都有，最新的 llama 3.3 70b 也有：
Mistral 模型也是：
阿里巴巴開發的 Qwen 開源模型也找得到：
Google 的 Gemma 開源模型：
另外這款工具也有提供繁體中文，可以到設定裡面切換，我一開始使用忘了切：
找到想用的模型後，按旁邊的「安裝」，就會下載並自動安裝：
所有已安裝的模型，都能在已安裝分類中找到，不想要就按右邊的刪除：
聊天介面的上方可以切換模型：
我安裝的是 DeepSeek-R1 7b，一開始我問它是什麼模型，果然就回答是 DeepSeek：
丟問題給它之後，它就會開始深度思考，可隨時看到當前的思考狀態：
如果你想要丟檔案給 LLM 讀取，按左下方的新建知識庫後，首次會跳出要求安裝 bge+m3:latest：
安裝完成後，就能開始建立知識庫，輸入名稱和描述：
完成後，就能在這個知識庫裡上傳你的檔案，可依需求建立多個知識庫：
詢問 AI 之前，按下方的知識庫，把你要問的知識庫名稱給打勾，這樣 AI 就能讀取裡面的檔案了：
實測上網搜尋功能也成功：
