至今我們介紹過幾個可本地運行的 AI 聊天機器人,像是 LM Studio、Chat with RTX、GPT4All 等等,這些都需要安裝一個軟體後,再下載 LLM 大語言模型。如果你不想要這麼麻煩,或希望獲得一個綠色版的 AI 聊天機器人,那 llamafile 就是很不錯的選項,下載好指定檔案後就能直接執行,無需安裝任何東西。
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型
llamafile 是由 Mozilla Internet Ecosystem(MIECO)所製作的專案,有在 GitHub 上分享,跟其他大語言模型的 AI 聊天機器人軟體不一樣在,它執行之後會直接在瀏覽器中啟用聊天介面,因此不需要透過任何軟體,使用的大語言模型是 LLaVA,不僅支援聊天,也能分析圖片。CPU、GPU 都支援。
Windows、Mac、Linux 的用法不太一樣,下面我會示範 Windows 的執行步驟,簡單來說就是將檔案名稱改成 .exe 後,就能直接執行了,因此你可以把改好檔名的檔案放在隨身碟裡,這樣無論到哪一台電腦,都能啟用這個 AI 聊天機器人。
有很多聊天設置可以調整,像是 Temperature、Predictions、Mirostat 等等,連使用者名稱和機器人名稱,你都能自訂。聊天時可輸入中文,不一定要用英文,不過英文的準確度會比較高。
點擊上方連結進到 GitHub 專案後,在 Quickstart 段落中,下載第一點的 llava-v1.5-7b… 這一個,檔案為 3.97GB,需要一點下載時間:
下載好後,Windows 部份就在後面加上 .exe,然後按是:
接著點二下執行,會跳出這提示視窗,點「其他資訊」:
就會出現「仍要執行」的按鈕:
會跳出這視窗,等待它跑完:
瀏覽器就會打開 llama.cpp 這個聊天視窗,設定部份基本上不用動,你可以先玩玩看,等到回覆內容不滿意時,再來進行微調:
把你要問的內容輸入在底部框框,然後按 Send:
就能開始聊天了,實測支援中文,不過預設會用簡體中文,如果你想要它用繁體中文,記得特別說明要用「繁體中文回答」:
雖然是本地 LLM 大語言模型,但回覆的內容品質還是挺不錯:
我還有測試上傳圖片,要它分析有什麼元素,它也明確辨識出來,不過一開始是用英文回答:
我叫它給我繁體中文翻譯,也沒問題的翻成中文給我:
至於回覆速度,這取決於你的 CPU 和 GPU,配備夠好的話,回覆速度就很快,分析圖片需要消耗比較大的算力。