現在網路上有很多 AI 聊天機器人服務,就連 ChatGPT、Copilot 也都有行動版,雖然免費用,但必須要有網路環境,你可以能會想嘗試看看有沒有什麼 LLMs 大語言模型可以直接在手機本地使用?這篇就要推薦一個 MiniCPM 可以做到,iOS、Android 都能安裝,而且除了有文字模型,連可分析圖片的模型都有。
不過要提醒一下,目前還沒針對手機推理模型進行深度優化和系統測試,所以手機記憶體如果太低的話,處理起來速度會有一點慢,中低階手機不建議使用。
MiniCPM 可在手機本地部屬的免費大語言 AI 模型,文字、圖片分析都支援
MiniCPM 是由中國面壁智能與清華大學自然語言處理實驗室共同開源的系列端側大模型,中文部份僅支援簡體中文,沒辦法用繁體中文回答。Android 的安裝方式很簡單,就下載 APK 檔即可,iOS 比較麻煩,iPhone 用戶可以到這邊閱讀教學。
而在 GitHub 專案中也有分享許多測試數據,他們號稱這模型即使比其他還要小,但各方面表現卻更加優勢,像是越級跟 Llama2-7B、Qwen-7B、Mistral-7B、MPT-30B 等相比,MiniCPM 的平均分數更高,英文和中文均分都遠超過其他越級對手,實際是否真的這麼厲害,就讓讀者們自行測試看看了:
也有手機測試數據,如果你的剛好有在名單上,可以看一下。我的是 Pixel 6 Pro 手機,我用起來是有一點慢,每次問問題都需等個 3~5 秒才會回覆:
我以 Android 手機為例,點擊上方進到 GitHub 專案後,滑到「手機部屬」列表,Android 就點擊下圖紅色框框那一個,會跳轉到另一個頁面,然後按 APK 連結即可下載:
照畫面指示安裝,安裝好後開啟:
會看到有兩個模型,上面 MiniCPM 2.0 是純文字,下面 MiniCPM-V 2.0 是支援圖片分析處理,檔案不會很大。下載好後會變成類似備忘錄的圖示:
點入就可以開始聊天使用:
回應的長度還蠻長的,根據它的說明,它除了能提供資訊、回答問題、寫程式幫助、語音識別等功能之外,還支援智慧家居控制。我有測試過叫它用繁體中文,它說它可以,但一樣還是繼續使用簡體中文回答:
我實測也確實可以離線運行,上方我就是用飛航模式測試的。不過因為還沒有優化,我測下來速度真的有一點慢,就實用性來說,我是覺得完全沒用處。
MiniCPM 的模型也有放在 Hugging Face 上,有需要的人也能改用電腦測試,一樣在 GitHun 專案說明中可以找到載點,或是使用他們製作的線上版本。