雖然現在 App Store 有非常多 AI 聊天機器人 App，但都需要連上網路才能使用，對於部分用戶來說，可能會擔心隱私問題。而這篇就要推薦一個可實現在本地運行 LLMs 語言模型的開源免費 App「fullmoon: local intelligence」，目前支援 Llama 3.2 最新的 3b 和 1b 模型，在 App 內就能直接下載使用，不用安裝或進行任何麻煩設定，操作非常簡單。
fullmoon: local intelligence 實現在 iPhone 本地離線運行 LLMs 的免費 App
fullmoon 是一款免費開源 App，除了 iPhone 外，也支援 macOS 和 visionOS，有需要的人也能試試看。
目前提供的模型只有 Llama 3.2 的 3b 和 1b 模型，3b 部分我測試用中文對談沒問題，只是生成速度會慢一點，但回答的長度比想像中長非常多。
首次打開 fullmoon 後，就能選擇你要下載的模型，如果你的 iPhone 沒有太舊的話，像是 iPhone 13，我測試 llama-3.2-3b-instruct-4bit 沒問題，回應速度雖然慢一點，但可以接受。1b 的話一定更快，不過參數較少，獲得的回覆品質一定會差一點：
模型下載完成後，就可以開始跟 AI 聊天：
我還刻意開啟飛航模式，並把 WiFi 關掉，來測試是不是真的本地運行，結果果然是，就算是沒網路情況下，也能跟 AI 聊天：
雖然跟一些比較大的語言模型相比，3b 的參數還是太少，但我認為回覆品質已經很不錯，更何況我是要求中文回答。不過還是能注意到，某些用詞 AI 會突然改成英文，像是下圖右邊第七點尋求幫助，最後應該是尋求他們幫助，結果 AI 變成 ABC，回答成尋求 their 幫助。第八點也是，突然用英文 practice sell-care。但這不影響使用，還是看得懂：
讓我蠻驚豔的是，沒想到我簡簡單單問「要怎麼解決金錢焦慮」的問題，llama-3.2-3b-instruct-4bit 也能回答一大串內容，一般這種小模型大多都是短短回覆個幾句。
按左上角功能圖示，可以查看所有聊天紀錄，開啟新聊天室窗也是從這邊。模型部分也可以切換和下載其他新的：
另外在設定中，還能調整外觀，如果你覺得預設的不喜歡：
比較可惜是，這 App 沒有提供添加提示詞（Promp）的功能，也可能之後才會加入。
這 App 是開源軟體，有在 GitHub 分享原始程式碼，有需要的人可以去看看。
