這一年各大品牌可說都大力發展生成式 AI,像是微軟、Google、Meta 等,陸陸續續都推出多個版本的 LLMs 大型語言模型,而 Apple 就低調很多,即便 iPhone 16 系列有相關傳聞出現,也是沒有太多細節。終於在稍早,Apple 釋出全新「OpenELM」開源大型語言模型,而且還標榜是一款高效模型,可在筆電、手機這種硬體規格較低的設備裡離線運行,目前共有 4 種模型版本。
Apple 推出 OpenELM 開源大型語言模型,可在筆電和手機上運行
稍早 Apple 在 Hugging Face 分享全新 OpenELM 開源大型語言模型,全名是 Open-source Efficient Language Models,就如同名字上的高效,這是一款鎖定對硬體要求沒那麼高的設備,像是筆電、手機,相對模型的指令參數也沒那麼多。
OpenELM 開源大型語言模型共釋出 4 個版本,另外還有 4 個 Instruct 指令調教版本:
- OpenELM-270M
- OpenELM-450M
- OpenELM-1_1B
- OpenELM-3B
- OpenELM-270M-Instruct
- OpenELM-450M-Instruct
- OpenELM-1_1B-Instruct
- OpenELM-3B-Instruct
因此最大的模型參數也就是 3B(30 億),相較於其他高效能模型少蠻多的,這也是為什麼可在筆電和手機本地運行的原因。不過要注意是,這裡說的規格沒那麼要求,是跟電腦相比,如果是同等級,你所使用的筆電、手機硬體還是不能太差。
Apple 也有提供一些效能跑分測試分數,LLM360 訓練的前提下,最強 OpenELM-3B-Instruct 的 ARC-c 準確率為 47.70%,HellaSwag 常識推理測試為 76.87%, WinoGrande 數學推理則是 67.96%,所有測試的平均是 51.22%:
就以上分數來說,OpenELM 的效能不是說非常亮眼,但根據已經在測試的用戶反饋,模型是很可靠,但非常的一致:
Apple just released 4 open source AI models:
Meet OpenELM Instruct – an apple Collection.
I am testing now, thus far solid model but very “aligned”.
More soon.
Article: https://t.co/anfRLAWfKw
— Brian Roemmele (@BrianRoemmele) April 24, 2024
目前 OpenELM 在 Hugging Face 還沒有 GGUF 格式,所以沒辦法直接透過 LM Studio、GPT4All、Jan 等這類軟體運行測試,必須透過指令來安裝,有興趣的人可以點我至 OpenELM 介紹頁面了解安裝步驟: