國科會於 2023 年 4 月啟動 TAIDE 計畫,幾天前終於正式釋出 TAIDE 開源大型語言模型,讓每個人都能下載免費使用,還號稱這是一款台版的 ChatGPT,因此很多人一定都會想試試看是不是真的很猛,而這篇就要來教你怎麼安裝使用,其實就跟之前我們曾介紹過的 Google Gemma AI 一樣,透過 LM Studio 這款軟體。
教你在電腦裡安裝和使用專為台灣優化的「TAIDE 大型語言模型」,特別強化繁體中文輸入、輸出的效能
國科會這次釋出的 TAIDE-LX-7B 模型,是以 Meta Llama-2-7B 為基礎進行訓練,共有 70 億參數,最大特色在特別針對繁體中文輸入和輸出效能進行強化,導入台灣不同領域可用的文本與訓練素材,以提高模型在正體中文回應的能力與特定任務的表現,並額外擴充繁體中文的字元和字詞,讓生成出來的文本更有台灣特色。
訓練資料大約為 140G,包括中央社和 ETtoday 的新聞、立法院公報、光華雜誌、今週刊、教育部國語辭典、成語辭典等等。
下圖是官方分享的評測結果,可以看到 TAIDE 的中英翻譯雖然還是輸 GPT3.5,但比 LLAMA2 模型都還來的強,摘要也是,甚至寫文章和寫信分數還比 GPT3.5 更高,意味著這可能是對台灣用戶來說,最適合的 LLMs 大型語言模型:
如果你對這模型有興趣玩玩看,可以使用以下方法。
LM Studio 支援 Windows、Mac 和 Linux 作業系統,下載後就能直接打開使用。當然,如果有其他能運行 LLM 大型語言模型的軟體也行,不一定要用這款。
LM Studio 有整合 Hugging Face 資料庫,所以可直接在軟體中下載安裝所有提供的 LLMs 大型語言模型。
打開軟體後,在搜尋中輸入 TAIDE:
接著就能找到模型載點,選第一個,右側會有多種模型版本選項,這就看你的需求,簡單來說檔案越大的版本,效能會越好,我是下載 Q8 這一個:
補充:
TAIDE-LX-7B-Chat:以 TAIDE-LX-7B 為基礎,透過指令微調 (instruction tuning) 強化辦公室常用任務和多輪問答對話能力,適合聊天對話或任務協助的使用情境。TAIDE-LX-7B-Chat 另外有提供 4 bit 量化模型,量化模型主要是提供便利性,可能會影響效能與更多不可預期的問題。
點擊 Download 下載後,底部會顯示下載進度,等它跑完,會需要一點下載時間:
完成後,按左側的 AI Chat,打開上方 Select a model to load 選單,就能看到 TAIDE-LX-7B-Chat 模型:
接著就能開始聊天了:
至於是不是真的很強?如果是跟 Llama2 模型相比,確實如此,繁體中文好非常多,翻譯品質我也覺得還不錯:
問問題給予的回答我覺得也很好:
摘要總結整體也不錯,但還是有一些細節蠻奇怪的,像是我貼的這篇 Google 雲端硬碟深色模式內容就有幾句怪怪的,如:「要注意的是,深色模式僅適用於Google雲端硬碟網頁版,開啟檔案、文件、表格、幻燈片等內容時,其背景顏色會變更為另一 Google服務中的預設顏色」:
標題還會強調目前只能生成繁體中文: