先前我們曾介紹過 NVIDIA 為 RTX 顯卡用戶打造自家 AI 聊天機器人「ChatRTX」,當時模型就只有 Mistral 7B INT4 這一個,中文的支援性不是很好,因此對中文用戶來說可能覺得沒有很好用,好消息是,近日 ChatRTX 迎來了重大改版,不僅加入更多模型(其中還包括針對中文優化),現在還能印型影片和聲音辨識,變得比前一版更加強大。
NVIDIA ChatRTX 聊天機器人迎來重大改版,支援更多模型、影像辨識和聲音辨識
近日 NVIDIA ChatRTX 宣佈推出新更新,加入聲音、影像和新 LLM 模型的支援性,新 LLM 模型包括有 Gemma、ChatGLM3、Llama2 13B,其中 ChatGLM3 就支援中文。
另外還有 OpenAI 的 CLIP 模型(對比語言影像預訓練),讓 ChatRTX 用戶輕鬆在本地透過文字搜尋圖片和照片內容,像是設定好路徑之後,你可以輸入「Hiking in the mountains」,ChatRTX 就能找出這路徑中符合爬山的照片:
官方廣告:
對於有興趣玩玩看新模型的人,可以到 NVIDIA 官網下載安裝,不過要注意有硬體規格限制,你必須要有 NVIDIA RTX 顯示卡:
- 作業系統:Windows 11
- 顯示卡:NVIDIA GeForce™ RTX 30 或 40 系列、NVIDIA RTX™ Ampere 或 Ada Generation 顯卡且至少有 8GB VRAM
- 記憶體:16GB 以上
- 顯卡驅動程式版本:535.11 以上
跟上一個版本不一樣在,安裝時會多一個 Whisper 的部件,這就是用於聲音辨識用,你可以講的方式跟 ChatRTX 聊天:
安裝好後打開,預設還是只會下載 Mistral 7B int4 這一個,按下方的 Add new models 來安裝新模型:
另外有一點要注意是,Google Gemma 和 Llama2 13B 這二個模型,有限制顯卡的 VRAM 必須在 16GB 以上,如果是以下就不會顯示,意味著無法下載。
像我的 RTX 3080 只有 12GB,沒有滿足條件,因此只有 ChatGLM 3 6B int4 和 CLIP 這二個:
選擇好要安裝的新模型,並打勾下方 License,再下載就會開始安裝:
模型檔案都蠻大的,會需要一點下載時間:
可以透過命令提示來查看進度:
下載完成後,畫面會跳出安裝提示,按 INSTALL:
等待它跑完就安裝好了:
接著在 Select AI model 中即可選擇你下載的模型:
我有測試 ChatGLM,雖然這模型有針對中文優化,但回覆時偶爾還是會發生回英文的情況:
而且同樣只能理解當前問的內容,像是沒辦法問或叫它處理上面的內容,我嘗試叫它把剛剛的英文內容翻成繁體中文,它就胡亂回答:
必須將要翻譯的內容一併貼給它,它才知道是要翻譯什麼:
按右上方的齒輪圖示,可以管理已安裝的 LLM 模型: