NVIDIA 推出能在本地運行的 Chat with RTX 聊天機器人，這篇教你怎麼使用

NVIDIA 也推出自己的 Chat with RTX 聊天機器人了！採用 LLM 大型語言模型，可直接在本地運行，無須透過網路，完全免費使用，不過僅限於指定 NVIDIA 顯示卡用戶，意味著如果你是用其他顯卡，或是比較舊的 NVIDIA 顯卡，那就沒辦法使用，下面就來教你安裝和該如何使用。

NVIDIA Chat RTX 的系統要求

作業系統：Windows 11
顯示卡：NVIDIA GeForce™ RTX 30 或 40 系列、NVIDIA RTX™ Ampere 或 Ada Generation 顯卡且至少有 8GB VRAM
記憶體：16GB 以上
顯卡驅動程式版本：535.11 以上

Chat with RTX 是一個能在本地運行的聊天機器人，因此需要將 AI 模型安裝到電腦裡，檔案還蠻大的，至少要 60GB 以上，安裝檔壓縮檔也達到 35GB，所以儲存空間建議至少保留 100GB 比較好，網路速度也不能太慢，要不然 35GB 會下載非常久。

點擊上方連結下載 Chat with RTX 安裝壓縮檔，解壓縮後，會看到這四個檔案，點 “setup” 這個安裝檔：

安裝如果沒有特殊需求，一直按下一步就好，模型就是 Mistral 7B INT4 這一個，關於 Chat with RTX 的詳細介紹可至 GitHub 專案頁面了解：

安裝完成後，打開會自動啟用命令提示字元，這邊就讓它自己跑完，不要去理會，也會花一點時間：

跑完之後，瀏覽器就會自動打開 Chat with RTX 的聊天頁面，左上角可選擇 AI Model（目前只有這一個），右邊則是聊天模式，預設為資料夾路徑（Folder Path），用於你想要查詢的檔案文件，支援 .txt、.pdf、,doc 三種格式：

聊天模式有三種，Folder Path、YouTube URL、AI Model，如果你是想跟 AI 聊天，就用 AI Model 這一個：

首先我測試 Folder Path 資料夾路徑，這邊有一點要注意是，資料夾名稱必須是英文（不包含 Windows 內建好的），中文會出現錯誤，檔案名稱也是。我丟兩個檔案，pclooud 內容是關於 2024 新春優惠，video converter 內容是影片轉檔軟體：

我問「最推薦的VOB轉MP4軟體是哪一個」，PDF 檔案有提到這點，但它沒有找到，因此目前對中文的支援性不是很好，不過有找對相關文件，可以直接點擊打開來閱讀：

再來是問 pCloud 2024 農曆新年優惠，一樣 PDF 有提到，它沒找到，而且回答中還出現亂碼：

接著我測試 AI 聊天，我問中文它可以理解，並回答對的內容，但是是用英文回答：

而我要求用中文回答，它確實改用中文回答，但是不是把上一段改成中文，而是回一個完全不相關的中文答案：

YouTube 部分，它是透過下載字幕方式來了解這部影片在說什麼，把網址填入後，按右邊的下載圖示就會開始下載字幕，我丟 MKBHD 最新 Apple Vision Pro 影片：

即使是英文影片，Chat with RTX 的彙整能力我覺得還有很大加強空間，像是產品名稱就錯了，明明是 Apple Vision Pro，硬是改成 NVIDIA Vision Pro：

影片中雖然沒有提到 Vision Pro 的售價，但有說這產品很貴，Chat with RTX 還無法沒辨別，所以回我找不到答案。如果是 ChatGPT 這等級的聊天機器人，就能正確回答說很貴：

由此可見，Chat with RTX 的大型語言模型還有很多進步空間，特別是對中文的支援性。外媒 PC GAMER 測試也認為實際用途非常有限，所以想玩的人不要有太高期待。