2 月 18 日，NVIDIA 推出了基於 GeForce 硬體原生應用的生成式 AI，也稱為“Chat with RTX”，顧名思義，它是 NVIDIA 提供的具有 RTX 加速和其他技術的對話機械人。 該技術演示現已免費提供**，可供擁有 RTX 30 系列或更高版本 GPU（至少 8GB 視訊記憶體）的使用者在本地使用。
全球已有數千萬人使用基於雲的 AI 對話服務，RTX 聊天與現有此類應用程式之間有何區別？
Chat with RTX 通過檢索增強生成 （RAG）、NVIDIA TensorRT-LLM（大型語言模型）軟體和 NVIDIA RTX 加速，為原生 Windows PC 帶來生成式 AI 功能。 使用者可以快速輕鬆地將本地資料作為資料集連線到開源大型語言模型，例如 MISTRAL 或 LLAMA 2。
具體來說，Chat with RTX 可以承擔搜尋引擎的功能，類似於 Office 中 Copilot 的一部分，它可以直接從選定的檔案和其他材料中查詢內容，並為您總結答案。
Chat with RTX 支援多種檔案格式，包括文字檔案、PDF、DOC docx 和 XML。 使用者只需在應用程式中指定包含目標檔案的資料夾，應用程式就會在幾秒鐘內將目標檔案載入到庫中。 不僅如此，我們還可以提供 YouTube 等 *** 鏈結，然後應用程式會自動載入帶有 ** 和 ** 列表的資訊，讓我們可以直接查詢其中包含的內容。
與 AI 繪圖應用程式 Stable Diffusion 類似，“Chat with RTX”可以幫助使用者在 PC 桌面上處理敏感資訊，而無需與第三方共享或連線到網際網絡。
據 NVIDIA 稱，“Chat with RTX”技術演示基於 GitHub 上的 TensorRT-LLM RAG 開發者參考專案構建。 開發人員可以使用此參考專案開發和部署基於 RAG 並由 TensorRT-LLM 加速的面向 RTX 的應用程式。
小結。 隨著最近 OpenAI SORA 模型和 Chat with RTX 等應用程式的誕生，我們對 AI 未來的想象也越來越豐富。
試想一下，也許我們可以利用本地AI助手來實現更高效的編輯功能，不僅限於總結大塊資訊，還可以“基於這個**資料，幫我生成乙個漂亮的折線圖”，或者“總結一下這個文字資訊，幫我做乙個10頁的PPT”，或者“幫我把這部電影看完， 描述其情節結構，並生成乙個拉表（記錄每個鏡頭的故事板、攝像機運動、場景、音效等）文件“這樣的深度用法。
目前本地執行的Chat with RTX只是乙個demo版本狀態，功能比較簡單，支援的資料型別和**還不夠，期待這個專案的不斷演進。 如果能成為基於GeForce RTX硬體的“Copilot”原生版本，將為廣大使用者帶來更多價值。