此技術演示允許任何擁有 RTX GPU 的人享受功能強大、可自定義的 GPT 聊天機械人。
february 13, 2024 by jesse clayton
在雲中基於 NVIDIA GPU 的伺服器的支援下，全球每天都有數百萬人使用聊天機械人。 現在，這些突破性工具將在搭載 NVIDIA RTX 的 Windows PC 上推出，以實現本地、快速、資訊定製的生成式 AI。
Chat with RTX 技術演示現已免費推出**，允許使用者在執行 NVIDIA GeForce RTX 30 系列或更高版本的 GPU（至少 8GB 視訊記憶體）上本地構建自己的聊天機械人。
問我一切。 Chat with RTX 通過檢索增強生成 （RAG）、NVIDIA TensorRT-LLM 軟體和 NVIDIA RTX 加速，為 GeForce 驅動的原生 Windows PC 帶來生成式 AI 功能。 使用者可以快速輕鬆地將桌面上的資料作為資料集，並連線到開源大型語言模型（如 Mistral 或 Llama 2）以快速查詢上下文相關內容。
使用者只需輸入查詢即可，而無需搜尋注釋或儲存的內容。 例如，使用者可以問：我的合作夥伴推薦哪家拉斯維加斯餐廳？ “與 RTX 聊天”工具會掃瞄使用者指向的桌面材料，並提供上下文答案。
與 RTX 聊天工具支援包括txt、.pdf、.doc/.docx 和XML 和其他檔案格式。 將您的應用程式指向包含這些資料的資料夾，“與 RTX 聊天”工具將在幾秒鐘內將它們載入到您的庫中。
使用者還可以新增來自 YouTube 和列表的資訊。 通過將 *** 新增到 RTX 聊天中，使用者將能夠將這些知識與聊天機械人整合，以進行上下文查詢。 例如，根據您最喜歡的旅行KOL發布的最佳內容詢問推薦的旅行內容，或從頂級教育資源中獲取快速教程和操作技巧。
與 RTX 聊天會將 YouTube 視訊內容的知識新增到查詢結果中。 與 RTX 聊天可以在 Windows RTX PC 和工作站上本地執行，而且使用者的資料保留在本地裝置上，因此可以快速傳遞查詢結果。 與依賴雲的 LLM 服務不同，“Chat with RTX”允許使用者在其 PC 桌面上處理敏感資訊，而無需與第三方共享或連線到網際網絡。
除了 GeForce RTX 30 系列 GPU 或更高版本（至少 8GB 視訊記憶體）之外，“與 RTX 聊天”還需要 Windows 10 或 11 以及最新的 NVIDIA GPU 驅動程式。
編者注：Chat with RTX 中目前存在乙個問題，即當使用者選擇其他安裝目錄時，安裝會失敗。 我們將在將來的版本中修復此問題。 目前，使用者應使用預設安裝目錄（C：UsersAppDataLocalNvidiaChatWithRTX）。
使用 RTXChat 和 RTX 開發基於 LLM 的應用程式顯示了使用 RTX GPU 加速 LLM 的潛力。 該應用程式是使用 GitHub 上的 Tensorrt-llm RAG 開發人員參考專案構建的。 開發人員可以使用此參考專案為 RTX 開發和部署基於 RAG 的私有應用程式，並通過 TensorRT-LLM 加速。 詳細了解如何構建基於 LLM 的應用程式。