Chat with RTX,英伟达的一个本地AI聊天工具,算是测试版的demo。

需要用 NVIDIA GeForce® RTX 30 或 40 系列 GPU 或配备至少 8GB VRAM 的 NVIDIA RTX™ Ampere 或 Ada Generation GPU

 

详情:https://www.nvidia.cn/ai-on-rtx/chat-with-rtx-generative-ai/

下载

https://us.download.nvidia.com/RTX/NVIDIA_ChatWithRTX_Demo.zip

 

Chat With RTX 是一个 Demo,用来将您自己的资料(文档、笔记、视频或其他数据)与大语言模型建立连接,从而令 LLM 更具个性化。利用检索增强生成 (RAG)、TensorRT-LLM 和 RTX 加速,您可以与自定义聊天机器人对话,快速灵活地获得聊天机器人根据您的内容给出的见解。此外,由于 Chat with RTX 完全在 Windows RTX PC 或工作站本地以安全的方式运行,因此您可以更快获得更满意的结果。