英伟达发布Chat with RTX用户可在本地构建人工智能聊天应用这几年各种人工智能项目非常火爆，加入各种人工智能项目开发学习的朋友越来越多，但是大多数人工智能项目的门槛都非常高，目前主要集中于少数企业级和工作室级专业用户。

　　比如说，各种基于人工智能的大型语言文字模型和声音模型的应用（比如ChatGPT和语音识别），需要极高的硬件算力和海量的训练内容，只有这样，最终识别精度才能达到一个比较理想、可以接受的状态，才具有真正的实用价值和商业价值。

　　另外，即使是最近两年比较火爆的各种AI绘图类应用，包括Midjourney、 Stable Diffusion等，这些项目对机器的性能（尤其是显卡）要求很高，而且还需要具备很多专业知识，普通人很难玩转。

　　下面小编将向广大有意学习研究人工智能项目的朋友，介绍一个对硬件和专业知识要求不高、轻量级的、运行在本地的人工智能项目。需要强调指出的是，这个项目并非来自于不知名的第三方，而是来自于英伟达，所以安全方面不存在任何问题。

　　这个项目就是Chat with RTX”，是一款智能聊天机器人应用项目，非常类似openAI的ChatGPT和百度的文心一言，其最直观、最核心的功能就是可以准确地回答用户的问题。

　　不管人工智能项目是部署在本地，还是在远程服务器云端，向其提出问题没有难度，难度在于后台如何准确地理解用户的问题，然后根据现有已掌握的知识库（相当于是经过训练后的模型），来准确地回答用户的问题，这才是核心所在。

　　用户下载安装Chat with RTX之后，可以向其提交硬盘上所存储的各种文件作为知识库数据源，包括.txt、.pdf、.doc、.docx、.xml等格式的文件，后台会自动分析、整理，生成属于用户自己的内容模型，该模型存储在本地，不会上传至任何第三方。

　　然后，用户就可以向它提问，Chat with RTX可以根据之前总结出的知识库来回答用户的问题，并会注明答案的来源和出处，请参阅上下两张图片。整体使用方法和体验与ChatGPT和文心一言类似，但它始终运行在本地，不需要联网。

　　需要强调指出的是，Chat with RTX是一个硬件、软件一体化的解决方案，该项目对硬件和软件一方面都有一定的要求，不过平心而论，这些要求并不高，这两年的主流配置均可满足。

　　最重要的就是显卡，英伟达表示该项目只有RTX 30和RTX 40系列显卡才支持，显存8GB以上，内存16GB以上，操作系统推荐Windows 11，但Windows 10也可以支持，显卡驱动程序版本至少要在535.11以上。

　　该项目的核心依赖于英伟达的TensorRT-LLM和检索增强生成 （RAG）这两项关键技术，英伟达后续将持续升级、改进这两项技术，提升性能。

　　TensorRT-LLM由TensorRT深度学习编译器组成，包括优化的内核、预处理和多GPU多节点通信技术，可以大幅提高AI性能。检索增强生成 技术（RAG） 是LLM的重要补充，可以提高生成式AI模型的准确性和可靠性。

　　总的来说，Chat with RTX是一个比较完善、轻量级的人工智能项目，对硬件要求不高，也不需要具备很专业的知识，对于广大人工智能学习研究爱好者朋友来说，这是一个不可多得的入门进阶案例，学习研究价值非常高。

　　目前，英伟达官网已开放Chat with RTX项目下载，正在使用RTX 30和RTX 40系列显卡有兴趣的朋友可以访问官网了解更多详细，安装体验一下。