NVIDIA 也推出自己的 Chat with RTX 聊天机器人了!采用 LLM 大型语言模型,可直接在本地运行,无须透过网路,完全免费使用,不过仅限於指定 NVIDIA 显示卡用户,意味着如果你是用其他显卡,或是比较旧的 NVIDIA 显卡,那就没办法使用,下面就来教你安装和该如何使用。
NVIDIA Chat RTX的系统要求
- 作业系统:Windows 11
- 显示卡:NVIDIA GeForce™ RTX 30 或 40 系列、NVIDIA RTX™ Ampere 或 Ada Generation 显卡且至少有 8GB VRAM
- 记忆体:16GB以上
- 显卡驱动程式版本:535.11以上
Chat with RTX安装注意事项
Chat with RTX 是一个能在本地运行的聊天机器人,因此需要将 AI 模型安装到电脑里,档案还蛮大的,至少要 60GB 以上,安装档压缩档也达到 35GB,所以储存空间建议至少保留 100GB 比较好,网路速度也不能太慢,要不然 35GB 会下载非常久。
如何安装与使用 Chat with RTX
- Chat with RTX安装档下载页面
点击上方连结下载 Chat with RTX 安装压缩档,解压缩後,会看到这四个档案,点 “setup”这个安装档:
安装如果没有特殊需求,一直按下一步就好,模型就是 Mistral 7B INT4 这一个,关於 Chat with RTX 的详细介绍可至 GitHub专案页面了解:
安装完成後,打开会自动启用命令提示字元,这边就让它自己跑完,不要去理会,也会花一点时间:
跑完之後,浏览器就会自动打开 Chat with RTX 的聊天页面,左上角可选择 AI Model(目前只有这一个),右边则是聊天模式,预设为资料夹路径(Folder Path),用於你想要查询的档案文件,支援 .txt、.pdf、,doc三种格式:
聊天模式有三种,Folder Path、YouTube URL、AI Model,如果你是想跟 AI 聊天,就用 AI Model这一个:
首先我测试 Folder Path 资料夹路径,这边有一点要注意是,资料夹名称必须是英文(不包含 Windows 内建好的),中文会出现错误,档案名称也是。我丢两个档案,pclooud 内容是关於 2024 新春优惠,video converter内容是影片转档软体:
我问「最推荐的VOB转MP4软体是哪一个」,PDF 档案有提到这点,但它没有找到,因此目前对中文的支援性不是很好,不过有找对相关文件,可以直接点击打开来阅读:
再来是问 pCloud 2024 农历新年优惠,一样 PDF 有提到,它没找到,而且回答中还出现乱码:
接着我测试 AI聊天,我问中文它可以理解,并回答对的内容,但是是用英文回答:
而我要求用中文回答,它确实改用中文回答,但是不是把上一段改成中文,而是回一个完全不相关的中文答案:
YouTube 部分,它是透过下载字幕方式来了解这部影片在说什麽,把网址填入後,按右边的下载图示就会开始下载字幕,我丢 MKBHD 最新 Apple Vision Pro影片:
即使是英文影片,Chat with RTX 的汇整能力我觉得还有很大加强空间,像是产品名称就错了,明明是 Apple Vision Pro,硬是改成 NVIDIA Vision Pro:
影片中虽然没有提到 Vision Pro 的售价,但有说这产品很贵,Chat with RTX 还无法没辨别,所以回我找不到答案。如果是 ChatGPT 这等级的聊天机器人,就能正确回答说很贵:
由此可见,Chat with RTX 的大型语言模型还有很多进步空间,特别是对中文的支援性。外媒 PC GAMER 测试也认为实际用途非常有限,所以想玩的人不要有太高期待。