2024-02-29 17:17:48

Nvidia 最近发布了新的“Chat With RTX”技术演示，该演示允许用户在 Windows 11 PC 上本地下载并运行 AI 聊天机器人。

该技术演示是免费的，可以通过 Nvidia 网站下载。该演示需要 Nvidia GeForce RTX 30 系列 GPU 或更高版本，以及 8GB 视频随机存取存储器 (VRAM)。

该演示可让您个性化自己的 GPT 大语言模型 (LLM) 并将其连接到您的内容。使用该软件，您可以查询自定义聊天机器人，以根据您提供的视频或文档快速获得“上下文相关的答案”。Nvidia 强调，由于 Chat With RTX 在您的 PC 上本地运行，“您将获得快速、安全的结果。”

Nvidia 在其博客文章中表示：“Chat with RTX 不依赖基于云的 LLM 服务，而是让用户在本地 PC 上处理敏感数据，而无需与第三方共享或连接互联网。 ”

聊天机器人支持各种文件格式，包括文本、pdf、doc/docx 和 XML。您所要做的就是浏览您的电脑，选择一个文档，然后输入您的查询。在视频示例中，程序扫描用户的笔记以找出他们的朋友推荐的餐厅。

Chat with RTX 的另一个很酷的事情是您可以向它提供 YouTube URL，该程序将加载视频的转录并允许您根据视频涵盖的内容进行查询。我发现这个功能非常方便，可以快速获取视频中特定点的答案或长视频的快速摘要。

Chat With RTX 只是一个技术演示，但它提供了 Nvidia 计划如何使其桌面 RTX GPU 充分利用 AI 技术的有趣一瞥。