NVIDIA为运行RTX40和RTX30GPU的Windows11PC带来高达5倍的AI加速
NVIDIA正在为数百万台由其最新RTXGPU提供支持的Windows11PC带来人工智能工作负载的巨大加速。
继之前的公告之后，NVIDIA现在透露，TensorRT-LLM正在添加到Windows11中，并将在11月21日在最新驱动程序套件中发布时为超过1亿RTX用户启用。这一消息是在Microsoft的Ignite大会上宣布的，这是一个讨论人工智能的未来以及随着我们的发展它将如何改变Windows生态系统的重要活动。
TensorRT-LLM为RTX40和RTX30GPU所有者提升AI能力
今天，NVIDIA确认TensorRT-LLMAI加速将适用于所有具有超过8GBVRAM的RTX台式机和笔记本电脑。除了TensorRT-LLM之外，NVIDIA和Microsoft还带来了DirectML增强功能，以推动稳定扩散和Llama2等流行的AI模型。
拥有支持TensorRT-LLM的NVIDIARTXGPU意味着您可以在本地使用所有数据和项目，而不是将它们保存在云中。这将节省时间并提供更精确的结果。RAG或检索增强生成是通过使用本地化库来更快地获得AI结果的技术之一，该库可以填充您希望LLM经历的数据集，然后利用该LLM的语言理解功能为您提供准确的结果结果。
NVIDIA为运行RTX40和RTX30GPU的Windows11PC带来高达5倍的AI加速1
NVIDIA表示TensorRT-LLMv0.6.0的性能提升了5倍，该版本将于本月晚些时候推出。此外，它还将支持其他法学硕士，例如Mistral7B和Nemotron38B。
NVIDIA为运行RTX40和RTX30GPU的Windows11PC带来高达5倍的AI加速2
对于那些想要尝试最新版本的TensorRT-LLM的人，可以通过此处的官方Github链接进行安装，并且您还可以从NVIDIA的NGC资源获取最新的优化模型。
另一个关键更新是OpenAI，这是一种非常流行的基于人工智能的聊天API，具有广泛的应用程序，例如帮助处理文档、电子邮件、总结Web内容、数据分析等等。再次强调，数据需要由用户手动上传或输入，因此对本地数据的访问相当有限，尤其是在数据集很大的情况下。
NVIDIA为运行RTX40和RTX30GPU的Windows11PC带来高达5倍的AI加速3
为了解决这个问题，NVIDIA和微软将通过一个新的包装器为OpenAI的ChatAPI提供API接口，该包装器不仅可以在WindowsPC上添加TensorRT-LLM加速，还可以让用户访问与在具有RTX的PC上本地运行类似的工作流程或在云中。因此，您不必将任何数据集上传到ChatAPI，因为整个数据集都可供ChatAPI使用，就像在本地可用一样。