NVIDIA TensorRT-LLM增强了H100 GPU上大型语言模型推论能力

大型语言模型提供极为出色的新功能，扩大人工智慧潜在的应用领域。不过其庞大规模与独特的执行特性，很难用具成本效益的方式来使用它们。

图一 : NVIDIA TensorRT-LLM增强了 NVIDIA H100 GPU 上大型语言模型的推论能力

NVIDIA 不断与 Meta、AnyScale、Cohere、Deci、Grammarly、Mistral AI、MosaicML（现已成为 Databricks 的一员）、OctoML、Tabnine及Together AI等重点企业密切合作，以加快大型语言模型的推论速度及取得最隹的推论结果。

这些创新项目已经整合进开源型态的 NVIDIA TensorRT-LLM 软体，将在未来几周内发布。TensorRT-LLM 由 TensorRT 深度学习编译器组成，包括经最隹化调整的内核、前处理和後处理步骤，以及多GPU／多节点通讯基元，可在 NVIDIA GPU 上创造出突破性的效能表现。它让开发人员能够尝试新的大型语言模型，提供峰值效能和快速自订功能，而无需具备深厚的 C++ 或 NVIDIA CUDA 相关知识。
...
...

另一名雇主	限られたニュース	文章閱讀限制	出版品優惠
一般使用者	10/ごとに 30 日間	0/ごとに 30 日間	付费下载
VIP会员	无限制	25/ごとに 30 日間	付费下载