NVIDIA TensorRT-LLM增強了H100 GPU上大型語言模型推論能力 (2023.09.11)

大型語言模型提供極為出色的新功能，擴大人工智慧潛在的應用領域。不過其龐大規模與獨特的執行特性，很難用具成本效益的方式來使用它們。 NVIDIA 不斷與 Meta、AnyScale、Cohere、Deci、Grammarly、Mistral …