现今许多企业逐渐采用生成式人工智慧（AI）与陆续推出各项新服务，使得对於资料中心基础设施的需求大增。训练大型语言模型（LLM）和即时提供由LLM支援的服务都不容易。在最新一轮的MLPerf 产业基准：Inference v4.1中，NVIDIA平台在各项资料中心测试项目里领先。即将推出的NVIDIA Blackwell平台由於使用第二代Transformer引擎与FP4 Tensor核心，在处理 MLPerf 最大的LLM工作量Llama 2 70B之际，首次测试的结果显示其效能较NVIDIA H100 Tensor Core GPU架构高出四倍。

NVIDIA Blackwell 在 MLPerf Inference 的基准测试活动中首次亮相，为生成式AI树立全新标准。

NVIDIA H200 Tensor核心GPU在资料中心类别的各项测试里出现，包括基准中最新加入有着467亿个叁数、每个token有129亿个活跃叁数的Mixtral 8x7B 混合专家（MoE）LLM。MoE模型能够在单一部署中回答各式各样的问题与执行更多不同的任务，让使用者有更多种部署 LLM 的方式。MoE的效率更高，每次进行推论作业只要启动几个专家，代表提供结果的速度比类似的密集模型更快速。

多GPU运算的能力成为满足当前运行LLM的即时延迟需求，NVIDIA NVLink和NVSwitch可在基於NVIDIA Hopper架构的GPU之间以高频宽沟通，并为当今即时、具成本效益的大型模型推论作业带来显着优势。而Blackwell平台加上有着72个GPU更大规模的NVLink 网域，将进一步扩展NVLink Switch的功能。