現今許多企業逐漸採用生成式人工智慧（AI）與陸續推出各項新服務，使得對於資料中心基礎設施的需求大增。訓練大型語言模型（LLM）和即時提供由LLM支援的服務都不容易。在最新一輪的MLPerf 產業基準：Inference v4.1中，NVIDIA平台在各項資料中心測試項目裡領先。即將推出的NVIDIA Blackwell平台由於使用第二代Transformer引擎與FP4 Tensor核心，在處理 MLPerf 最大的LLM工作量Llama 2 70B之際，首次測試的結果顯示其效能較NVIDIA H100 Tensor Core GPU架構高出四倍。
NVIDIA H200 Tensor核心GPU在資料中心類別的各項測試裡出現，包括基準中最新加入有著467億個參數、每個token有129億個活躍參數的Mixtral 8x7B 混合專家（MoE）LLM。MoE模型能夠在單一部署中回答各式各樣的問題與執行更多不同的任務，讓使用者有更多種部署 LLM 的方式。MoE的效率更高，每次進行推論作業只要啟動幾個專家，代表提供結果的速度比類似的密集模型更快速。
多GPU運算的能力成為滿足當前運行LLM的即時延遲需求，NVIDIA NVLink和NVSwitch可在基於NVIDIA Hopper架構的GPU之間以高頻寬溝通，並為當今即時、具成本效益的大型模型推論作業帶來顯著優勢。而Blackwell平台加上有著72個GPU更大規模的NVLink 網域，將進一步擴展NVLink Switch的功能。
