帳號:
密碼:
最新動態
 
產業快訊
CTIMES/SmartAuto / 新聞 /
NVIDIA Blackwell GPU首次測試結果 提高推論效能加倍
為生成式 AI 樹立全新標準

【CTIMES/SmartAuto 陳玨 報導】   2024年08月29日 星期四

瀏覽人次:【613】

現今許多企業逐漸採用生成式人工智慧(AI)與陸續推出各項新服務,使得對於資料中心基礎設施的需求大增。訓練大型語言模型(LLM)和即時提供由LLM支援的服務都不容易。在最新一輪的MLPerf 產業基準:Inference v4.1中,NVIDIA平台在各項資料中心測試項目裡領先。即將推出的NVIDIA Blackwell平台由於使用第二代Transformer引擎與FP4 Tensor核心,在處理 MLPerf 最大的LLM工作量Llama 2 70B之際,首次測試的結果顯示其效能較NVIDIA H100 Tensor Core GPU架構高出四倍。

NVIDIA Blackwell 在 MLPerf Inference 的基準測試活動中首次亮相,為生成式AI樹立全新標準。
NVIDIA Blackwell 在 MLPerf Inference 的基準測試活動中首次亮相,為生成式AI樹立全新標準。

NVIDIA H200 Tensor核心GPU在資料中心類別的各項測試裡出現,包括基準中最新加入有著467億個參數、每個token有129億個活躍參數的Mixtral 8x7B 混合專家(MoE)LLM。MoE模型能夠在單一部署中回答各式各樣的問題與執行更多不同的任務,讓使用者有更多種部署 LLM 的方式。MoE的效率更高,每次進行推論作業只要啟動幾個專家,代表提供結果的速度比類似的密集模型更快速。

多GPU運算的能力成為滿足當前運行LLM的即時延遲需求,NVIDIA NVLink和NVSwitch可在基於NVIDIA Hopper架構的GPU之間以高頻寬溝通,並為當今即時、具成本效益的大型模型推論作業帶來顯著優勢。而Blackwell平台加上有著72個GPU更大規模的NVLink 網域,將進一步擴展NVLink Switch的功能。

關鍵字: GPU  NVIDIA 
相關新聞
研究:Apple Intelligence可有可無? 其全面影響將在數年內逐步顯現
說比做容易? 解析高通意圖併購英特爾背後的深謀與算計
英特爾新一代企業AI解決方案問世
日立軌道公司採用NVIDIA技術推進即時鐵路分析
益登打造NVIDIA Jetson資源交流平台 助力落實AI應用
comments powered by Disqus
相關討論
  相關文章
» 行動運算方興未艾 繪圖處理器整合AI方向確立
» Raspberry Pi Pico 2主控晶片資安懸賞加時加碼
» Arduino Cloud:運用圖像小工具 使 IoT專案更吸睛
» Arduino 攝影串流:DIY 簡易操作步驟
» 2GB、50美元!第五代樹莓派降規降價


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.35.170.81.33
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: webmaster@ctimes.com.tw