微軟重定義AI基礎建設　從擴算力轉向有效產出

AI算力需求持續攀升，資料中心競爭正從GPU與電力容量擴張，進一步轉向整體系統效率。微軟Azure雲端硬體與基礎建設總裁Rani Borkar於SEMICON Taiwan CEO Summit 發表主題演講，她指出下一階段AI基礎建設不應只以建置多少晶片、伺服器與運算容量衡量，而應聚焦「有效產出（useful yield）」，提高每一分成本與每瓦電力所能產生的Token與實際運算成果。

圖一 : 微軟Azure雲端硬體與基礎建設總裁Rani Borkar指出，下一階段AI基礎建設應聚焦「有效產出」，提高每一分成本與每瓦電力所能產生的Token與實際運算成果。

隨著Agentic AI等應用增加，AI系統對晶片、記憶體、網路及電力需求同步放大，單純增加硬體已難以持續支撐算力成長。微軟提出「silicon-to-systems」策略，從晶片一路延伸至系統，透過跨層設計（cross-layer design）整合記憶體、網路、電力、散熱、軟體、模型與工作負載，避免各零組件僅追求單點效能，改以整體基礎設施效率作為設計目標。

圖二 : 根據微軟設計與營運全球規模 AI 基礎建設的經驗，跨層設計（cross-layer design）將成為下一階段提升效率的關鍵。

在記憶體架構方面，微軟透過模型最佳化、記憶體管理、晶片與編譯器協同設計，提高Azure Maia AI加速器既有記憶體資源利用率；網路則導入雙層垂直擴展拓撲、客製化傳輸層，並將網路介面卡（NIC）直接整合至晶片，以減少網路硬體需求並提升運算效率。

電力也成為AI基建系統設計的重要環節。微軟從電網到晶片進行軟硬體協同設計，Azure Cobalt客製化CPU將更精細的電力控制整合至晶片，在維持運算效能下改善能源效率，目標是在相同兆瓦電力條件下部署更多伺服器。

這也意味AI資料中心供應鏈競爭正在改變，產業焦點將由單純追求GPU數量與資料中心規模，轉向晶片、HBM與記憶體、NIC與高速網路、電源管理、液冷散熱及系統軟體的協同最佳化。隨著算力與功耗持續上升，「每瓦能產生多少有效智慧」將逐漸成為AI基礎建設成本與競爭力的新指標。