微软重定义AI基础建设 从扩算力转向有效产出

AI算力需求持续攀升，资料中心竞争正从GPU与电力容量扩张，进一步转向整体系统效率。微软Azure云端硬体与基础建设总裁Rani Borkar於SEMICON Taiwan CEO Summit 发表主题演讲，她指出下一阶段AI基础建设不应只以建置多少晶片、伺服器与运算容量衡量，而应聚焦「有效产出（useful yield）」，提高每一分成本与每瓦电力所能产生的Token与实际运算成果。

图一 : 微软Azure云端硬体与基础建设总裁Rani Borkar指出，下一阶段AI基础建设应聚焦「有效产出」，提高每一分成本与每瓦电力所能产生的Token与实际运算成果。

随着Agentic AI等应用增加，AI系统对晶片、记忆体、网路及电力需求同步放大，单纯增加硬体已难以持续支撑算力成长。微软提出「silicon-to-systems」策略，从晶片一路延伸至系统，透过跨层设计（cross-layer design）整合记忆体、网路、电力、散热、软体、模型与工作负载，避免各零组件仅追求单点效能，改以整体基础设施效率作为设计目标。

图二 : 根据微软设计与营运全球规模 AI 基础建设的经验，跨层设计（cross-layer design）将成为下一阶段提升效率的关键。

在记忆体架构方面，微软透过模型最隹化、记忆体管理、晶片与编译器协同设计，提高Azure Maia AI加速器既有记忆体资源利用率；网路则导入双层垂直扩展拓扑、客制化传输层，并将网路介面卡（NIC）直接整合至晶片，以减少网路硬体需求并提升运算效率。
...
...

另一名雇主	限られたニュース	文章閱讀限制	出版品優惠
一般使用者	10/ごとに 30 日間	0/ごとに 30 日間	付费下载
VIP会员	无限制	25/ごとに 30 日間	付费下载