PCIe高速I/O介面：韩国AI晶片产业应用现况

除了晶片本身设计需展现优势攻进人工智慧（AI）市场，抢占一席之地之外，PCIe高速讯号传输介面规范已成为支持实现人工智慧的关键应用技术，因此各家产品相当重视PCIe的应用效能。PCI-SIG是研发PCIe、建立一致性应用规范及提供正式合规认证的全球性组织，每年度都会到世界各国家推广说明最新一代PCIe应用的相关资讯。

今（2024）年9月PCI-SIG DevCon开发者大会於韩国首尔举行，此次主题介绍最新PCIe 6.0应用及测试规范，根据PCI-SIG协会发布，当天现场叁加者所属的公司类别，结构已从往年广为人知的几家巨型企业转变成数十家科技企业或AI新创公司，其中包括来自台湾的艾飞思科技（iPasslabs）；而PCIe 6.0最终版应用规范预计2025年Q1发布正式推出合规规范。

图一 : PCI-SIG DevCon Korea 2024现场照片（source：艾飞思科技）

在经过实际走访数家AI晶片新创公司以後，真实感受到韩国的相关产业正在积极发展并迅速成长，许多从全世界大型科技企业出来的人才自立门户创立公司，这些公司各自发展不同的AI相关技术产品，包括神经处理器（Neural network Processing Unit；NPU）及资料处理器（Data Processing Unit；DPU）等，应用范围从资料中心到边缘计算，皆强调高效能、低功耗且低成本，各家期??能在全世界AI市场占有一席之地为目标。兹举例说明如下：

FuriosaAI

FuriosaAI由来自三星、高通、AMD的工程师於2017年创立，在今年八月的 Hot Chips大会上，发表第二代AI加速卡「RNGD」，预计将於2025年初广泛上市。

RNGD致力於成为资料中心最有效率的大型语言模型（LLM）和多模型推理加速器，在以传统晶片制造商所主导的市场上，RNGD 因其高性能、可编程性和低功耗的优势而备受关注，RNGD的初期测试显示，在大型语言模型（如GPT-J和Llama 3.1）上取得了令人鼓舞的成果。

单张RNGD PCIe 5.0卡对於约100亿叁数的模型能够提供每秒2,000到3,000个token的吞吐量，值得关注的耗电部分，TDP仅150W，相比之下着名的GPU则超过1000W的功耗。并结合先进技术，包括48GB的HBM3记忆体、创新的张量收缩处理器（Tensor Contraction Processor），以及完整软体堆叠搭配通用编译器。

今年5月FuriosaAI与艾飞思科技（iPasslabs）合作，艾飞思科技为首版晶片提供「PCIe 5.0 合规前期性测试」服务。RNGD既顺利於7月通过认证，被列入官方 PCI-SIG合规产品名单，首版晶片样品仅三个月便「一次通过」，这显着表现将使RNGD未来能成为数据中心和大型语言模型推理的最隹应用解决方案。

图二 : FuriosaAI’s AI加速卡RNGD，下方一排即是PCIe。（source：艾飞思科技）

DEEPX

DEEPX是笔者此次实际拜访韩国AI晶片新创公司之一，印象颇深刻，DEEPX是边缘人工智慧晶片新创公司，NPU模仿人脑运作，具有低耗能和降低生产成本的优点，DEEPX为不同电子设备的AI应用设计硬体及软体模组产品，推出包含4款晶片组成的All-in-4 AI 全面解决方案，因为多项专利技术革新还获得2024 CES展3项创新?。

举例来说，DX-M1是DEEPX的旗舰AI晶片，DX-M1精心设计以便无缝整合至各种AIoT应用中，可同时支援处理多达16个多频道视频，并能以每秒超过 30帧（FPS）的速度进行即时AI计算处理，PCIe通道，DX-M1封装在M.2模组中，使任何人都能轻松在开放硬体平台上运行AI。

图三 : DEEPX DX-M1 晶片架构图（source：艾飞思科技）

PCIe已成为最主要且普遍的I/O介面，运算晶片与各种周边装置以及其他I/O介面透过PCIe相互连结，作为高速资料传输功能。

由於生成式AI近两年潮流兴起，为了因应AI晶片计算出的资料能够大量且高速传输到其他应用平台，并且要求低延迟、低功耗，PCI-SIG持续积极研发更新一代，才能让高效能AI晶片实际应用在现实生活中。目前大部分AI晶片相关产品高速讯号传输介面使用到PCIe 5.0，PCIe 6.0 正式可认证的测试规范则预计於2025年初释出。

PCIe 6.0传输速度加倍，从PCIe 5.0的32GT/s至64GT/s，PCIe 6.0为了提升传输速度选择采用PAM4（Pulse Amplitude Modulation 4-levels）编码，透过前向错误更正（Forward Error Correct）和循环冗馀检查（Cyclic Redundancy Check）减少PAM4讯号传输相关的位元错误率，Flit（流量控制单元）基於编码支持PAM4调变，并且与FEC和CRC共同执行，以实现双倍频宽。

图四 : PAM4眼图（source：艾飞思科技）

相较之下，PCIe 6.0 Compliance test（合规验证）比对之前的5.0验证规范多了两项测试：RLM（Ratio of level mismatch）以及SNDR（Signal-to-noise and distortion ratio）。

RLM是衡量讯号不同电平之间不匹配程度的指标，不同电平之间的距离应该是一致的，以确保讯号准确性；由於硬体设计或讯号传输过程中的不理想情况，可能会出现不匹配现象，RLM帮助检测电平之间不匹配的程度，以确保讯号的可靠性。SNDR表示讯号与噪声和失真之间的比值，包括所有的噪声和失真成分。SNDR数值越高，表示讯号质量越好，噪声和失真相对成分越少。

结语

随着全世界科技迅速发展，不仅是近两年掀起热潮的生成式AI，亦或是元宇宙、云端伺服器及无人车等，巨量资料传输、高效能、低延迟，以及日益关键的低耗能，各种科技产品需具备这些特性，因此产品设计结构益趋复杂，尤其I/O介面讯号传输应用技术，在研发阶段变得越来越困难。

然而，如今科技产业链已为百家争呜、兵家必争之地，技术更迭速度加快，产品更需竞争优势，时间、金钱、成本皆高效率，更是成为各家科技公司追求的关键。

台湾艾飞思科技执行长沈忠荣表示，由於他在讯号量测业界已从事20馀年的丰富经验，因此对於科技界的演化感受深刻，尤其是PCIe及High-Speed Ethernet I/O介面，因应AI以及智能车辆，无人机等科技的相关应用需求，每新一代推出到市场的时间间隔以惊人速度从原来6到7年缩短成2至3年的时间。

台湾艾飞思科技致力於高速讯号技术的最新开发，并且是PCI-SIG的工作小组成员之一，不仅叁与研发技术会议，每两个月就会叁与PCI-SIG Compliance Test Workshop 合规验证测试项目。

从设计阶段的SI/PI模拟分析、晶片实际开发後的验证除错，可称为「合规前期性测试」（Pre Compliance Test），至最後官方PCIe认证阶段，艾飞思科技团队能在Workshop现场成为最前线救援，协助顾客顺利拿到认证，节省时间金钱成本，就如同团队协助韩国FuriosaAI客户，仅花两至三个月的时间即得到PCIe 5.0一致性合规认证。2025年後将有更多AI产品应用PCIe 6.0作为资料传输通道，台湾艾飞思科技将为产业顾客提供最隹化解决方案。