账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
AI世代的记忆体
更多元、更高效能

【作者: 籃貫銘】2024年05月28日 星期二

浏览人次:【1313】

首先,到底什麽是AI运算,它跟一般的运算有什麽不一样?其实它是有点不一样,因为AI运算是专门处理AI应用的一个运算技术,是有很具体要解决的一个目标,而其对象就是要处理深度学习这个演算法,而深度学习跟神经网路有密切的连结,因为它要做的事情,就是资料的辨识。


它跟一般的传统运算是很大很大的不一样,它是很多的乘法加法的累计,所以要处理这种应用,一般的运算架构其实是会有点使不上力。也因为这样子,会去开发出特别的运算技术专门解决它。也因此AI的系统或处理AI的运算装置,都会有相对应的软硬体去解决,它跟一般的产业应用,也会被划分开来。


AI运算与记忆体的关联

至於AI运算在硬体架构上有什麽不同?对此我们必须要从资料处理的发展来理解。


在早期的时代,一般的资料只需要用CPU来处理,但随着大数据应用的崛起,以及人工智慧逐渐展露头角,资料量也开始呈现爆炸性的成长。而由GPU多核心与利於平行运算的特性,於是就被用来作为AI运算的主要处理单元。但随着资料量持续的成长,仅使用GPU似??又不是个最好的解决方案,除了成本高昂之外,也存在着高功耗的问题,并衍生出散热与系统稳定度的议题。


对此,运算架构就再多了一个运算晶片,也就是AI加速晶片。它主要是加速资料运算,尤其是针对神经网路这类资料处理与分析应用,且它是作为一个加速的辅助工具,并不是一个主要的运算的单元。


至於AI的应用,目前声势最大,也最广为人知的,就非生成式AI莫属。但这个部分是属大型云端服务商的领域,也就是AMD和NVIDIA主攻的市场,主要的业者包含AWS、微软和Google等,一般的中小型企业并无法进入,多数仅是成为其供应链的一员。


但除了云端的AI应用之外,还有另外一块也是AI的重点应用,就是边缘运算,而它跟云端运算不一样,是跟我们日常生活的装置都能有结合之处,包含AR/VR、智慧家庭、智慧音箱、智慧穿戴等,几??所有东西都可以有那种边缘运算的功能,而这里面,都会用到这种深度学习这种技术,因此也都有需要这种AI加速晶片的机会。



图一 : AI运算模型叁数都是存在记忆体当中,容量需要更大一点,同时要经常去存取记忆体,对频宽有更大的要求。
图一 : AI运算模型叁数都是存在记忆体当中,容量需要更大一点,同时要经常去存取记忆体,对频宽有更大的要求。

一般来说,AI世代的这个记忆体,主要是聚焦在运算辅助的记忆体,也就是挥发性的记忆体。那它跟AI运算有什麽关系呢?


我们可以想像在一个仓库里面,那里堆了很多的资料,而记忆体其实扮演的就是要把资料拿出来拿进去的角色。到了AI运算时代,这个人他会遇到什麽问题呢?首先,就是AI这个模型叁数都是存在记忆体当中,所以第一个影响,就是容量需要更大一点,因为当模型叁数都放到里面,就会对执行的运算空间产生影响。


第二个影响,就是AI运算必须要经常去存取记忆体,这样就会对频宽有大更的要求。就譬如一次拿的东西如果多一点的话,运作的效率也会比较高,处理的速度也会比较快;另外一个问题,是传统的运算的架构,记忆体多是属於外部存取的形式,所以当资料存取很频繁的时候,自然就会牵涉到效率与IO瓶颈的问题。


AI世代的关键记忆体技术

也因为这些容量、频宽、IO瓶颈的挑战,让AI世代的记忆体,开始朝向更大的容量、更大速度,同时也衍生出新的晶片架构,并刺激新的商业服务模式与新的记忆体技术的出现。


HBM高频宽记忆体

AI世代的第一个关键记忆体技术,就是目前火红的HBM(High Bandwidth Memory)高频宽记忆体。这个是由三星、AMD跟SK海力士共同发起的一个3D DRAM技术,现在已经变成一个产业标准。它最大特色就是一种采用TSV(Through-Silicon Via)技术的3D堆叠DRAM。


它的特色就是它的高容量,因为采用堆叠的方式,所以单一个晶片的容量就很大,另外也因为采用堆叠的方式,也会需要用新的方式━「Silicon interposer」来连接GPU。目前HBM已经到了第三代「HBM3e」这个版本,其频宽达到了每秒1.2TB,单晶片就具备24GB的容量。以美光的产品为例,其Host的这个设计就有8颗DRAM Die,并用TSV把它串起来,一层是3GB,8层的单晶片有24GB。



图二 : HBM已经变成一个产业标准。它最大特色就是一种采用TSV技术的3D堆叠DRAM。
图二 : HBM已经变成一个产业标准。它最大特色就是一种采用TSV技术的3D堆叠DRAM。

AI记忆体整合服务

第二个关键技术则是「AI记忆体整合服务」。不同於HBM是针对云端运算伺服器,AI记忆体整合服务则是专门针对边缘运算系统来提供的AI记忆体客制化的方案,它主要是透过结合3D堆叠与异质整合(先进封装)技术,来提高记忆体频宽与容量,同时也能减少系统功耗,并缩小晶片体积。而它可以采用2.5D的设计,也支援3D的记忆体设计。


目前市场上有提供此一服务的两家厂商就是台湾的华邦与??创。华邦提出一个叫做Cube的解决方案,它是customize Ultra bandwidth element的缩写.就是客制化高频宽元件。它其实是直接把这个DRAM也用类似HBM的方式,把DRAM堆叠起来。而华邦用的是一个3D TSV DRAM的KGD(Know good die),并再提供2.5D跟3D的前後段的制程服务,再加上技术谘询与interposer的附加服务。


??创则是提出一个叫做「memorial link」的AI记忆体平台,搭配的则是他们独家的RPC DRAM,并透过异直整合服务,协助客户将逻辑处理元件与记忆体整合起来。同样的,??创也提供一个软硬体平台,可以协助客户进行设计,并搭配後端的封装与制造服务。比较特别的是,??创的RPC DRAM是一种特殊规格的Reduced Ping Count DRAM,它的针脚只有标准DRAM的一半,但具备相同的频宽,因此尺寸较小且电耗较低。


而值得注意的是,这两家公司都是以提供记忆体晶片为主的公司,本身也有晶圆厂,其AI记忆体的服务方案是一种结合自家产品,再搭配上台湾的半导体供应链的一种服务模式。



图三 : ??创「memorial link」AI记忆体平台,使用自家RPC DRAM,并透过异直整合服务,协助客户将逻辑处理元件整合起来。
图三 : ??创「memorial link」AI记忆体平台,使用自家RPC DRAM,并透过异直整合服务,协助客户将逻辑处理元件整合起来。

CIM记忆体内运算

第三个关键技术,则是记忆体内运算(compute-in memory;CIM)。它的技术概念就是在要减轻CPU存取记忆体的负荷,所以在记忆里面先进行一些简单的逻逻辑处理。它有两个适用的场景,一个是分栏式资料储存应用,另一个则是平行运算,而这些就很适合AI运算来采用。


目前台湾的工研院也提出了这样的技术,他们提供的是一个Marco IP,能够直接在记忆体内进行运算,运算效能是传统的10倍,而且功耗仅有十分之一。而采用此技术的运算效能最高可以达到30TOPs(@ 4bit)。


因应AI运算的需求,旺宏电子也提供了特殊的CIM的技术产品。他们是在自己的3D NAND和NOR记忆体加入了这种运算的技术,让产品可以兼具储存跟运算功能,也就是他们新的一个产品线叫「FortiX」。旺宏把它称为「in memory search」,是在记忆体里先进逻辑处理,不用透过CPU就直接做资料查询,能够加速资料运算速度。


另一个则是力积电的AI记忆体平台,它是与子公司爱普科技、智成电子与智慧记忆体科技组成的AIM(AI Memory)平台,诉求Computing in Memory技术。但其实是把DRAM嵌在MCU里面,并把中间的I/O拿掉,整合无线的功能,接着透过堆叠跟封装的方式架构出一个AI记忆体的平台。不过这平台在2019年发布,近期并未有新的进展。


创新的AI记忆体

除了既有记忆体技术的转型和新型封装方式之外,创新的设计方法才是关键所在。目前也有一些新创公司运用创新的架构,研发出新型态的CIM运算记忆体方案,来抢攻AI运算市场,包含TetraMem与Mythic。


TetraMem它是2018年才成立的一个美国新创公司,主要成员都是华人,他最近也跟台湾的晶心科技进行合作,采用RISC-V的核心作为处理器。以其MX100 单晶片产品为例,该方案是一个边缘运算的AI加速晶片,号称是市场首款多层 RRAM(电阻式记忆体) 类比记忆体运算系统, 具有多个神经处理单元(NPU),每个 NPU 核心具有 64k 8 位元权重和 RISC-V 处理器,能够为小型卷积神经网路提供高效能的乘法累加(MAC)效率。


至於Mythic,它则是一家稍有历史的公司,目前是人工智慧方案的提供商,同样也是采用CIM技术的产品,它的M1076晶片,提供高达 25 TOPS算力,整合了 76 个 AMP 区块,可储存多达 80M 权重叁数,并执行矩阵乘法运算, on-chip的DNN模型执行与权重叁数储存,无需任何外部记忆体,适用於高阶边缘 AI 应用。


另外就是台湾的力旺(ememory),它们主要是记忆体IP供应商,近期也针对AI应用与神盾合作推出号称是全球首颗类比 AI 晶片,可应用在屏下大面积光学指纹辨识系统,这个技术是透过将指纹辨识软体和非挥发性记忆体(NVM)硬体技术结合,进行达成整合运算处理功能的记忆体。


图四 : TetraMem采RISC-V的核心,推出一种CIM技术的AI加速晶片。
图四 : TetraMem采RISC-V的核心,推出一种CIM技术的AI加速晶片。

结语

根据IDTech EX的市场研究资料,AI晶片市场在未来十年内具有庞大的成长潜力,特别在BFSI(银行、金融服务和保险业)、消费电子、IT和电信业等三大领域,其中IT和电信会位居主导的位置,并成为最大的市场,且其领先优势会越来越大;至於BFSI 的成长速度将会加快,并逐渐超过消费电子产品。


整体来说,随着AI应用的遍地开花,AI 晶片的市场也会随之水涨船高,与此之时,与AI运算息息相关的记忆体技术当然也会跟着一起蓬勃发展,而且不只是应用的场域越来越多,同时技术规格也将逐步提升,包含容量与处理速度,并激发出创新的记忆体技术。而那台湾这些老牌的记忆体公司也将获得新的活力泉源,并在AI时代找到自己的利基市场。


相关文章
运用返驰转换器的高功率应用设计
解析锂电池负极材料新创公司:席拉奈米科技
高级时尚的穿戴式设备
巴斯夫Ultrasim结合Moldex3D发挥最大效益
PLC+HMI整合人机加快数位转型
comments powered by Disqus
相关讨论
  相关新闻
» 英特尔为奥运提供基於AI平台的创新应用
» 豪威集团低功耗全域快门影像感测器适用於AR/VR/MR追踪相机
» ASML:第二季营收主要来自浸润式DUV系统销售动能
» 达梭系统与Mistral AI携手合作 加速生成式经济发展
» 国科会同意114年度科技预算额度 推动精准运动科技


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK87I4IFC5QSTACUKW
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw