账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
智慧手机的神经网路处理器时代
 

【作者: 籃貫銘】2019年02月26日 星期二

浏览人次:【11908】

为了改善电脑系统在资料处理上的效能,科学家将主意打到了人类的神经网路上。这个念头并不是神来一笔,而是观察到人类的脑神经在处理视觉、听觉和语言方面,有非常卓越的表现。


这种参考人类神经元结构所产生的资料处理程序,被称为「类神经网路」或者「人工神经网路(Artificial Neural Network,ANN)」,它就是一种模仿生物神经网路结构和功能的数学模型的演算法。


ANN技术其实已问世超过50年,且不断的进行改良和突破,例如卷积类神经网路(Convolutional Neural Networks,CNN)就是相当著名的一支,由于它的结构简单易用,因此发展迅速,并被广泛的运用在大型图像的处理上。


到了近几年,随着晶片技术的突破和人工智慧应用的崛起,让神经网路技术又进一步受到重视。目前主要的推力则是机器学习(Machine Learning),它是人工智慧的基础所在,而机器学习的核心是基于神经网路的多层资料处理技术的「深度神经网路(Deep Neural Network)」,也因此,想办法来提升神经网路资料处理的效能,就成了目前各家终端产品设计的突破点。


而眼前,最火热的战场,就是智慧型手机。


神经网路 智慧手机的新卖点

神经网路运算有多项优势,包含平行处理、内容定址记忆、容错特性、能处理一般演算法难以胜任的问题等,因此很适合运用在经常需要处理非常复杂的任务的应用上,而手机就是一个这样的产品。


智慧手机是当代人们每天都要随身的电子装置,它不仅时时要能连线上网,而且经常会同时开启多个App软体,影像和语音的处理更是家常便饭。而随着人工智慧功能的导入,更让手机功能的优化与执行变得复杂,此时,神经网路技术就成了最好的解决方案之一。


由于神经网路技术具有自我学习的能力,能学习使用者的操作特性,并设定出一个最佳的输入和输出的路径。因此一旦学习完成之后,后续的各项操作皆能相对以往的软体程序快上不少,对于使用者体验有大幅的改善。


目前主要的手机处理晶片供应商也已经在其解决方案中,加入了神经网路处理器的技术。


苹果Bionic处理器加入神经网路引擎

苹果的iPhone就是最著名的产品。苹果在2017年的iPhone A11 Bionic处理器上首度加入了神经网路处理引擎(Neural Engine)的技术。根据苹果的资料,这个神经网路引擎是一个双核的设计,每秒运算次数最高可达6000亿


次,能大幅提升机器学习的效能。



图一 : 苹果最新的A12处理器,神经网路引擎的核心数已达8个。(source: Apple)
图一 : 苹果最新的A12处理器,神经网路引擎的核心数已达8个。(source: Apple)

而实际的使用情形也证实苹果所言不假,神经网路处理技术的的确确让机器学习有了脱胎换骨的表现。也因此,苹果最新一代的处理器A12更进一步增强了神经网路处理单元的性能,更正确的说,是增加了4倍。


在硬体设计上,苹果的神经网路引擎是透过一块FPGA区域来达成,因此在机器学习性能上有很强的自定义能力。而在最新使用7奈米制程的A12处理器上,神经网路引擎的核心数已达8个(A11是双核),且每秒可进行5万亿次运算(约8.33倍),至于执行Core ML的速度则是上一代的9倍,但功耗却只有前代的十分之一。



图二 : 各家晶片商的神经网路运算技术比较。
图二 : 各家晶片商的神经网路运算技术比较。

也因为如此,采用A12处理器的iPhone学习能力惊人,除了能快速甚至即时的运行各项应用程式外,更能够迅速的辨认模式并做出预测,且不断的进行改良,堪称是当代最聪明的智慧型手机。也由于新的处理器,iPhone在智慧语音和影像辨识的能力有了绝伦的表现。


高通骁龙NPE技术 以DSP突破运算性能

神经网路技术的优势明显,各家手机处理器晶片商当然也就陆续投入相关的技术研发,高通(Qualcomm)就是其中一个。旗下的骁龙(Snapdragon)处理器就已经搭载了神经网路处理引擎(Neural Processing Engine; NPE)技术。



图三 : 高通Hexagon DSP神经网路执行性能,相比在CPU上执行,能快出5至8倍。(source: 高通)
图三 : 高通Hexagon DSP神经网路执行性能,相比在CPU上执行,能快出5至8倍。(source: 高通)

根据高通的资料,骁龙的NPE是一种整合了多种软硬体的元件,用来加速终端装置上(on-device)的AI功能,以改善使用者的体验,但原则上,高通的NPE是以软体为中心(software-centric)的解决方案。


而在软体架构上,高通的NPE是属于开放的架构,能支援多种神经网路的框架,包含Tensorflow、Caffe、Caffe2和ONNX,此外,高通也开发了自有的Hexagon Neural Network(NN)函式库,让开发者可以让其AI演算法在骁龙处理器里的Hexagon DSP上执行。


而在最新一代的骁龙处理器855上,NPE已经发展到了第四代,其效能已较第三代有3倍的成长,可对影像、影音、AR/VR与游戏等智慧功能进一步优化。只不过高通并没有具体的说明其NPE的技术细节,硬体的架构也不得而知,也没有解释为何是在DSP上运行。但依据高通自己的说法,高通的Hexagon DSP 的神经网路执行性能,相比在CPU上执行,能快出5至8倍。


联发科曦力处理器加入NeuroPilot与APU技术

台湾的联发科技(MediaTek)当然也看到了人工智慧在行动装置上的应用商机,自2018年初起,就推出了NeuroPilot的技术,并将之首次运用在其手机处理平台曦力P60上。


根据联发科的说法,NeuroPilot是基于他们的核心监控与调节技术CorePilot的进阶版。 CorePilot在2014年就已经被开发出来,其主要作用就是动态监控手机多核处理器的每个核心的工作负载量,并加调节和分配,以提高手机运行的性能并降低电耗。


到了人工智慧时代,联发科也顺势推出了APU技术,并运用在CorePilot所积累的异构运算经验,推出了NeuroPilot平台,作为CPU、GPU和APU间的运作协调,以提升整体的AI运算效能。


NeuroPilot平台约可分为三个层级,顶层是各种APP应用程式;中间层为程序编写和异构运算(软体层);最底层是各种硬体处理器。而其中最关键的就是中间的软体层。


联发科指出,中间层主要由演算法软体构成,包括各种软体的API、神经网络运行(NN Runtime)、异构运行(Heterogeneous Runtime)。简单来说,就是所谓的人工智慧的运行架构(AI framewrok),以及神经网路的演算法。


而联发科的NeuroPilot也是属于开放式的架构,支援目前市面上主流的AI framework,包含TensorFlow、TF Lite、Caffe、Caffe2、Amazon MXNet、Sony NNabla和ONNX等。联发科也提供NeuroPilot SDK,其包含Google神经网路API(Android NN API)和联发科NeuroPilot扩充元件。



图四 : NeuroPilot平台可分为三个层级,中间层为程序编写和异构运算,是最关键的一层。(source: 联发科)
图四 : NeuroPilot平台可分为三个层级,中间层为程序编写和异构运算,是最关键的一层。(source: 联发科)

而在硬体方面,除了原本的CPU、GPU外,则是增加了新的人工智慧处理器APU,用来提高人工智慧应用和神经网路处理的校能。在最新一款的旗舰处理器P90上,联发科的APU已升级至2.0版本,比前一代快上四倍,算力达1127GMACs(电脑定点处理能力的量)。


中国海思携手寒武纪 主攻NPU技术

中国华为旗下的海思半导体(HiSilicon),是手机处理器市场一家快速崛起的IC设计公司,目前屡屡在技术上有领先业界表现。该公司在2017年九月就率先发表了一款采用10奈米制程的智慧手机处理器-麒麟(Kirin)970,该处理器是产界首款具有人工智慧神经处理元件(NPU)的手机处理晶片。


海思的NPU同样是属于AI应用程式的加速处理单元,也就是针对神经网路演算法的处理,特别专注于卷积神经网路(CNN)的应用。根据海思的说法,在相簿模式中,Kirin 970的NPU每秒能处理2,000张照片的处理;若没有NPU介入,单以处理器运算只能处理约100张而已。



图五 : 最新一代的Kirin 980处理器,其NPU核心数已增加至两个。(source: 海思)
图五 : 最新一代的Kirin 980处理器,其NPU核心数已增加至两个。(source: 海思)

据了解,Kirin 970的NPU,是由中国的晶片IP商寒武纪(Cambri0con)所提供,并由海思与寒武纪共同合作进行优化的一个模组。


而最新一代的Kirin 980处理器,其NPU核心数已增加至两个。根据华为的资料,双核NPU的性能可达到每分钟处理4,500张图像,较前一代提升了120%的辨识速度。可以快速执行人脸识别,物体侦测与辨识,物体识别,影像分割和智慧辨识等人工智慧的应用。


AI需求成形 处理器IP商也加入战场

由于神经网路的性能卓越,因此除了IC设计商积极投入研发外,处理器IP供应商自然也开始跨入此一领域,包含前段所提到的中国寒武纪之外,以色列的IP商CEVA也开始提供具备神经网路技术的IP方案。


CEVA近期所发表的WhisPro就是一款基于神经网路技术的智慧语音辨识方案,它采用了可扩展递回神经网路(Recurrent Neural Network)技术,可同时辨识多个触发片语,能运用在智慧手机、智慧音箱、蓝牙耳机和其他语音设备中。


然而有趣的是,虽然神经处器技术的势头已经窜起,但处理器IP的龙头Arm却是动作缓慢,到目前为止,仍未提供任何的神经网路解决方案。虽然Arm也看好人工智慧的应用市场,但就是迟迟未把具体的产品曝光。


而依据Arm的时程,最快今年第一季才会推出具备人工智慧功能的AI处理器-Arm ML CPU。根据Arm的说明,Arm ML处理器也会是一个系列产品,提供多种规格给不同的应用产品,性能范围是1至4 TOP/s,可满足不同的产品需求,包含智慧手机、智慧手机、智慧家居和汽车等。


Arm指出,其ML处理器主要有三个部分,一个是MAC引擎,主要是执行卷积云神经网路的运算;第二是可程式的运算引擎,可以支援未来新的运算元和网路;第三是资料管理,用来降低AI运算的功耗。


虽然推出的时间晚了,但Arm仍是自信满满,由于其处理器的生态系十分庞大且完整,要后来居上也可能是易如反掌。


「我们已经看到机器学习技术正在成熟,市场需求也正在不断增加,我们认为现在是进入市场的最佳时机。」Arm机器学习副总裁Dennis Laudick说。


相关文章
AI赋能智慧边缘 行动运算处理器的时代革命
生成式AI与PC革新
显微镜解决方案助力台湾半导体技术提升研发效能
机器学习可以帮助未来的癌症诊断
资料科学与机器学习协助改善颈部损伤评估
comments powered by Disqus
相关讨论
  相关新闻
» 资策会携手日本5GMF推动5G发展趋势及创新应用
» Satellite 2024:仁宝携手耀登与富宇翔展示全新卫星通信解决方案
» 圆展与新光保全合作打造远距照护服务
» 远传以智慧空品解决方案打造健康永续城市
» 工研院MWC 2024展会直击 5G-A无线通讯、全能助理成下一波AI风潮


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK83T2AM5WESTACUKV
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw