帳號:
密碼:
最新動態
產業快訊
CTIMES / 文章 /
從Embedded World 2023看Edge AI及TinyML最新發展趨勢
【vMaker Edge AI專欄 #04】

【作者: Jack OmniXRI】   2023年04月21日 星期五

瀏覽人次:【30323】

相信大家最近應該都沈浸在ChatGPT, DALL-E2, Midjourney, Bard, GPT4等大型AI語言模型及生成式應用中,感受著AI帶來的新奇體驗,殊不知另一場精彩的嵌入式AI應用展覽及研討會也在德國紐倫堡順利落幕了,那就是2023年嵌入式世界展會[1](2023/03/14 – 03/16, Embedded World Exhibition & Conference 2023,以下簡稱EW23)。


這項展會為全球最大的嵌入式電子與工業電腦應用展,除了常見的工業電腦(含單板微電腦)、微控制器(含MPU/MCU/DSP)、數位看板、智慧物聯網(AIoT)、自動控制、交通、物流、安防、零售、醫療、工業等領域外,當然其中也包含了許多Edge AI及TinyML的應用。


在嵌入式系統中最重要的硬體核心就是微處理器(Micro Processing Unit, MPU)或微控制處理器(Micro Control Unit, MCU或俗稱單晶片)。前者主要應用於工業電腦、中高階單板微電腦(如樹莓派類),手機等,會運行特定作業系統(如Windows, Linux, macOS, Android等),而後者多半應用於中小型電子裝置,小到穿戴式裝置、白色家電,大到工業可程式控制器、伺服馬達控制器中都能見到其身影。


這兩者最大差異是後者把中央處理器(CPU), 靜態記憶體(SRAM), 快閃記憶體(NOR Flash), 輸出入控制(GPIO), 通訊介面(如UART, I2C, SPI等)都整合在同一顆晶片中,而前者因需執行較大的程式及較複雜的計算,所以通常會把記憶體(DRAM)和快閃記憶體(NAND/NOR Flash)排除在外,而將重點放在更強大的運算力上。


此次EW23推出了不少MPU和MCU及對應的開發板,除一般的計算、控制、通訊功能外,亦開始向Edge AI及TinyML移動。其中有幾個值得關注的趨勢:


1. 晶片內嵌神經網路處理器(MPU/MCU + NPU)


2. RISC-V晶片及開發板成長迅速


3. 系統模組板化(System on Module, SoM)


4. Edge AI及TinyML創新應用


以下就針對這幾項分別為大家介紹幾個亮點產品,希望能讓大家更了解最新發展趨勢。


1. 晶片內嵌神經網路處理器(MPU/MCU + NPU)

關於MPU及MCU為什麼要加入神經網路處理器(Neural Network Procssing Unit, NPU)或稱深度學習加速器(Deep Learning Accelerator, DLA)及加入後有什麼好處,可參考“MCU攜手NPU讓tinyML邁向新里程碑”[2],這裡就不多作介紹了。本次EW23亮相了許多傳說中的晶片,以下就簡單依廠商名稱英文排序介紹其重點規格:


1.Aspinity, AML100, 類比機器學習晶片,常時(Always on)工作電流小於20uA,可適用類比麥克風輸入作為智慧聲音辨識(如玻璃破碎聲)。有配套AB2 AML100 Application Board,另可搭配Renesas EK-RA4M3 Quick-Connect IoT開發板。[3]


2.Hailo, Hailo-8, AI專用加速器,INT8下可達26TOPS。[4]


3.奇景光電(Himax), WiseEye WE-2, Arm Cortex-M55(MCU)+ Ethos U55(NPU)組合,細部規格未公開,MCU及NPU部份可參考Arm官方資料。[5]


4.瑞薩(Renesas),


.RA8系列, 世界第一款亮相的Arm Cortex-M85晶片,細部規格不明,MCU部份可參考Arm官方資料。


.RA4E2/RA6E2系列, Cortex-M33 @100/200MHz, 128KB/256KB Porgram Flash, 4KB Data Flash, 40KB SRAM。[6]


5.芯科(Silicon Lab), EFR32xG24, Arm Cortex-M33 @78MHz, 1536KB Flash, 256KB SRAM,具有NPU(規格不明),有配套開發板xG24-DK2601。[7]


6.意法半導體(ST),


.STM32N6, 具有NPU,首次亮相,硬體規格不明,但就過往釋出的新聞稿規格說明來看,猜測很有可能是Arm M55+U55的組合。


.STM32H5, Arm Cortex-M33 @250MHz, 2MB Flash, 640KB SRAM, 375DMIPS,有配套開發板NUCLEO-H563ZI, NUCLEO-H503RB。[8]


.STM32MP13x, Arm Cortex-A7 @1GHz MPU, Ethernet。[9]


7.德州儀器(TI),多款Arm Based MPU+DLA[10]


.AM62A, Arm Cortex-A53 @1.4GHz x4, Cortex-R5F x2, C7x DLA 2TOPS。另有配套SK-AM62A-LP Start Kit開發板。


.AM68A, Arm Cortex-A72 @2.0GHz x2, Cortex-R5F x4, C7x DLA 8TOPS。另有配套SK-AM68 Start Kit開發板


.AM69A, Arm Cortex-A72 @2.0GHz x8, Cortex-R5F x4, C7x DLA 32TOPS。另有配套SK-AM69 Start Kit開發板。


.TDA4VM, Arm Cortex-A72 @2.0GHz x2, Cortex-R5F x6, C7x x2 + C66x x2 DLA 8TOPS。另有配套SK-TDA4VM開發板。


補充說明:Arm Cortex-A系列為MPU,Cortex-M系列為MCU,其中Cortex-M33為ArmV8-M指令集,Cortex-M85為ArmV8.1-M指令集,對AI加速有更多的支持。TI C7x為數位信號處理器(DSP)亦可作為DLA使用。TOPS為每秒一兆(10^12)次運算。



圖一 :  EW23展會MPU/MCU+NPU相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源:[3~11])
圖一 : EW23展會MPU/MCU+NPU相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源:[3~11])

2.RISC-V晶片及開發板成長迅速

最近幾年由於晶片供貨一直不穩定,相關矽智財(IP)授權費用增加及客製化需求越來越高,所以導致開源的RISC-V CPU指令集晶片倍受重視,市場成長迅速,陸續有廠商投入相關晶片開發,尤其是大陸廠商,從去年開始就有許多晶片完成上市。


目前RISC-V除標準指令集外,亦有新增了單指令多資料流(SIMD)及向量(Vector)指令集(P及V Extension),更能適用AI加速計算,當然亦保留各廠商自行加入的客製化指令集來加強特定需求的功能。此次EW23也有不少廠商展出其晶片及開發板,以下就簡單依廠商名稱英文排序介紹其重點規格:


1.Codasip, L31/L31F, 32bit RISC-V CPU (RV32IMCB/RV32IMFCB), 可支援TensorFlow Lite for Microcontroller(TFLite-Micro)及IAR開發工具。[12]


2.GreenWaves, GAP9, 9+1 Cores RISC-V 超低功耗小型感測器用AI加速運算器,15.6 GOPS DSP, 32.2 GMACS。[13]


3.Renesas,主要採用台灣知名RISC-V IP供應商晶心科技(Andes)的核心。


.R9A02G020, 32bit MCU, AndesCore-N22 @32MHz, 48KB Flash, 16KB SRAM, 4KB ECC,有配套R9A02G020 ASSP EASY Motor COntrol Kit。[14]


.RZ/Five, 64bit MPU, AndesCore AX45MP(with SIMD/FPU) @1.0GHz, L2 Cash 256KB, SRAM 128KB,有配套RZ/Five EVB。[15]


4.華碩(Asus)IoT, Tinker V 開發板, 使用Renesas RZ/Five晶片,板上另配有1GB DDR4, 16GB eMMC (Flash)。[16]


補充說明:GOPS為每秒十億(10^9 )次運算,而GMACS為每秒十億(10^9)次乘加運算。



圖二 :  EW23展會RISC-V相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源:[12~16])
圖二 : EW23展會RISC-V相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源:[12~16])

3.系統模組板化(System on Module, SoM)

以往的單板微電腦(如樹莓派之類)多半是將主晶片置於開發板上再配置各種週邊擴充界面,如GPIO, UART, SPI, I2C, USB, CSI, DSI, EtherNet等,設計完成開始生產後就無法變更。當遇到需要不同尺寸、不同數量擴充界面,甚至彈性電源管理系統時,就要開發多種不同的開發板,對於製造端會產生很多麻煩及庫存。於是把核心晶片作成卡片型式的系統模組板(SoM),再透過開放或封閉式卡槽介面連接擴充底板的作法便開始流行起來。


這樣作有較多的彈性及互換性,同時解決高密度、高複雜度的多層板設計問題,讓一般使用者都有機會自行設計客製化擴充底板,甚至可設計特殊底板同時插多片系統模組板作叢集電腦。常見的樹莓派Pi 4的計算模組(Compute Module) CM4,Nvidia Jetson系列也是採用系統模組板加擴充底板方式完成。此次EW23亦有多款系統模組板被推出,以下就簡單依廠商名稱英文排序介紹其重點規格:


1.研華(Advantech), VEGA-X110, 採用行動PCI Express模組(Mobile PCI Express Module, MXM)介面,主要應用於筆記型電腦。主晶片為Inte GPU Arc A370M,Xe-Core x8,1550MHz, 4GB GDDR6,可搭配Intel OpenVINO進行推論加速工作。[17]


2.Arduino, Portenta C33, 使用Renesas R7FA6M5BH2CBG MCU(Arm Cortex-M33 @200MHz, 2MB Code Flash, 8KB Data Flash, 512KB SRAM) + ESP32-C3-MINI-1U(WiFi) 雙晶片,採2.54mm雙排針孔位(14pin x2),相容於Portenta H7開發板,可使用排針或直接以郵票孔焊在另一塊PCB板上。[18]


3.Edge Labs, 由einfochips, 艾睿(Arrow)和高通(Qualcomm)合作共同成立,推出 Aikri-42X-10LS,主要使用高通QRB4210晶片,內含 64bit CPU Kyro @2.0GHz x1, Kyro @1.8GHz x1, Hexagon DSP, 3GB LPDDR4, 32GB eMMC(Flash), Adreno GPU 610,板上採自定義四組高密度(90 pin)PCB板用連接器。[19]


4.MicroSys, miriac MPX-32G399A, 使用NXP S32G399A晶片,內含Arm Cortex-A53 x8, Cortex-M7 x4, 4GB LPDDR4, 20MB SRAM, 64MB QSPI Flash, eMMC 32GB, 採自定義314 pin edge connector。[20]


5.SECO, Maury,採用智慧行動架構(Smart Mobility Architecture, SMARC)介面,主要應用於行動裝置。主晶片使用NXP i.MX 93, Arm Cortex-A55 @1.7GHz x2, Cortex-M33 @250MHz x1, Ethos U65 NPU x1,很適合作為AI應用。[21]


6.Variscite, 共推出二款SOM,採用自定的板卡200pin介面,類似記憶模組的SO DIMM接腳,自家所有SOM接腳皆可相容。[22]


.VAR-SOM-MX93,使用NXP i.MX 93。


.VAR-SOM-AM62,使用TI AM625。



圖三 :  EW23展會SoM相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源:[17~22])
圖三 : EW23展會SoM相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源:[17~22])

4. Edge AI及TinyML創新應用

此次EW23有許多精彩的Edge AI及TinyML的應用,前者多半用於影像辨識相關應用,而後者多半用於智慧感測器。以下就簡單列舉幾個產品提供大家參考。


1.凌華(Adlink), AI Camera Dev Kit, 整合8MP攝影機、Nvidia Jetson Nana, RTC電池,很適合做為概念驗證(PoC)使用,可用於影像辨識、物件偵測、姿態偵測等應用。[23]


2.高通(Qualcomm), Robotics RB2 Development Kit(QRB4210), 主要使用高通QRB4210晶片,內含64bit CPU Kyro @2.0GHz x1, Kyro @1.8GHz x1, Hexagon DSP, 3GB LPDDR4, 32GB eMMC(Flash), Adreno GPU 610,其開發套件已整合攝影機,很適合用於掃地機器人、服務型機器人、智慧攝影機等AI影像應用。[24]


3.Useful Sensors, The Person Sensor[25],很迷你的TinyML智慧視覺感測器,主要使用奇景(Himax)HX6537-A(DSP based),可用於人員追蹤,此產品已於CES2023展出過,可參考[26]說明,這裡就不多作介紹。


4.Reloc, BrickML,主要功能用於測量和監視機器健康狀況,是和Edge Impulse合作的作品,亦為今年TinyML Summit得獎作品。主要使用ARM Cortex-M33(with FPU) @200MHz, 2MB Code Flash, 8KB Data Flash, 512KB SRAM, 128Mbit QSPI Flash(on board)。該產品整合麥克風、九軸運動感測器、溫濕度及電流感測器,另有搭配BLE 5.1,很適合遠端無線監控設備狀況,如馬達、水泵等工業設備。[27]



圖四 :  EW23展會Edge AI & TinyML相關創新應用。(OmniXRI整理製作, 2023/4/17)(影像來源:[23~27])
圖四 : EW23展會Edge AI & TinyML相關創新應用。(OmniXRI整理製作, 2023/4/17)(影像來源:[23~27])

小結

從此次EW23的展出充份讓我們看到小型AI的未來性,隨著電子技術不斷進步,小尺寸、高算力、豐富週邊及多樣通訊能力的晶片和開發板越來越容易取得,且價格也越來越平價,開發工具也越來越多選擇,對於開發者來說更容易開發小型Edge AI電腦視覺及常時開啟(Always On)的TinyML智慧感測器應用,期待在大家的創意下能有更多有趣和精彩的作品誕生。


(本文由VMAKER授權轉載;連結原文網址


參考文獻

[1] Embedded World Exhibition & Conference


https://www.embedded-world.de/en


[2] 許哲豪,“MCU攜手NPU讓tinyML邁向新里程”碑” https://omnixri.blogspot.com/2022/10/mcunputinyml.html


[3] Aspinity, Embedded World 2023(AB2-AML100 Application Board)


https://www.aspinity.com/Aspinity-EW-2023


[4] Hailo, Hailo-8, AI Processor


https://hailo.ai/products/hailo-8/


[5] Himax,奇景於Embedded World 2023展出新一代WiseEye智慧影像感測終端AI優勢應用


https://www.himax.com.tw/wp-content/uploads/2023/03/20230313-Embedded-World-2023-PR-Final-cht.pdf


[6] Renesas, RA Family of ArmR CortexR-M based MCUs


https://www.renesas.com/eu/en/products/microcontrollers-microprocessors/ra-cortex-m-mcus


[7] Silicon Labs, xG24-DK2601B EFR32xG24 Dev Kit


https://www.silabs.com/development-tools/wireless/efr32xg24-dev-kit


[8] ST, STM32H5 MCU Series


https://www.st.com/content/st_com/en/campaigns/STM32H5-most-powerful-arm-cortex-m33-mcus.html


[9] ST, STM32MP1 Series


https://www.st.com/en/microcontrollers-microprocessors/stm32mp1-series.html


[10] TI, Arm-based processors (AM62A/AM68A/AM69A/TDA4x)


https://www.ti.com/microcontrollers-mcus-processors/arm-based-processors/overview.html


[11] EETimes, Sally Ward-Foxton, “TinyML Comes to Embedded World 2023” https://www.eetimes.com/tinyml-comes-to-embedded-world-2023/


[12] Codasip, L31 & L31F


https://codasip.com/products/l31-l31f/


[13] GreenWaves, GAP9 Processor for hearables and smart sensors


https://greenwaves-technologies.com/greenwaves-events/


[14] Renesas, R9A02G020 ASSP EASY MCU for Motor Control Based on RISC-V


https://www.renesas.com/us/en/products/microcontrollers-microprocessors/risc-v/r9a02g020-assp-easy-mcu-motor-control-based-risc-v


[15] Renesas, RZ/Five General-purpose Microprocessors with RISC-V CPU Core


https://www.renesas.com/in/en/products/microcontrollers-microprocessors/rz-mpus/rzfive-general-purpose-microprocessors-risc-v-cpu-core-andes-ax45mp-single-10-ghz-2ch-gigabit-ethernet


[16] 華碩(Auss) IoT, Tinker V SBC


https://tinker-board.asus.com/product/tinker-v.html


[17] 研華(Advantech),Advantech Unveils its First Embedded GPU Cards with IntelR Arc? Graphics at Embedded World 2023


https://www.advantech.com/en/resources/news/advantech-unveils-its-first-embedded-gpu-cards-with-intelR-arc?-graphics-at-embedded-world-2023


[18] Arduino, Protenta C33


https://docs.arduino.cc/hardware/portenta-c33


[19] Edge Labs, eInfochips Aikri-42X-10LS


https://www.arrow.com/en/campaigns/edgelabs


[20] MicroSys, miriac MPX-S32G399A


https://www.microsys.de/en/products/system-on-modules/arm-architecture-soms/miriac-mpx-s32g399a/


[21] SECO, EW 2023: SECO presents MAURY, one of the first SMARC modules based on the new NXP i.MX 93 applications processor


https://www.seco.com/blog/maury-smarc-module-based-on-nxp-i-mx-93-processors/


[22] Variscite, Variscite Presents Two New System on Modules at Embedded World 2023


https://www.embedded.com/variscite-presents-two-new-system-on-modules-at-embedded-world-2023/


[23] 凌華(Adlink), ADLINK wins Best in Show Award at Embedded World 2023 for Innovative AI Camera Dev Kit


https://www.adlinktech.com/en/news/ai-camera-dev-kit-wins-embedded-world-best-in-show-award-2023


[24] Qualcomm, Robotics RB2 Platform


https://www.qualcomm.com/products/internet-of-things/industrial/industrial-automation/qualcomm-robotics-rb2-platform


[25] Usefulsensors, The Person Sensor


https://usefulsensors.com/person-sensor/


[26] 許哲豪,【vMaker Edge AI專欄 #01】 從CES 2023 看Edge AI及TinyML最新發展趨勢


https://omnixri.blogspot.com/2023/01/vmaker-edge-ai-01-ces-2023-edge-aitinyml.html


[27] Reloc, BrickML


https://edgeimpulse.com/reference-designs/brickml


相關文章
70美元為第五代樹莓派添加AI套件
突破侷限!三款多核心微控器同時支援 Arduino與MicroPython
視覺化 Raspberry Pi 數據:輕鬆用 Arduino Cloud 掌握物聯網裝置
一美元的TinyML感測器開發板
樹莓派推出AI攝影機、新款顯示器
comments powered by Disqus
相關討論
  相關新聞
» 應材發表永續報告書 制定2040年策略助半導體淨零減碳
» Valeo與達梭系統攜手合作 加速研發數位化
» 達梭系統攜手雲達虛擬雙生 推動永續資料中心解決方案
» 宜鼎全面擴充邊緣AI智慧應用與智慧儲存
» 趨勢科技指漏洞修補為資安預防針 企業須知4大生命週期樣態


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.100.26.176.111
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: webmaster@ctimes.com.tw