帳號:
密碼:
CTIMES/SmartAuto / 產品 /   
NXP推出基於MCU的Glow神經網路編譯器 實現邊緣機器學習
 

【CTIMES/SmartAuto 報導】   2020年08月06日 星期四

瀏覽人次:【1052】
  

恩智浦半導體(NXP Semiconductors N.V.)發表eIQ機器學習(ML)軟體對Glow神經網路(Neural Network;NN)編譯器的支援功能,針對恩智浦的i.MX RT跨界微控制器,實現佔用較低記憶體並更高效能的神經網路編譯器應用。

Glow編譯器由Facebook開發,能整合特定目標的最佳化,恩智浦利用這種能力,使用適用於Arm Cortex-M核心和Cadence Tensilica HiFi 4 DSP的神經網路運算元庫(NN operator libraries),最大化提升i.MX RT685以及i.MX RT1050和RT1060的推論效能。此外,此功能已整合至恩智浦的eIQ機器學習軟體開發環境中,於恩智浦的MCUXpresso軟體開發套件(Software Development Kit;SDK)中免費提供。

2018年5月,率先開發PyTorch的Facebook導入Glow(Graph Lowering神經網路編譯器),作為開源社區(open source community)專案,其目的是藉由最佳化提高一系列硬體平台上的神經網路效能。

作為神經網路編譯器,Glow能在尚未最佳化的神經網路的基礎上,生成高度最佳化的代碼。這就有別於典型的神經網路模型處理(neural network model processing),後者採用即時編譯,因此需要更高的效能,並增加記憶體消耗。然而,像Glow這樣直接運作最佳化的代碼可顯著降低處理與記憶體要求。此外,恩智浦也在Glow開源社區中扮演著積極角色,幫助推廣和普及Glow的新功能。

Facebook軟體工程經理Dwarak Rajagopal表示:「GitHub中提供的標準版Glow可直接在任何裝置上運行,讓使用者能夠靈活地針對Arm Cortex-A和Cortex-M核心以及RISC-V架構等其感興趣的基礎架構編譯神經網路模型核心。恩智浦藉由充分運用微控制器運算元件的專用軟體庫,並將效能提升2至3倍,展示了從以雲端為基礎的高階機器到低成本的嵌入式平台的廣泛範圍內,將Glow神經網路編譯器用於機器學習應用的諸多優勢。」

未來幾年內,機器學習應用的需求預期將大幅增加。據TIRIAS Research預測,2025年,98%的邊緣裝置將使用某種形式的機器學習/人工智慧。而市場預測,屆時即使沒有專用的機器學習加速器(machine learning accelerator),也將有180億至250億部裝置具有機器學習功能。消費型裝置製造商和嵌入式物聯網開發人員將需要將機器學習框架最佳化,進而實現使用微控制器的低功耗邊緣嵌入式應用。

恩智浦半導體資深副總裁暨邊緣處理業務總經理Ron Martino表示:「藉由eIQ機器學習軟體框架,運用高度整合的i.MX應用處理器和高效能i.MX RT跨界微控制器的強大功能,恩智浦正在推動機器學習功能在邊緣裝置上的實現。隨著i.MX RT系列跨界微控制器增加對Glow的支援,我們的客戶能夠編譯深度神經網路模型,為他們的應用帶來競爭優勢。」

恩智浦針對機器學習的邊緣智慧環境解決方案是一個全面的工具包(toolkit),提供開發人員需要的建構模組,幫助他們高效地在邊緣裝置中實現機器學習。Glow整合到eIQ軟體後,機器學習開發人員將擁有全面的高效能框架,可在包含i.MX RT跨界微控制器和i.MX 8應用處理器在內的恩智浦邊緣處理解決方案上進行擴展。客戶擁有更強大的工具,能夠在i.MX RT微控制器和i.MX應用處理器上開發機器學習語音應用、物體辨識、臉部辨識等應用。

eIQ現在具有針對Glow和TensorFlow Lite的推論支援,對此,恩智浦會定期執行基準測試以衡量其效能。微控制器基準測試包含標準神經網路模型,例如CIFAR-10。以CIFAR-10模型為例,恩智浦採集的基準測試資料展現了如何運用i.MX RT1060裝置(採用600MHz Arm Cortex-M7)、i.MX RT1170裝置(採用1GHz Arm Cortex-M7)和i.MX RT685裝置(採用600 MHz Cadence Tensilica HiFi 4 DSP)的效能優勢。

恩智浦對Glow的支援與Cadence為Tensilica HiFi 4 DSP提供的神經網路庫(Neural Network Library;NNLib)緊密相結合,該DSP提供4.8GMAC效能。同樣以CIFAR-10為例,恩智浦的Glow藉由使用此DSP來加快神經網路運算,實現25倍的效能提升。

Cadence Tensilica IP企業副總裁Sanjive Agarwala表示:「Tensilica HiFi 4 DSP最初整合在i.MX RT600跨界微控制器中,目的是提高各種不同的音訊和語音處理應用的速度。然而,當越來越多機器學習推理應用瞄準低成本、低功耗的微控制器級應用時,HiFi 4 DSP憑藉固有的DSP運算效能,成為加快這些神經網路模型的理想選擇。隨著恩智浦在eIQ機器學習軟體中採用Glow,i.MX RT600微控制器的客戶能夠利用該DSP來滿足多種機器學習應用的需求,包含關鍵字檢索(keyword spotting;KWS)、語音辨識、降噪和異常檢測。」

Arm公司機器學習行銷副總裁Dennis Laudick表示:「恩智浦將Arm CMSIS-NN軟體庫涵蓋在elQ中,目的是盡可能地提升效能,減少Arm Cortex-M核心上的神經網路記憶體佔用。以CIFAR-10神經網路模型為例,恩智浦能夠利用CMSIS-NN實現1.8倍的效能提升。其他神經網路模型應該亦能夠產生相似的結果,這清楚地展示了此款高階編譯器與我們的最佳化神經網路運算元庫(NN operator library)的優勢。」

恩智浦的整合Glow神經網路編譯器的eIQ軟體現已上市,並透過i.MX RT600跨界微控制器、i.MX RT1050和i.MX RT1060跨界微控制器的MCUXpresso 軟體開發套件提供。未來將會推出適用於恩智浦其他微控制器的整合Glow神經網路編譯器的eIQ軟體。

關鍵字: 神經網路  編譯器  邊緣運算  NXP(恩智浦
相關產品
施耐德推出Galaxy VS系列三相UPS 系統效率高達99%
宸曜強固型GPU運算平台通過NVIDIA Tesla伺服器認證
恩智浦整合i.MX RT跨界MCU、Wi-Fi和藍牙方案 擴展安全的邊緣平台
邊緣應用環境嚴苛 Moxa推出強固型邊緣電腦保障關鍵AI運算
萊迪思最新超低功耗FPGA Certus-NX 實現智慧邊緣處理效能
相關討論
  相關新品
Arduino Motor Shield
原廠/品牌:RS
供應商:RS
產品類別:PC Board
mbed
原廠/品牌:RS
供應商:RS
產品類別:PC Board
Arduino
原廠/品牌:RS
供應商:RS
產品類別:PC Board
  相關新聞
» 台美防疫松五組獲獎團隊 資策會將協助產業媒合
» U.S. Cellular、高通和愛立信延伸5G毫米波通話距離達5公里
» 「台灣人工智慧晶片聯盟」滿周年 持續推動AI產業化
» u-blox:RF整合能力是智慧機車快速上市重要關鍵
» 臨床診療技能競賽導入虛擬系統 疫情期間培訓不中斷
  相關文章
» 藉由慣性感測器和機器學習評估老年人跌倒風險
» 零交叉偵測 IC可大幅降低生活家電待機功耗
» BCM將高壓電池轉化至SELV系統
» 具智慧監控之傘架裝置
» 雙極/雙向直流對直流電源供應器以及從5至24V輸入電壓汲取電流
  相關資源
» Power Management Solutions for Altera FPGAs

AD

刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2020 遠播資訊股份有限公司版權所有 Powered by O3
地址:台北市中山北路三段29號11樓 / 電話 (02)2585-5526 / E-Mail: webmaster@ctimes.com.tw