隨著人工智慧、機器學習技術和物聯網的興起，人工智慧的應用開始逐漸轉移到收集數據的邊緣裝置。為縮小體積、減少產熱、提高計算性能，這些邊緣應用需要節能型的解決方案。Microchip的智能嵌入式視覺解決方案，致力於讓軟體開發人員可以更方便地在PolarFire®現場可編程閘陣列（FPGA）內執行人工智慧的模型，進而滿足邊緣應用對節能型推理功能日益增長的需求。作為Microchip嵌入式解決方案組合的重要新成員，VectorBlox™加速器軟體開發工具包（SDK）可幫助軟體開發人員在不學習FPGA工具流程的前提下，利用Microchip PolarFire FPGA創建靈活的低功耗神經網絡應用。
VectorBlox軟體支持以下幾個特性：
1.基於OpenVINO™工具包的前端工具
2.支持最常見的框架，如TensorFlow、Caffe、MxNet、PyTorch和DarkNet
3.無需預先了解FPGA即可快速評估
4.基於軟件覆蓋的實現；更新CNN時無需重新編程FPGA
 |
VectorBlox Accelerator SDK包含不同的工具，可將來自TensorFlow和ONNX等框架的神經網絡描述編譯成二進位大型物件（BLOB）。這些BLOB存儲在閃存中，並在執行期間加載到 DDR 內存中。
主要幾個工具如下：
1.模型優化：將經過訓練的網絡轉換為通用的中間語言（IR），並通過刪除訓練期間使用的多個層以及優化網絡以進行推理
2.量化：將優化的網絡從 FP32 轉換為 INT8，並使網絡能夠使用更少的內存來表示，同時將精度損失降至最低
3.校準：調整以INT8精度表示的模型的激活函數和權重
4.運行時生成：創建寫入嵌入式非易失性存儲（例如 SPI 閃存）的BLOB
CoreVectorBlox IP是包含在SDK裡面的硬體加速器，CoreVectorBlox IP由矩陣處理器（MXP）和MXP CNN IP組成。當需要共享神經網絡工作負載時，它可以實例化為單核加速器或多核加速器。MXP由八個32位算術/邏輯單元（ALU）組成，負責按元素張量運算，如加、減、異或、移位、乘法、內積等。MXP CNN IP由乘法和累加的二維陣列組成，IP使用FPGA內部的數學塊來實現功能。顧名思義，MXP CNN IP負責執行CNN的捲積層。多個網絡可以在運行時疊加並動態切換。
 |
開發設計流程可以簡單的分成三個步驟：
步驟1：準備訓練好的模型
使用SDK中提供的Python腳本將經過訓練的模型轉換為優化的INT8表示形式，稱為BLOB。通過VectorBlox Accelerator Simulator運行BLOB，以驗證網絡的準確性並確保網絡的成功轉換。
 |
步驟2：準備硬件
PolarFire FPGA視頻套件配置為作為支持AI的智能相機運行。SDK包括一個預編譯的套件燒錄檔。使用套件中包含的FlashPro編程器將燒錄檔寫入PolarFire FPGA並將第1步生成的BLOB寫入套件的SPI閃存。
 |
步驟3：編寫您的嵌入式代碼
在基於C/C++的SoftConsole IDE中使用提供的嵌入式代碼並生成和編程hex文件。將視頻套件連接到HDMI顯示器並將其打開。修改嵌入式代碼以加載和運行多個CNN BLOB、即時動態切換CNN或按順序加載CNN以進行同時推理。
 |
部署選項：
PolarFire FPGA視頻套件（MPF300-VIDEO-KIT-NS）支持VectorBlox SDK。
 |
VectorBlox智能相機參考設計流程：
1.通過MIPI CSI-2接收影像
2.影像存儲在DDR4內存中
3.推理之前，影像從DDR4讀回
4.影像從RAW轉換為RGB並寫回DDR4
5.CoreVectorBlox引擎對R、G、B數組運行推理並將結果寫回內存
6.Mi-V（軟RISC-V®）生態系統對概率進行排序並創建帶有邊界框的覆蓋框架，並將結果放入 DDR4
7.讀取原始影像並與疊加幀進行 alpha 混合，然後發送到 HDMI 顯示器
 |
歡迎參閱下列Microchip網址，了解更多相關的產品資訊：
● VectorBlox™開發套件：https://www.microchip.com/en-us/products/fpgas-and-plds/fpga-and-soc-design-tools/vectorblox
● 開發板： https://www.microchip.com/en-us/development-tool/MPF300-VIDEO-KIT-NS
本文作者為：Microchip高級應用工程師 張長軒
