随着人工智慧、机器学习技术和物联网的兴起，人工智慧的应用开始逐渐转移到收集数据的边缘装置。为缩小体积、减少产热、提高计算性能，这些边缘应用需要节能型的解决方案。Microchip的智能嵌入式视觉解决方案，致力於让软体开发人员可以更方便地在PolarFire^®现场可编程闸阵列（FPGA）内执行人工智慧的模型，进而满足边缘应用对节能型推理功能日益增长的需求。作为Microchip嵌入式解决方案组合的重要新成员，VectorBlox^™加速器软体开发工具包（SDK）可帮助软体开发人员在不学习FPGA工具流程的前提下，利用Microchip PolarFire FPGA创建灵活的低功耗神经网络应用。

VectorBlox软体支持以下几个特性：

1.基於OpenVINO^™工具包的前端工具

2.支持最常见的框架，如TensorFlow、Caffe、MxNet、PyTorch和DarkNet

3.无需预先了解FPGA即可快速评估

4.基於软件覆盖的实现；更新CNN时无需重新编程FPGA

VectorBlox Accelerator SDK包含不同的工具，可将来自TensorFlow和ONNX等框架的神经网络描述编译成二进位大型物件（BLOB）。这些BLOB存储在闪存中，并在执行期间加载到 DDR 内存中。

主要几个工具如下：

1.模型优化：将经过训练的网络转换为通用的中间语言（IR），并通过删除训练期间使用的多个层以及优化网络以进行推理

2.量化：将优化的网络从 FP32 转换为 INT8，并使网络能够使用更少的内存来表示，同时将精度损失降至最低

3.校准：调整以INT8精度表示的模型的激活函数和权重

4.运行时生成：创建写入嵌入式非易失性存储（例如 SPI 闪存）的BLOB

CoreVectorBlox IP是包含在SDK里面的硬体加速器，CoreVectorBlox IP由矩阵处理器（MXP）和MXP CNN IP组成。当需要共享神经网络工作负载时，它可以实例化为单核加速器或多核加速器。MXP由八个32位算术/逻辑单元（ALU）组成，负责按元素张量运算，如加、减、异或、移位、乘法、内积等。MXP CNN IP由乘法和累加的二维阵列组成，IP使用FPGA内部的数学块来实现功能。顾名思义，MXP CNN IP负责执行CNN的卷积层。多个网络可以在运行时叠加并动态切换。

开发设计流程可以简单的分成三个步骤：

步骤1：准备训练好的模型

使用SDK中提供的Python脚本将经过训练的模型转换为优化的INT8表示形式，称为BLOB。通过VectorBlox Accelerator Simulator运行BLOB，以验证网络的准确性并确保网络的成功转换。

步骤2：准备硬件

PolarFire FPGA视频套件配置为作为支持AI的智能相机运行。SDK包括一个预编译的套件烧录档。使用套件中包含的FlashPro编程器将烧录档写入PolarFire FPGA并将第1步生成的BLOB写入套件的SPI闪存。

步骤3：编写您的嵌入式代码

在基於C/C++的SoftConsole IDE中使用提供的嵌入式代码并生成和编程hex文件。将视频套件连接到HDMI显示器并将其打开。修改嵌入式代码以加载和运行多个CNN BLOB、即时动态切换CNN或按顺序加载CNN以进行同时推理。

部署选项：

PolarFire FPGA视频套件（MPF300-VIDEO-KIT-NS）支持VectorBlox SDK。

VectorBlox智能相机叁考设计流程：

1.通过MIPI CSI-2接收影像

2.影像存储在DDR4内存中

3.推理之前，影像从DDR4读回

4.影像从RAW转换为RGB并写回DDR4

5.CoreVectorBlox引擎对R、G、B数组运行推理并将结果写回内存

6.Mi-V（软RISC-V^®）生态系统对概率进行排序并创建带有边界框的覆盖框架，并将结果放入 DDR4

7.读取原始影像并与叠加帧进行 alpha 混合，然後发送到 HDMI 显示器

欢迎叁阅下列Microchip网址，了解更多相关的产品资讯：

● VectorBlox^™开发套件：https://www.microchip.com/en-us/products/fpgas-and-plds/fpga-and-soc-design-tools/vectorblox

● 开发板： https://www.microchip.com/en-us/development-tool/MPF300-VIDEO-KIT-NS

本文作者为：Microchip高级应用工程师 张长轩