伴随我们进入工业4.0和工业物联网（IIOT）时代，更多重点肯定会放在自动化层面。机器视觉技术变得越来越复杂，在提高制造商产品品质水准同时，也有巨大潜力加速提升产出效能。这项技术之应用范围也一直在扩大，新应用注定会在我们日常生活中发挥更大作用，如在汽车ADAS系统中处理物件侦测/识别，使基于面部识别的安全机制能够整合到可携式电子设备，以及无数其他关键任务。

为了减小延迟，并在需要时即时进行操作，需要在网路边缘部署大量工业机器视觉设备。透过这些，可以避免成本高昂的生产线停工风险，并防止作业人员生命受到威胁。然而，还有一些重大的影响需要考量，因为这意味着必须在网路边缘实现高度自主。

透过机器学习推断，可以从捕获的资料中提取出回圈模式，进而有助于在未来处理类似场景时做出更好决策。然而，必须注意，在边缘网路应用这种人工智慧（AI）有重大技术挑战，特别是在现有资源有限情况之下。

机器视觉系统无处不在，你到处都能遇到它们，它们已经是你所有使用一切的一部分。从垃圾邮件筛检程式到影像识别和处理，它们已经渗透到我们日常生活，无论是在家里，在工作中，还是在两者之间的往返途中。在工业制造和生产环境，你会发现部署了许多基于机器视觉的系统。举例来说，最基本的应用是数位相机可以捕捉大米包装被填充和密封的影像，电脑演算法即时地用来处理这些影像，并透过将它们与已知的「好」影像进行比较，来侦测潜在的问题，例如可能是袋子裂开了，或者没有完全填满，或者是密封过程在角处留下漏孔。随着机器视觉的进步，其侦测潜在故障的能力也越来越强，从而能够提高产品品质和生产效率。

这种在机器视觉系统中使用的演算法可被广泛地归类为基于人工智慧，并利用深度学习神经网路能够以数位方式「看到」要检查的物件。伴随工业4.0和工业物联网（IIOT）等倡议持续推动制造业运营转型，机器视觉应用将在提高运营效率方面发挥越来越大作用。早期人工智慧实现需要大量运算资源，而这些资源通常被限制在资料中心。与早期的人工智慧应用不同，如今基于人工智慧的机器视觉应用需要更靠近「边缘」，以便提供非常准确、快速和可操作的影像侦测。

深度学习和神经网路

传统的电脑程式是针对给定数量的输入条件而需要提供一系列结果而编写。当你知道输入是什么，并且在输入数量是有限的时候，这都没有问题。然而，假若一个系统面对以前从未见过的情况会发生什么？该如何使系统以一种适当和有用的方式做出回应？

机器学习概念允许演算法从过去的资料中进行学习，然后在遇到未来资料时做出决策或预测。分析资料或影像可以采用多面层方式，每一层都比上面一层更详细。这样，系统就可以学会对以前从未见过的情况做出回应。机器学习对于目标侦测和识别特别风行，通常使用人工或卷积神经网路（CNN）。

图1 : 基本的神经网路概念。（source：Intel）

卷积神经网路是大脑处理视觉讯息部分的数位呈现。与任何神经网路一样，CNN也包含节点层，但它们不同之处在于，某些神经元只与选定的其他神经元相连。这是因为CNN与我们大脑一样，强调资料的空间架构。例如，当我们看到起初认为可能是一辆汽车的影像（例如车轮、挡风玻璃和车门后视镜）时，我们会在与这些元件相同的区域寻找其他元素，以确认或反驳这种判断，例如方向盘、车门柱或车灯。而随意查看影像的另一个部分则没有太多价值，因为它不太可能导致我们明确地判断影像是否真的是一台汽车。 CNN工作原理基本相同，因此比完全连接的网路更有效，尤其是在处理大型影像时。

将CNN技术用于机器视觉应用

CNN的架构被称作「网路拓扑架构」，有一些已经成为业界标准，其中包括风行的Alexnet和Googlenet。 Googlene正在得到快速流行，而且比Alexnet复杂得多。其他拓扑架构还包括VGG 和ResNet。从开发的角度来看，有许多开源码库、CNN框架和跨平台的平行程式设计语言，可用于?明CNN的编码和快速部署。 CAffe是一个流行的框架例子，它包含有创建、培训、测试和完善CNN需要的所有网路元素。

如何建立自己的CNN将取决于你当今和未来想要达到之目标。你要找的「东西」有多少种不同的类别，是一小部分，还是成千上万？你将使用何种影像解析度或画面播放速率？这些要求未来会提高吗？你只是需要侦测一个物体，还是需要在它周围画一个详细的边界框并追踪它的运动？

对于类似快速生产线等工业机器视觉应用，有许多特定的影像识别挑战。其中大部分与被侦测影像的品质有关，可能涉及到一定程度的预CNN演算法影像处理。除了能够在侦测区域内隔离物体外，物体照明的均匀性也是另一个考量因素。例如，要能够识别产品标签是否正确固定在瓶子上，需要侦测标签边缘和瓶子边缘。如果瓶子是由透明玻璃制成，标签背面也是透明，影像处理需要生成更多的深色图元，以便清晰地识别边缘，它还需要避免由于生产设备或其他运动元件的反射光而引起错误触发。在这些情况下，通常使用边缘侦测和阈值演算法来提高识别可靠度。

选择何种硬体平台来运作机器视觉应用涉及到许多决策。随着处理器性能提高，在高性能CPU或GPU上运作机器视觉应用已经是一个现实，然而FPGA一直是热门候选者。 FPGA能够针对试图解决之问题动态构建运算体系架构，并提供极高性能。这是由于FPGA的特性而得以实现，它包括数千个专用的单精确度浮点乘法和累加器模组，以及一个嵌入式高频宽记忆体，可配置为一系列缓冲和缓存架构，并与FPGA的运算元素紧密耦合。这能够使晶片保持很低的延迟，并可实现可程式设计互连，从而能够将逻辑整合在一起，准确地构建所需的拓扑架构。最终，硬体的选择将由视觉侦测系统侦测到的速度决定，如果超出范围，则会突显错误，以便其他进程可以干预。

对基于人工智慧机器视觉应用日益增长的需求导致许多制造商在提供现成的完整评估和开发平台，以加速系统验证和原型设计。例如，专业嵌入式相机制造商 Basler为其Dart系列相机提供一套完整的评估套件，其中包括pylon摄像头软体套件。

图2 : Pylon摄像头软体套件。（来源：Basler）

基于Intel Atom四核处理器，AAEON UP嵌入式视觉套件还包括一个Basler相机和pylon软体。

以上两款套件都可为简单机器视觉应用提供良好的开端，但一个功能齐全的基于人工智慧的方案则需要更多能够加速神经网路处理的运算资源和能力。

图3 : AAEON UP开发套件。（来源：AAEON UP）

例如，Intel能够为机器视觉应用提供许多不同的方案。如前所述，FPGA长期以来一直用于机器视觉领域，非常适合运作神经网路。 Intel Max 10 FPGA即是一个非常受欢迎的产品系列，适合于许多基于人工智慧的视觉应用，其功能框图见图4。

图4 : Intel Max 10机器视觉基本功能架构。（来源：Intel）

最近发布的OpenVino（开放式视觉推理和神经网路优化）软体工具包完全支援Intel的FPGA和CPU，有助于加快应用的开发速度，并优化各种Intel硬体设备的工作载荷性能。 OpenVino方案透过常用的API支援CPU、FPGA和GPU执行CNN任务的异构能力，它使用函式程式库和预先优化的内核来帮助减少总体开发周期并加快上市时程，它还承载对OpenCV电脑视觉库和OpenVX跨平台电脑视觉加速API的优化调用。

该工具包由三部分组成：深度学习、基于CNN的电脑视觉技术和硬体加速，它还包括一些预先演算过的深度学习模型。电脑视觉层面包括一个基于python的优化器，可以透过命令列介面调用，从Caffe等框架中导入经过演算的模型。

图5 : Intel OpenVINO 框架。（来源：Intel）

加速是一个添加重要且通常是平行运算资源的过程，不仅仅局限于机器视觉应用，也可适用于越来越多的其他应用，其中一例是用于加快流览器搜索速度的资料中心。然而，许多工业视觉应用的重点是运算需求须处于「边缘」，系统可以在不依赖云端服务情况下运作。

Intel最近发布了Intel Neural Compute Stick 2，这是一个基于USB的综合神经网路原型平台，它采用Intel Movidius Myriad X视觉处理单元（VPU）。 Movidius VPU包含16个128位元元超长指令字（VLIW），能够运作混合架构向量引擎（SHAVE）内核（可用C语言程式设计），以及专用的神经运算加速器引擎。 Movidius Myriad X VPU能够为神经网路处理提供令人印象深刻的每秒1万亿次操作（TOPS），详见图6。

图6 : Intel Neural Compute Stick 2。（来源：Intel）

Neural Compute Stick 2无需风扇，能够仰仗一台笔记型电脑进行深入学习神经网路部署。它附带一个Intel OpenVino以进一步帮助创建工作原型。一旦工作原型系统得以创建，就可以快速部署在基于Movidius的单板模组上，比如mini-PCI Express 尺寸格式的AAEON UP AI CORE。

籍由OpenVino等全面神经网路软体和开发套件，以及Caffe等 CNN框架，基于人工智慧的机器视觉应用现在能够进行快速开发和部署。紧凑、低功耗的硬体原型平台更进一步加速了处于网路边缘节点的视觉系统开发。

(本文作者Mark Patrick任职于贸泽电子)