当我们谈论人工智慧（AI）时，焦点大多集中在模型开发、训练，以及大型语言模型或生成式系统的突破上。然而在现实世界中装置必须能立即互动、回应并适应真正带来差异的关键在於「推论」。并且推论正在不断地从云端转移至边缘装置。

图一 : 推论正在不断地从云端转移至边缘装置。

推论的重要性

推论可以将AI转化为行动。无论是语音辨识、影像分类、异常检测或手势控制，推论能够让装置现场解读数据并做出决策。但随着更复杂的神经网路模型的出现特别是卷积神经网路和基於变压器的网路，传统基於CPU或MCU的系统愈发难以负荷。效能瓶颈正导致体验迟缓、功能受限，或必须依赖云端进行处理，从而引发延迟、隐私与成本问题。
...
...