當我們談論人工智慧（AI）時，焦點大多集中在模型開發、訓練，以及大型語言模型或生成式系統的突破上。然而在現實世界中—裝置必須能立即互動、回應並適應—真正帶來差異的關鍵在於「推論」。並且推論正在不斷地從雲端轉移至邊緣裝置。

圖一 : 推論正在不斷地從雲端轉移至邊緣裝置。

推論的重要性

推論可以將AI轉化為行動。無論是語音辨識、影像分類、異常檢測或手勢控制，推論能夠讓裝置現場解讀數據並做出決策。但隨著更複雜的神經網路模型的出現—特別是卷積神經網路和基於變壓器的網路，傳統基於CPU或MCU的系統愈發難以負荷。效能瓶頸正導致體驗遲緩、功能受限，或必須依賴雲端進行處理，從而引發延遲、隱私與成本問題。

邊緣裝置需要更快速地思考。

裝置端智能的立論依據

在本機裝置上直接執行推論，具有明顯優勢：

‧ 更低延遲，實現即時回應

‧ 更強隱私，資料僅留存於裝置

‧ 降低對雲端的依賴，降低成本並提升可靠性

‧ 更高能效，即使在受限環境中仍能支援始終在線的使用情境

這正是專用神經處理單元（NPU）的用武之地—這種專為加速AI工作負載而設計的特定架構，能提供遠高於通用處理器的效率。這些為邊緣AI量身打造的NPU，已不再局限於執行簡單的、基於規則的模型或輕量級推論任務。日益普及的是，即便是強大的生成式AI模型，也正被直接部署到邊緣裝置上。

一些能夠展現裝置端推論變革性價值的應用案例正逐漸浮現。首先，由大型語言模型 （LLM）驅動的個人化語音助手，能夠在穿戴式裝置、智慧家電與汽車系統中實現情境感知的即時互動，並且無需將敏感數據傳送至雲端。其次，利用大型視覺模型（LVM）的生成式視覺應用，正透過在智慧眼鏡或行動裝置上直接生成視覺內容，來增強擴增實境體驗，實現零延遲的沉浸式疊加和效果。

市場動能：邊緣AI正蓬勃發展

根據ABI Research研究報告指出，NPU是嵌入式AI中成長最快速的領域，預計至2030年的年複合成長率（CAGR）將達到111%。此一激增反映了跨行業的廣泛需求—從消費性物聯網、汽車到工業監測與智慧醫療。

此成長不僅限於高端系統。它正發生在所有外型規格與價格區間之中。這就是為什麼靈活性至關重要：不同的裝置需要不同的運算空間與功耗預算。

可擴展AI推論方案

Ceva以獨特的可擴展且高能效的AI處理架構來應對這種多樣性。NeuPro NPU產品系列旨在支援從超輕量到極度嚴苛的工作負載。

‧ NeuPro Nano：專為嵌入式機器學習與始終在線的感測應用所設計，此類應用對功耗極為苛刻，遵循效率至上。

‧ NeuPro-M：一個高效能平台，算力可從低於1 TOPS擴展至數百TOPS（每秒兆次運算），支援汽車、智慧相機及工業系統中的複雜模型。

‧ 大/小尺寸架構：Ceva提供獨特的異構處理方法—在單一設計中結合高效率與高效能的AI核心，以動態平衡功耗與性能。

無論是在智慧手錶中進行語音喚醒詞檢測，還是在車輛中進行即時行人檢測，Ceva的NPU都能夠以適配規模的AI滿足需求。

不止關注硬體問題—更關注可實施性

至於裝置端部署AI不僅關乎功能，更關乎從模型到產品的速度與便捷性。

Ceva統一的AI SDK（包含模型優化、模擬與部署工具）為開發者提供在Ceva NPU上建構、調校、優化及執行AI模型所需的一切。無論是使用TensorFlow或ONNX等業界框架，還是利用Ceva的模型庫，此平台都能在最大化效能與可攜性的同時，簡化開發流程。

該操作有助於客戶縮短產品上市時間並降低風險—將AI創新轉化為現實世界的差異化優勢。

應用範圍

憑藉可擴展的推論能力與開發者就緒的平台，Ceva正推動跨垂直領域的下一代智慧邊緣產品的發展：包括低功耗物聯網裝置中的語音控制、工業系統中的預測性維護、邊緣相機與零售分析中的電腦視覺、汽車中的駕駛員監測與個性化功能，以及穿戴式與耳戴式裝置中的手勢及聲音分類。

上述每一個應用案例都需要快速、可靠的決策—而且必須在數據生成的位置完成。高效能的邊緣AI立即實現。

隨著邊緣裝置數量的增長與模型複雜度的提升，本地化推論已不再是一種「加分項」—而是必備的設計要求。NeuPro NPU為產品開發者提供了滿足此需求的工具—提供專為邊緣現實世界（而不僅是數據中心）所優化的AI效能，並重新定義使用者體驗。

智慧邊緣不僅僅能夠思考，它更能極速思考。內建Ceva技術，讓它為未來挑戰做好萬全準備。

（本文作者R an Snir為 Ceva副總裁兼視覺事業部總經理）