给你即时无死角的368度全景影像

Cupola 360是信??科技旗下的全景智能影像处理解决方案，而这次我们主要会聚焦在它的处理器晶片上。Cupola 360解决方案是在2018年时推出，旗下共有三大系列，一个是全景影像处理晶片，以及Cupola 360+软体解决方案，与全景相机产品。本次主要介绍的是影像处理晶片这个系列，目前共有两款产品，一个是2019年发表的第一代晶片AST1220，另一款则是2022年底发表的AST1230新品，也是我们今天要介绍的主角。

AST1230是一款全景影像拼接处理单晶片，是专为高性能视讯会议应用所设计的IC，最主要的功能就是提供强大的图像讯号处理（ISP）、智慧布局处理引擎等功能，透过他们独家的Hyper-stitching技术，可以实现即时图像拼接的处理能力，除了结合图像拼接功能和先进可编程音讯DSP能力之外，这款晶片也具有绝隹的功耗和热效率。

AST1230最高可支援30fps和4800万像素的CMOS影像感测器，可以处理高达 8K2K的超高解析视讯。由於具备高性能的音讯DSP，因此也可以处理8个数位麦克风（MIC）输入，另外它也具备高性能音频处理算法，包括远场语音、波束形成、自动增益控制 (AGC)、噪声抑制和??声消除等功能。

那到底为什麽影像拼接需要特别出一颗晶片来处理呢？我们就简单的来说明一下。

所谓的「影像拼接（image stitching）」是指将两张或更多的有重叠部分的影像，拼接成一张全景图或是高解析度影像的技术。而影像拼接有两大步骤：

1.影像对准（image alignment）

2.影像混合（blending）

但要把这两个程序做到精准又即时，除了要具备一定的算力之外，在影像的分析与处理方面也要有独到之处。因为它需要对至少两个以上，以360度全景视讯来说，通常就是4个影像讯号，去进行视讯的特徵取样分析，接着再把它们对准并混合。

图二 : 影像拼接原理示意图

如果是一个很大的画面，或者讯号更多的情景，则所需要的算力就又更高，此时则延迟与功耗的问题都会是挑战。基於如此，信??也就推出了Cupola 360全景影像处理单晶片。

前面说到，AST1230是第二代的新产品，那我们也来看看它有哪一些的新功能。AST1230其实做了很多的升级，首先在处理核心方面，它改用了晶心科技的「Andes N25F」32位元RISC-V核心，因此很大程度的在功耗与效能上取得了改善，在DRAM记忆体方面，则改采外部的8Gb的DDR4来提升速度；影像感应器方面，一样是4道MIPI介面，但每道可支援2.5Gbps，可以处理的解析度也提升到了8K2K。

快闪记忆体方面，则从原本的eMMC SPI Flash，改为外部的32MB SPI NOR Flash记忆体；音讯的部分，使用CEVA的「BX1 DSP」，最高可支援8个数位麦克风输入。另外USB则升级为USB3.2 Gen 1．最高速度达5Gbps。此外也加入了AI晶片的通讯介面。

至於它的应用，最初Cupola 360是商务和消费型市场为主，最主要就是做为360度沉浸式智能摄影机的处理核心，因此这个晶片系列也都是以全景视讯会议应用为主，为此，信??科技也跟合作夥伴共同开发出了很多样的全景视讯相机过去。

但近来随着智慧工厂与智慧城市应用的落地，Cupola 360也转往工业与公共事务领域发展。

透过搭载AST1230的360度智能摄影机，并结合相关的AI软体，就能实现多点跳跃巡检、远端监看，或者远端厂稽核等功能，或针对高危险场域进行虚拟机器人场域巡逻等，进而降低厂房或安全人员的负担，解决目前产业缺工问题。

CTIMES 五项评比人文科技指标：3.5★

名称：信??科技「Cupola360全景影像处理器」

评比：

1.创新指标：4

2.精进品质：3

3.环保意识：3

4.人文关怀：5

5.服务评价：3

编辑评语

在这个「处处是镜头，视讯时时有」的年代，多影像的拼接，或者全景视讯的成生，都将会成为商业与工业领域的必然需求。然而高品质与实时的全景影像绝不是这麽轻而易举就能达成，更何况还要考虑功耗与音讯的问题。而信??科技的AST1230可以说是完美的迎合了这个需求，它让全景影音的生成与运用变得更加便利与轻易，可以说让全景影像的应用多了更多的可能，尤其是它还考虑到了AI应用的空间，让它的发展更为宽广。