图像传感器可以说是在数字视频或静止相机中，视频或静止图像处理流水线的最重要部分。如果没有传感器，就没有图像信号可进行处理。众所周知传感器是非标准化的。在采用方案方面有以下的不同之处：

a. 转换可见光或红外光为电信号的方式。具体而言，在该信号离开这块芯片之前，对这个信号采用编码或压缩的方式。

b. 对传感器内的寄存器进行程序设计，以调整增益、曝光时间、传感器的模式（如线性，HDR）技术，传感器图像调整等。

c. 实现专门功能的方式，如高（或宽）动态范围（HDR / WDR; 例如通过在同一封装中的多个传感器，对于相同的图像多次曝光等。

d. 这些传感器厂商安排了接口，使这些电子图像信号离开这个传感器，并进入下游的处理逻辑。

图像传感器技术

根据用于转换可见光成电信号的基本技术，图像传感器分为两大类。它们是CCD（电荷耦合器件）传感器和CMOS（互补金属氧化物半导体）传感器。到目前为止，用得最多的图像传感器是CMOS传感器。本文只关注CMOS传感器接口。

在视频处理链中典型的图像传感器的应用如图1所示。

《图一 在视频处理链中典型的图像传感器的应用》

如今有几个值得注意的图像传感器制造商，分别是Aptina、OmniVision Technologies、索尼、三星、松下、东芝和Altasens。

如前所述，传感器制造商设计了一系列的接口来处理离开他们的芯片的图像信号，用于下游逻辑来进行处理。根据需要从芯片中提取数据，相同传感器的制造商使用不同的接口，这是很普遍的。例如，具有百万像素分辨率的现代传感器需要在给定的周期时间传出比仅具有VGA级分辨率的传感器更多的数据。如高动态范围（HDR）要求还增加了需要从每个图像帧的图像传感器读取的数据量，为了支持平滑的，低延迟高质量的视频，在给定的周期时间，需要从传感器芯片提取帧数，这也影响了传感器接口的选择。

图像传感器接口的演进

到目前为止，连接到并行LVCMOS接口的所有传感器，如图2所示。传感器分辨率和帧速率已经提高到一个水平，以前主要的CMOS并行接口不再能够处理所要求的带宽。

由于百万像素传感器的问世，对更高速度的需求激增，HDR和需要支持更高的帧速率，新的、更高速传感器使用不同的接口，以克服并行LVCMOS的局限性。例如，索尼和松下使用并行的Sub-LVDS接口，OmniVision使用MIPI或串行LVDS。作为另一个例子，Aptina Imaging为了支持更高带宽的需求，已经推出了称为HiSPi（高速串行像素接口）的高速串行接口。该HiSPi接口可以工作在1 - 4串行数据信道，再加上1个时钟信道。每个信号是Sub-LVDS差分信号，以 0.9V的共模电压为中心。每个信道可以运行高达700Mbps。

《图二 并行LVCMOS图像传感器I / F》

针对HiSPi需要至并行Senor接口桥接

众多的传感器接口对标准化下游视频处理逻辑的制造商提出了一个问题，因为难以用一个ASSP来支持许多不同的传感器接口。

大多数ISP（图像信号处理）器件支持传统的CMOS并行传感器接口，但通常缺乏对高速串行接口的支持。很多ISP并行接口的运行速度远远超过了传感器的并行接口。然而，由于传感器已移动到各种串行接口，这些ISP器件需要逻辑，以转换到并行接口。因此FPGA的网桥件需要转换高速串行数据到并行格式。对于视频信号处理ASSP的制造商，它们拥有支持更快的并行CMOS传感器接口的现成产品，FPGA解决了接口至高速串行传感器的问题。FPGA提供在高速传感器和传统图像信号处理ASSP之间的简单，具有成本效益可程序设计桥接。这个概念如图3所示。

《图三 高速图像传感器和ASSP之间的可程序设计桥接》

基于FPGA的串行Senor桥接参考设计的示例

作为一个现实的例子，针对桥接Aptina图像的HiSPi串行接口至TI DSP并行接口，LatticeXP2 - 5非易失性FPGA提供了有效的具有成本效益的解决方案，如图4所示。

《图四 Aptina HiSPi至TI DM3X5串行至并行接口桥》

这个参考设计在FPGA输入端用HiSPi串行接口，与Aptina传感器相接，而在输出端与TI TMS320DM3X5相接。评估硬件已测试了Aptina的A -1000传感器MT9M034/MTM024和MT9J003该参考设计支持Packetized和Streaming SP HiSPi格式：1-4线运行速度高达每信道700Mbps。它还模拟并行传感器输出，输出总线宽度为8、10、12、14或16位。并行接口可配置为1.8V，2.5V或3.3V LVCMOS的电平。参考设计的框图如图5所示。

《图五 Aptina HiSPi至TI DM385接口桥接框图》

FPGA在传感器接口桥接上的挑战

可程序设计逻辑作为图像传感器和ASSP之间桥接的挑战有三个方面。首先，对于接口信号，FPGA必须提供电信号支持。第二，FPGA的I / O必须有足够的匹配逻辑来支持快速串行传感器接口。第三，FPGA必须提供符合成本效益的非常小的体积，以适应对现代摄像机的紧凑的体积方面的要求。

有完备Sub-LVDS文档支持的非易失LatticeXP2 FPGA解决了针对图像传感器桥接的电气需求。集成锁相环、专用边缘时钟布綫和I / O逻辑解决了高速串行传感器接口。最后，莱迪思的 XP2提供具有成本效益的8 ×8毫米面积。此外，由于其非易失性的性质，LatticeXP2系列器件无需外部PROM，在电路板上进一步节省了成本，对于传感器接口，他们成为有吸引力的可程序设计逻辑平台。图像信号处理（ISP）IP的实用性也使更大的LatticeXP2器件提供各种功能，如传感器数据线性化、传感器的寄存器程序设计、de-Bayering、有缺陷的像素校正，伽玛校正和简单的HDR，每个色信道高达24位。

（本文由Lattice提供）