展示
概述
1.CMOS图像传感器技术
近几年来，随着集成电路设计技术和工艺水平的长足进步，CMOS图像传感器的一些性能指标已接近甚至超过CCD图像传感器。
CMOS图像传感器出现于1969年，它是一种用传统的芯片工艺方法将光敏元件、放大器、A／D转换器、存储器、数字信号处理器和计算机接口电路等集成在一块硅片上的图像传感器器件，这种器件具有低成本、功耗小、动态范围宽、光谱灵敏度高、高集成度、高抗辐照能力等优点，有利于实现小体积，轻质量，低能耗的相机系统，使得它在对载荷要求苛刻的空间应用领域(深空探测、星敏感器等)得到越来越广泛的应用。
CMOS图像传感技术的飞速发展，引发了对图像和机器视觉技术研究的热潮，基于CMOS图像传感器的成像设备己经应用于工业、消费品、手机、监控、安保、汽车、医疗、航空、航天、军工等众多领域.相比于CCD器件，CMOS图像传感器在工艺复杂度，集成度，功耗，体积，成本和开发周期等方面具有明显的优势，西方发达国家已经把基于CMOS图像传感器的成像系统应用于星敏感器、地球勘测、遥感成像等空间探测、导航领域，而国内对CMOS图像传感器在空间探测领域中应用的研究尚处于起步阶段，基于CMOS图像传感器的成像系统的开发比较少，缺乏可靠的工程数据和技术储备。
目前，视频采集技术正在朝着质量高清化、处理技术数字化、压缩方式智能化三个方面发展。随着图像采集技术的提高，采集帧频和分辨率的相应提高带来巨大的数据量，对数据的有效性要求也越来越高，单一化系统已无法满足需求对此，一种多模式且可以进行模式切换的采集系统可以有效地减少数据的冗余性，而且可操作性更高，适用性更广，更符合时代发展的需求。
1.2 CMOS发展现状
(1) 国外CMOS现状
当前国外CMOS传感器像素上最大已经超过1亿，像素尺寸最小到1.1微米.比较有代表性的消费类CMOS和专业CMOS典型产品如下：
消费类CMOS像素越来越小，1.5μm以下为主流器件像元的中心距决定了器件的空间分辨力，也就是通常的清晰度。因此器件的清晰度主要由器件的像元尺寸决定，当前CCD和CMOS在小像元尺寸方面并无明显差异.特别是在消费领域，索尼占据较大份额，其为满足移动终端的需求，不断的提升半导体工艺线，逐渐在缩小像元.2015年7月，三星电子宣布，已经量产业内首个1.0微米像素技术的1600万像素CMOS图像传感器，很快就会出现在高端手机设备上。该传感器型号为“S5K3P3”、使用了三星独有的ISO CELL传感器技术，单位像素尺寸仅有1.0微米，从而大大缩小了整体尺寸和高度.三星表示，相比于1.12微米的1600万像素传感器，它的高度降低了20%，摄像头模块厚度不超过5毫米，因此非常适合如今流行的超薄手机，设计得当的话摄像头部分将不会再凸出.另外，新传感器的图像质量和1.12微米的保持一致，而借助ISO CELL技术，大大减少了各像素间因添加物理障碍而引发的相邻像素颜色串扰的问题，从而提高光敏感度、控制光子收集，强化弱光拍照效果。
在专业数码影像领域，特别是全画幅单反领域，尼康和佳能是两大巨头，其专业顶级旗舰相机代表当前专业用CMOS的集大成者。2016年1月，尼康公司的旗舰级单反D5、采用全画幅36 mm×24 mm CMOS传感器，像素为2082万，分辨率5568×3712、单像元尺寸6.5μm×6.5μm。2016年2月，针锋相对的佳能正式发布了旗舰级单反1 DXMarkII、佳能上一代旗舰单反1DX发布于2011年 10月，至今已经四年半了，这一次1 DXMarkII发布，大部分的核心参数都得到了更新，1 DXMarkII采用全画幅36 mm×24 mm CMOS传感器，像素为2020万，分辨率5472×3648、单像元尺寸6.5μm×6.5μm...安森美是当前CMOS领域除索尼外的第二大厂家。其CCD、CMOS产品线上127个产品中有83个CMOS图像传感器.其中像素最小的1μm×1μm、像素最大的9.9μm×9.9μm。2016年，其将推出8个CMOS传感器，其中1／2.7 英寸的2个，1／3英寸的1个，1／4英寸的1个，4／3英寸的2个，APS-H的2个.像素几乎都在1000万以上，最小像素尺寸1μm×1μm、最大像素尺寸5.6μm×5.6μm...值得注意的是，像素最高的2620万的APS-H型传感器，满画幅(30.3×16.6mm)、长宽比为16：9、像素尺寸为4.5μm×4.5μm。
(2) 国内CMOS现状
相比较CCD工艺要求较高，而CMOS工艺较为易得，国内CMOS图像传感器公司借鉴集成电路领域的通用做法，几乎全部采用自主设计，外协流片的方式研制。
在消费类CMOS领域，国内市场占有率最高的为格科电子有限公司(GalaXyCoreInc.），2016年格科电子CMOS发布的主力产品最大像素为800万，像素为3264×2448、像元尺寸为1.12μm、并采用背照技术增强量化宽松...其最大面阵为1／3.2英寸。
在专业CMOS领域，2012年思比科发布国内首个APS-C规格的CMOS、其包含1200万像素，像素达到4264（H）×2844（V)、画幅达到24.9mm×16.6mm、像元尺寸6μm×6μm、但从实际应用看，高端市场几乎被索尼、佳能等垄断，从拍摄的样片看，成像效果一般，综合来看思比科的APS-C规格的CMOS基本上属于试验产品.2014年5月29日，长春长光辰芯光电技术有限公司自主立项研制的1.5亿像素分辨率、大面阵黑白CMOS图像传感器GMAX 3005顺利通过吉林省科学技术成果鉴定.GMAX 3005采用以色列爵士乐工艺，有效像面为165毫米（H）×27.5mm（V)、像素数30,000×5,000、像元为5.5μm×5.5μm、最大帧频10 fps、该产品主要针对医学、工业、科研等用途而设。2015年，昆山锐芯微电子有限公司也完成了其4096×4096（1600万)、9000×9000的CMOS图像传感器研制，并实现了产品化。其1600万像素CMOS图像传感器，采用24通道并行数据输出，整个图像传感器芯片面积达到37毫米×37毫米、输出帧频为25赫兹...但其9000×9000像素的CMOS虽然采用多抽头输出，但其帧频不足5帧.
对于特种行业CMOS，2013年12月，昆山锐芯微电子有限公司在深圳正式发布MCCD 0601和0605两款芯片。这标志着我国安防领域的针对视频监控领域的国产图像传感器芯片正式问世。MCCD本质上是CMOS图像传感器，因当期CCD传统被认为高端产品，为市场营销需要，其命名为MCCD。锐芯微最初定位在消费类领域，但产品综合竞争力不足，近几年转向低噪声的CMOS研究，取得一些进展，其CMOS图像传感器主要技术指标为标准帕尔输出，768×576像素，像元尺寸在8.6μm×8.3μm、产品可以在满月条件下成像.综合看，锐芯微的CMOS传感器像素偏少，且像元尺寸偏大，而核心低照度性能与EMCCD相比，有2个数量级的差距。
此外，“星光中国芯工程”总指挥邓中翰院士领导的中星微电子集团开发了一些星光CMOS传感器，2014年推出的VS-STARCAM 200相机所用的CMOS最大像素200万，画幅为1英寸，像素1920×1080、像元6.8μm×6.8μm...其所谓的星光，实际上采用补光或者多帧累积技术实现，实际感光能力在锐芯微之下。
至今为止，国内CMOS从技术角度看，与国外差距相对较小，但从CMOS配套应用所需的ISP、软件、机芯整机等水平看，还相差甚远，结合陆军光电应用看，因国外常见的帕尔（768X576)或720 p（1024X720，100万)制式的CMOS器件不仅敞开销售，且从器件、机芯到软件开发采取一揽子的交钥匙解决方案，大大降低了光电系统的开发能力，这也是我们不断从新闻中得到器件取得突破的同时，又不得不面对国产专业或高端CMOS几乎没有市场的现实。
主要创新点
1、驱动测试CMOS传感器
完成1.6亿像素的CMOS传感器驱动，并不断提高其像素时钟的频率，在保持图像画质的前提下，测试传感器的帧频极限.
2、双FPGA设计
两块FPGA之间通过GTX传输图像信息, 速度可达10 Gbit/s、数据量大.而且还涉及到两块FPGA之间时钟同步的问题.
3、多格式视频输出
支持多格式视频信号输出，实现HDMI 1080 p和HDMI 4K开窗显示，以及全图像CameraLink显示。并可以通过蓝牙来切换各种输出方式。
系统架构
1.大面阵成像系统
12.5K×12.5K大面阵CMOS成像系统的整体结构框图如图2-1所示，CMOS图像传感器采集图像后经模数芯片转换为16位数字信号输入FPGA芯片。数据处理模块中有复原方案芯片为数据提供缓存，系统供电模块为各模块提供电源.本系统的数据输出模块可以提供三种方式的数据输出：HDMI 1080 p显示、HDMI 4K显示和凯美拉林接口传输。
图2-1 12.5K×12.5K大面积CMOS成像系统的整体结构框图
2. 器件选型及系统硬件电路图
2.1 CMOS图像传感器选型
根据系统技术指标，本系统所选用的CMOS型号为：12.5k×12.5K_CMOS_C1其相关性能参数如图2-2所示。
图2-2CMOS主要性能参数
图2-3为12.5K×12.5K大面阵CMOS的结构示意图.该面阵是由163840000个像素构成，其中512×512为一个单元，横向25列并行输出，纵向25行串行输出.每一个512×512的单元中，从第一行第一个开始读出，读到第一行第512个后，开始读第二行第一个像素.另外，横向25列是阶梯状的输出，即第一列读第一行的时候，第二列在读第513行，第三列在读第1025行，以此类推。
图2-3 12.5K×12.5K大面阵CMOS的结构示意图
该大面阵CMOS的输出数据信号的特点是：随着光照的增强，电压上升，但会周期性的回到暗电压值.类似电容充放电的过程，每次电压会和光照成正比，上升到目标值，然后就会被读走，电压随即降回无光照时的数值。如果有光继续照射，电压会再上升到目标值，再周期性地降下来。所以总的供电也是周期性的波动。CMOS部分引脚功能描述如表2-1所示。
表2-1 CMOS引脚说明
其中，和场同步有关系的信号包括：文罗和温斯特...这两个信号之间的相位差就是积分时间。随着像素时钟的频率提高，积分时间也随之改变。每种工作频率都有其对应的合适的积分时间。
和行同步有关系的信号包括：拉斯特罗、横纹、文克斯、可读物、沙、什、cpy、读行、rstx...每个信号的具体含义如下：拉斯特罗：：行复位开关，即某一行的行复位开关的复位脉冲；横纹：：读出复位信号开关，即读出放大器的复位开关；文克斯：：移位寄存器的输入，低电平有效；可读物：：读出光信号开关，即控制读出单元信号的脉冲；沙：：亮信号采集开关；什：：暗信号采集开关；cpy：：行方向时钟信号；读行：：行选择开关，即行选开关移位寄存器控制有效脉冲；rstx：：列放大器复位开关，即列级放大器的复位开关。
像素时钟信号是CPX、如果想要帧频大于1.5Hz、那么CPX的频率至少10 MHz...因为在不考虑消隐位的前提下，读出一个512×512的单元需要512×512×100 ns、那么一帧就需要512×512×50×50 ns、即0.66s。
视频数据信号包括25路出a和25路出d信号，其中出d为暗信号，一直都是2.0V、所以只用了25路出a亮信号。亮信号电压变化区间为2.0-2.6V。
其它信号包括：pix偏置、CdS偏置、增益以及供电.pix偏置和CdS偏置为偏置电压，经过实际测量为1.7V，增益为信号输出增益设置端口，设置高低电平对应高低增益，一直拉低.QX和QY是移位寄存器输出信号，用于检测移位寄存器是否正常工作，可以悬空不连接。
供电为3.3V、但要分模拟供电部分和数字供电部分。
根据引脚说明，设计数据传输接口，接口部分原理图如图2-4所示。
图2-4 CMOS接口部分原理图
2.2.2 AD选型及其外围电路
广告芯片完成信号的模数转换，要根据图像传感器的输出特性进行选型，根据大面阵CMOS的输出特性，一共需要接收25对LVDS模拟信号，读出数据位宽16位.因为信号数量很多，所以应该选取一种同时可以处理多路LVDS信号的广告芯片，以减少系统的复杂性.本系统广告芯片可以选择线性公司生产的LTC 2271、是一款双通道采样、16位、25 Msps双通道差分信号模数转换器，采用1.8V供电.图2-5为LTC 2271的引脚图。
图2-5 LTC 2271的引脚图
该广告芯片一路输入，最多可以4线模式输出，这就需要8个FPGA的井上口.因为需要接收的信号非常多，本着节省FPGA的井上口的原则，可以通过SPI把它的输出配置成为1线模式，即通过2个井上口即可接收一路LVDS信号。因为大面阵CMOS的输出25路LVDS模拟信号，所以这就需要至少13个广告。图2-6为LTC 2271的外围电路。
图2-6 LTC 2271的外围电路
经过试验，发现13个广告的Fr(场同步信号)只要再)PCB上保持等长，就可以共用一组Fr信号。SPI中的SCK和SDI也可以共用一组.这样大大减少了FPGA的井上口使用量，简化了硬件设计。
数据输出模块硬件电路
本系统支持多格式视频输出，包括HDMI 1080 p、HDMI 4K、CameraLink...其中，HDMI 1080 p格式数据输出时，将储存在复员方案里的数据读出，经过HDMI编码后输出给显示器进行显示，HDMI数据传输通道一共有四组，其中三组数据通道，一组时钟通道。如图2-7为HDMI 1080 p电路原理图。
图2-7 HDMI 1080 p电路原理图
HDMI 4K需要用到编码芯片TMDS 171、从复原方案里读出的数据进入该芯片进行编码，通过3组数据通道和1组时钟通道输出给4K显示器显示，如图2-8为HDMI 4K编码芯片TMDS 171电路原理图。
图2-8 HDMI 1080 p电路原理图
直接将FPGA的引脚和凯美拉林发送卡相连，发送卡直接插在底板上，这样的模块化设计又降低了研发风险，提高了系统的稳定性。图2-9为凯美拉林子卡接口电路原理图。
图2-9 Cameralink子卡接口电路原理图
设计演示
1.CMOS帧频测试
设计要求CameraLink接口图像帧频需达到至少1.5Hz、而大面阵CMOS的帧频将决定输出图像的帧频，所以需要对CMOS的帧频测试.我们通过调整CMOS驱动信号的帧频来进行测试，输出图像分辨率为512×640的图像进行显示。如图4-1为不同帧频下的测试图像。如下：
(a)帧频为1.5Hz
(b)帧频为2.25Hz
(c)帧频为3 HZ
图4-1(a)帧频为1.5Hz(b)帧频为2.25Hz(c)帧频为3 HZ
可以看出，帧频为1.5Hz的图像最为清晰，随着帧频的提高图像会出现黑条，甚至是模糊现象.所以我们采用1.5Hz的信号进行驱动，完成后端的显示，也满足设计要求。
2.GTX传输速度测试
凯美拉林采集的图像为全分辨率图像，一幅图像数据高达31250万字节、为了完成采集，我们采用GTX进行数据的收发，所以需进行GTX速度测试。
GTX是Kintex-7系列FPGA上的低功耗收发器，支持收发双向，且收发双向独立，GTX接收和发送方向均由PMA和个人电脑两部分组成，个人电脑提供丰富的物理编码层特性，如8B/10 b编码等；PMA部分为模拟电路，提供高性能的串行接口特性，如预加重与均衡。GTX时钟选择与GTX的布局在Virtix 6 FPGA上，每个GTX Qaud包含4个GTX和2对差分时钟输入。当整个芯片多个GTX被使用时，需要合理的分布GTX与时钟输入。从一个四角输入的时钟往上只能给相邻的一个四角提供时钟，往下也只能给相邻的一个四角提供时钟输入，最多只能驱动三个四角、当整个芯片多个GTX使用到同样的参考时钟输入时，合理的分布时钟输入可以节省需要的时钟数量，并为时钟的提供冗余设计.因此，基本的原则是同一个物理接口的几个GTX放在一起，由同一个参考时钟作为时钟输入；不同物理接口的GTX如果在同一个参考时钟的驱动覆盖范围内，可以采用同一个参考时钟输入。
根据计算，采用双通道GTX收发32位数据时，传输速度至少要达到4 Gbps，对于Kintex-7系列，在100米的参考时钟下，GTX速度最高可达10.3125Gbps，我们在GTX中设置测试速度为10 Gbps、如图4-2所示。
图4-2 GTX IP配置
在仿真软件上进行仿真，得到仿真数据，如图4-3为GTX传输速度为10 Gbps的仿真图。
图4-3 GTX10 Gbps测试图
其中用户CLK为传输时钟，TX数据输出为带编码的发送端数据，RX数据为接受端数据，可接受到发送端数据，证明测试通过，速度完全满足所需。
为验证数据在实际过程中的传输情况，将GTX测试程序下载至开发板中，并用ChipScope实时采集数据，如图4-4所示。
图4-4型ChipScope实时采集数据
由实时采集数据可知，两个通道接收端都可以接收到测试数据，并且误差计数I信号为0、表示发送端和接收端数据一致，测试通过。
3.HDMI 4K帧率测试
本着简化电路的原则，我们尝试着用HDMI 1080 p的电路，即用FPGA的信号直接模拟HDMI时序的方法来代替HDMI 4K的电路。去掉以TMDS 171为核心的缓冲稳定电路，简化之后的电路图如图4-5所示。通过仔细研究HDMI 4K的通信协议，我们最终实现了此功能，实现了30赫兹的显示。如图4-6所示。
图4-5 HDMI 4K简化版电路
图4-6 HDMI 4K测试图