1、基于 FPGA 的 CMOS 图像传感器采集系统设计曾桂英 潘金艳(集美大学信息工程学院，福建 厦门 361021)摘 要 针对大市场、小目标实时监测系统测量视场与测量速度相互制约的问题，研究了基于FPGA的具有CMOS ROI控制功能的图像采集系统的设计。应用FPGA驱动CMOS IBIS-6600，并对其获取图像进行实时预处理，提取小目标位置信息，进行图像开窗跟踪，实现对高速运动的小目标实时精确定位。开窗跟踪技术，缓解了监测系统中测量视场与测量速度间的矛盾。关键词 FPGA CMOS ROI IBIS-6600 跟踪采集Design of the CMOS Sensor Image Acq
2、uisition System Based on FPGAZENG gui-ying PAN jin-yan(School of Information Engineering , Jimei Univeristy, Xiamen 361021,China)Abstract For the wide field and small target real time monitoring system, research the design of the CMOS sensor image acquisition system based on FPGA. FPGA has been appl
3、ied to drive the CMOS IBIS-6600, as well as to preprocess the image it gets, distill the position information of small targets, and then drive the CMOS under the ROI read out mode to track the high speed moving target. The application of the ROI read out technique relieves the contradiction between
4、the field and speed in the monitoring system.Key words FPGA CMOS ROI IBIS-6600 Tracing Collection引言随着超大规模集成电路工艺技术的飞速发展，CMOS图像传感器性能不断完善，感光阵列不断增多，在工业自动化、民用视频、军事侦察、空间遥感成像等领域得到广泛应用 1。但随着CMOS图像传感器感光阵列的不断增加，对系统存储和数据实时处理提出了更高的要求，且在主频一定的情况下，随着像元阵列的提高，CMOS图像传感器读出帧频将大大降低。根据市场调研，CMOS感光阵列在2000*2000像元左右，其满屏输出模式下
5、帧频都不大于30Hz。CMOS APS 具有ROI（Region-of-interest）输出模式，可对焦点目标进行开窗操作，以Fillfactory公司生产的IBIS4_6600为例，采用40MHz主频时钟,当窗口大小设置为128*128像元时，数据输出帧频可达1kHz以上。故对于光电测角 2、星敏感 3等实时性要求较高的特殊应用领域，可采用CMOS图像传感器的ROI输出模式，达到提高帧频、降低系统存储与数据处理压力的目的。本文介绍了基于FPGA的具有CMOS ROI控制功能的图像采集系统的设计。1 CMOS 图像采集系统组成I B I S 4 6 6 0 0 C M O SS N 7 4
6、V 2 9 3F I F O 6 4 K * 1 8X C 2 S 5 0S p a r t a n - I I F P G A1 0 1 6驱动信号X C 1 8 V 0 1P R O M控制信号图象处理系统光 学 系 统图 1 图像采集系统组成框图系统组成框图如图1所示，主要由FPGA主控模块、CMOS图像获取模块及FIFO数据缓存3部分组成。其中FIFO数据缓存模块，用于缓存ROI工作模式下采集信息，以便后续处理模块进行数据处理，采用TI生产的SN74V293，其数据缓冲容量为64K18bits，在128128像元窗口工作模式下可同时缓存4帧信息。对于全屏采集工作模式下图像数据，仅在FP
7、GA内部进行数据预处理，获取小目标位置信息后丢弃，而不向后端输出，以简化后续数据处理模块复杂度。2 IBIS_6600 图像获取模块CMOS图像传感器，选用FillFactory 的IBIS4-6600 4，该传感器的工作状态由内部状态控制寄存器及其驱动与同步时序进行控制。2.1 IBIS_6600 驱动与同步时序IBIS_6600驱动及同步时序如图2所示，包括系统时钟(SYS_CLOCK)、帧启动(Y_START)、行启动(Y_CLOCK)、数据有效位(PIXEL_VALID)、帧结束(EOF)及行结束(EOL)信号，其中系统时钟、帧启动、行启动为系统控制输入信号，数据有效位、帧结束标志及行
8、结束标志为CMOS输出反馈信号。图2 IBIS_6600驱动及同步时序 图3 SPI接口2.2 状态控制寄存器与 SPI 接口IBIS4_6600内部集成12个16位状态控制寄存器，控制ROI窗口大小及起始位置、积分时间、子采样模式、复位方式、数据读出模式、EOF/EOL/PIXEAL_VALID信号延迟等。IBIS_6600上电后必须对其进行复位操作，复位后内部状态控制寄存器自动清零，在下载更新内部状态控制寄存器数据后CMOS方能正常工作，其配置接口采用SPI传输接口，接口时序如图3所示，包括数据线(SPI_DATA)、位时钟(SIP_CLK)及数据更新时钟(REG_CLOCK)。每个寄存器
9、对应一个字（16bits） ，包括4位地址位A(3:0)及12位数据位D(11:0)，数据位串行同步输入，地址高位先传，位同步时钟上升沿有效，其最高频率为20MHz，16位数据下载到SPI缓存单元后，REG_CLOCK上升沿对寄存器进行数据更新，更新后数据即刻有效。该接口与CMOS驱动时序相互独立，可实时下载更新内部状态控制寄存器数据。在全屏读出模式与ROI读出模式转换过程中，为了保证两种工作模式下信号强度匹配，在更新窗口起始位置与窗口大小信息的同时，还必须同时更新积分时间参量INT_TIME及模拟放大倍数GAIN调整。由于更新后状态控制寄存器数据即刻有效，而IBIS-6600采用滚筒式曝光方
10、式 5，为了保证一帧数据的完整性，IBIS4_6600驱动与内部寄存器更新必须分时交替进行。3 FPGA 主控模块FPGA选用Spartan IIE XC2S300E 及其配套外置存储器XC18V02，其接口框图如图4所示。F P G AS P I _ C L KS P I _ D A T AS P I _ C L O C KR E S E TS Y S - C L O C KY _ S T A R TY _ C L O C KD A T A _ I N ( 9 : 0 )P I X E L _ V A L I DE O FE O L与C M O S接口与F I F O接口F FE FM R
11、SW C L KW E N图 4 FPGA 接口框图FPGA主控模块主要实现对IBIS4_6600的驱动、获取图像窗口信息、实时下载更新IBIS4_6600内部寄存器信息、对原始数据进行预处理、FIFO控制等功能。由于IBIS4_6600内部寄存器值更新后即刻有效，为了保证一帧数据的完整性，IBIS4_6600驱动与内部寄存器更新交替进行。系统设计采用了自顶向下的模块化设计思想，其顶层系统原理框图如图5所示，由以下几个模块组成： 复位模块产生全局复位信号，主要用于消除外部按钮复位信号抖动及发CMOS的复位信号； 时钟模块产生各模块所需的时钟信号（1/2 fin为IBIS4_6600及FIFO工
12、作时钟，1/4 fin SPI串行输出数据端口工作时钟） ； FIFO模块对FPGA与FIFO间信号进行全局复位及/PAF可编程满信号位置控制，从而实现对图像数据输出控制（仅输出ROI工作模式下数据）； SPI_PART模块按探测器SPI输入接口要求，对SPI_DATA模块输出数据进行并串行转换并输出； SPI_DATA主模块对CMOS内部寄存器下载数据进行更新控制； 数据模块对IBIS4_6600输入数据进行缓存，解决IBIS4_6600输出数据为时钟上升沿有效，而系统为下降沿同步的冲突； CMOS_CON主模块，产生IBIS4_6600工作控制信号，对IBIS4_6600输出数据进行预处理
13、，获取有效信号位置，并将该信号输出给SPI_DATA进行实时更新。C M O S _ C O N 主模块S P I _ P A R T 模块复位模块时钟 模块F I F O 模块S P I _ D A T A 模块数据 模块图 5. FPGA 驱动程序组成框图其中CMOS_CON主模块是系统的核心模块，能否正确获取光标位置，进行准确的开窗定位，完成两种工作模式的稳定转换是系统研究的关键。该模块设计采用状态机模式实现，其主要状态转换流程如图6所示,由三部分组成，Part1：全屏工作模式数据下载控制；Part2：IBIS4_6600数据采集时钟控制，产生IBIS4_6600工作控制信号，对IBIS
14、4_6600输出数据进行预处理，获取有效信号位置；Part3：窗口工作模式数据下载控制。由于CMOS获取的图像信息，不仅包括小目标信息，而且还包括背景噪声，故对图像信号先进行阈值处理，阈值的选择需与背景信号和有效信号相关强度匹配。在全屏工作模式下，为了防止强背景所造成的误开窗，窗口图像信息获取部分考虑采用搜索第一次出现的最亮位置作为开窗基准，进入ROI工作模式。在ROI工作模式下，为了正确获取光标，采用两级判断，首先判断窗口内数据是否有效（即是否正确获取目标） ，若无效，则回到满屏扫描方式，从新获取目标；接着判断实时获取的开窗基准位置是否位于窗口边缘，若是，更新开窗位置信息，并启动SPI_PA
15、RT下载更新。b e g i n _ s t a t er e s e t _ s t a t er e s e t _ w i d er e s e t e d _ s t a t ec m o s _ s t a r tc m o s 2c m o s 3c m o s 4c m o s 5c m o s 6L o a d e d = 1L o a d e d = 0p i x e l v a l i d = 1p i x e l v a l i d = 0c m o s 7I n t _ e o l = 1d e l a y _ s t a t e 1e o f = 1d e l a y
16、 _ s t a t e 2f l a g o k = 0f l a g o k = 1r e n e w _ s t a t er e n e w _ w i d er e n e w e d _ s t a t el o a d e d = 1P a r t 1P a r t 2P a r t 3图6. CMOS_CON模块状态转换流程4、成像系统调试采集系统能否正常工作，主要取决于FPGA主控模块的控制时序及两种工作模式下参数设置是否匹配。4.1 时序控制在调试初期，采用 FPGA 仿真 IBIS4_6600 工作状态，进行 FPGA 主控模块系统调试。图 7 为仿真系统工作时序，其中为
17、 FPGA 仿真的 IBIS4_6600 图像输出工作状态(实际工作中，该部分信号由 IBIS4_6600 图像传感器输入)，为初始化 IBIS4_6600 内部状态控制寄存器过程（SPI 口下载，全屏工作模式参数设置）,为 FPGA 驱动 IBIS4_6600 图像输出时序，为 IBIS4_6600 内部状态控制寄存器更新过程（SPI 口下载，ROI 工作模式参数设置，仅更新窗口位置及放大倍数等 6 个参数） 。由图 7 仿真结果，可见主控系统能够正常实现全屏工作模式到 ROI 工作模式的转换。图 7.系统仿真时序示意图4.2 参数设定在实验室条件下，以小孔成像目标（有效成像面积约 2020
18、 像元）进行系统调试。IBIS4_6600 采用电子滚动快门模式，在双采样工作模式下，其积分时间由INT_TIME、NROF_LINES、NROF_PIXELS 寄存器值同时决定。积分时间与模拟放大倍数直接决定了图像信号亮度及有效像元面积。在全屏工作模式下，若积分时间过长（信号过强） ，像素单元的光电子饱和进而流出到邻近的像素单元上引起溢出模糊，从而影响图像位置判断，造成误开窗；在 ROI 输出模式下，若积分时间太短，信号太弱（低于设定阈值） ，将被视为背景信号。因此，若积分时间设置不合理，系统将一直工作在两种工作模式交替状态，无法对目标进行稳定跟踪测量。故必须分析背景信号与目标信号相对光亮度
19、，从而调整两种工作模式下积分时间与模拟放大倍数 GAIN，以实现全屏工作模式到 ROI 工作模式的稳定转换。5、结论应用 FPGA 驱动 CMOS IBIS-6600，并对其获取图像进行实时预处理，提取小目标位置信息，进行图像开窗跟踪，实现对高速运动的小目标进行实时精确定位。整个采集系统的稳定性，主要取决于 FPGA 主控模块的控制时序及两种工作模式下参数设置是否匹配。实际应用中，必须根据背景信号与目标信号的分析进行参数测试调整，以实现全屏工作模式到ROI 工作模式的稳定转换。参 考 文 献1 程开富. CMOS 图像传感器技术在军事中的应用 电子元器件应用 2006 年 8 卷 7 期 p9
20、81002 曾桂英,王淦泉,陈桂林 基于 CMOS ROI 输出技术二维动态角度测量方法研究 光电工程，2005（Z2） Vol.32 p108-p1123 陈凡胜,朱鸿泰,孙胜利 CMOS ROI 技术在星敏感器上的应用 红外技术 2006 年 6 月 第 28 卷 第 6期 p361p3644 FillFactory NV IBIS4-6600 High resolution 6.6 Mpixel CMOS Image sensor，http:www.F 2005.065 侯舒志,姚素英 ,周 津等 CMOS 图像传感器时序控制方法研究与实现 固体电子学研究与进展 2007年 2 月 第 27 卷第 1 期 p119p122基金项目 福建省青年科技人才创新项目(2008F3078) 集美大学科研基金资助项目(ZQ2007025 )作者简介 曾桂英（1977），女，博士，主要从事光电实时信号与信息处理的研究 Emai:
