1、河南理工大学毕业设计（论文）说明书I基于 FPGA 的视频信号采集与处理系统摘 要图像是人类获取和交换信息的主要来源。现如今，图像处理的应用领域已经涉及到人类生活和工作的方方面面，如航天和航空技术、工业和工程、军事公安、生物医学工程等等。在图像处理系统中，实时图像的采集是整个系统的前端部分，也是整个系统最重要的部分。前端的图像采集速度及质量，直接影响到图像处理系统后端的算法处理及应用。本文主要设计图像处理系统的前端部分，即视频信号的采集。本文设计中采用 CMOS 图像传感器 OV7670 对外界图像进行实时采集，通过 FPGA 内部设计的初始化模块对图像传感器输出信号的格式进行配置。根据其输出
2、信号的时序，在 FPGA 内部设计采集单元。采集到的数据一路送到 TFT 液晶屏上进行实时显示，另一路送入 SRAM 缓存。当一帧图像存储完成后，在 NIOS II 软核中对图像进行处理，并将处理结果以图片的方式，存储到外部存储器 SD 卡中。关键字：FPGA； 实时图像； CMOS； 图像采集河南理工大学毕业设计（论文）说明书IIAbstractThe image is human access and exchanges the primary source of information. Nowadays, Image processing applications have invol
3、ved human life and all aspects of the work, such as aerospace and aviation technology, industry and engineering, military police, biomedical engineering and so on. In the image processing system, Real-time image collection is the head part of the whole system, is also the most important part of the
4、whole system. Part of the image acquisition speed and quality, directly affect the image processing system and the algorithm after processing and the application.This paper mainly designs image processing system, namely the head part of video signal collection.This paper applied to the design of CMO
5、S image sensor to the outside world OV7670 real-time image acquisition. Through the FPGA design inside the initialization of the module of image sensor output signal format configuration. According to its output signal timing, In the FPGA design inside acquisition cell. The data collected one way to
6、 TFT LCD screen on the real-time display, and the other way into an SRAM cache, when a frame image storage completed, processing the image in the NIOS II MCU. And the result of processing, storage to external storage SD card.Key words：FPGA; Real-time image; CMOS; Image acquisition河南理工大学毕业设计（论文）说明书II
7、I目 录1 前 言.11.1 数字图像处理发展史.11.2 系统整体设计.32 CMOS 原理和特性及 CMOS 摄像头的基本结构 .42.1 CMOS 原理及特性 .42.1.1 CMOS 数字图像传感器基本原理 .42.1.2 CMOS 图像传感器的特性 .52.2 COMS 传感器的基本结构 .62.2.1 OV7670 简介 .62.2.2 OV7670 内部结构 .83 系统设计及硬件实现.123.1 系统结构及工作流程.123.1.1 系统结构.123.1.2 系统工作流程.123.2 器件选型及硬件电路实现.123.2.1 FPGA 选型 .123.2.2 FPGA 配置电路 .
8、133.2.3 SDRAM 电路实现 .153.2.4 SRAM 电路实现 .173.2.5 其他硬件电路.184 系统软件设计.194.1 软件设计概述.194.2 VHDL 简介及特点 .204.3 OV7670 初始化模块 .214.4 OV7670 数据采集模块 .234.5 SRAM 控制模块和 TFT 液晶控制模块 .25河南理工大学毕业设计（论文）说明书IV4.6 MCU 单元设计 .264.6.1 SOPC Builder 简介 .264.6.2 主控制单元 MCU 的实现 .284.7 NIOS II 软件开发 .294.7.1 NIOS II 集成开发环境 .294.7.2
9、 MCU 软件设计 .304.7.3 简单运动检测.314.7.4 BMP 图片存储 .325 总结与展望.34参考文献.35附录 1.36附录 2.43致谢.44河南理工大学毕业设计（论文）说明书11 前 言1.1 数字图像处理发展史数字图像处理技术起源于 20 世纪 20 年代，当时通过海底电缆从英国伦敦到美国纽约传输了一幅照片，它采用了数字压缩技术。就 1920 年的技术水平看，如果不压缩，传一幅图片要一个星期时间，压缩后只需要 3 小时。1964 年美国的喷气推进实验室处理了太空船“徘徊者七号”发回的月球照片，这标志着第三代计算机问世后数字图像处理概念开始得到应用。其后，数字图像处理技
10、术得到迅速发展，目前已成为工程学、计算机科学、信息科学、统计学、物理学、化学、生物学、医学甚至社会科学等领域各学科之间学习和研究的对象。从 70 年代中期开始，随着计算机技术和人工智能、思维科学研究的迅速发展，数字图像处理向更高、更深层次发展。人们已开始研究如何用计算机系统解释图像，实现类似人类视觉系统理解外部世界。如今图像处理技术已给人类带来了巨大的经济效益和社会效益。而在图像处理系统中，图像采集是图像处理最重要的前提。前端的图像采集速度及质量，直接影响到图像处理系统后端的算法处理及应用。图像采集卡是常用的图像输入设备，通常占用 PC 机总线的一个插槽。它主要包括图像存储器单元、CCD 或
11、CMOS 摄像头接口、PC 机总线接口等。传统的图像采集卡大多数采用 PCI 接口，这种图像采集卡适用于将模拟信号经 A/D 转换器转换成数字信号，或本身就是数字信号，再通过PCI 接口传输至 PC 机，进行图像处理。但使用嵌入式系统实现图像采集和处理时，带有 PCI 接口的图像采集卡就不适用。另外在图像处理的实时性方面，一般的所用的 PC 软件或 MCU 软件方法已不能满足要求，究其原因就是因为其本质是顺序执行指令，不能做开并行处理。而一般采集的图像数据量较大，运算量也相应比较大。另一方面，现今的图像处理应用也向嵌入式小型化方向发展。因此，现场可编程门阵列（FPGA， FieldProgra
12、mmable Gate Array）以其较高的河南理工大学毕业设计（论文）说明书2并行处理能力、丰富的内部资源和较大的灵活性，在视频图像处理方面，显现出独特的优势。FPGA，即现场可编程门阵列是用户自编程 ASIC 的一种，它使用户可以在现场通过编程形成自己所需要的 ASIC，并可不断对自己已经提出的要求或初始设计进行更改。1985 年，Xilinx 公司推出了世界上第一款FPGA，在随后的 20 多年的发展过程中，FPGA 硬件体系结构和软件开发工具都在不断的完善，成熟。现在如今，Xilinx、Altera 等世界顶级厂商已经将 FPGA 器件的集成度提高到一个新的水平。此外，FPGA 还嵌
13、入用户可以自己定制的软核 CPU，加上完整和多平台设计环境，还可以利用第三方的综合、仿真工具，提高了设计效率，缩短了设计周期。随着现代大容量、高密度、高速度 FPGA 的出现，在这些 FPGA 中一般都内嵌有可配置的高速 RAM、PLL 以及硬件乘法器等 DSP 专用 IP模块，而且在原有逻辑宏单元的基础上嵌入了许多面向 DSP 的专用模块，结合这些硬件资源使 DSP 开发者能十分容易地在一片 FPGA 上实现整个DSP 系统，使得之前主要由 DSP 完成数字图像处理算法，对数字图像进行算法级处理的系统，完全可以在一片 FPGA 上来实现，大大缩减了外部硬件电路。同时 FPGA 中能嵌入高速的
14、 ROM 和 RAM 模块，实现高达10Mb/s 的读写速率 (Altera 公司的 Stratix 系列)，FPGA 的设计非常灵活，通用 DSP 芯片通常只有 14 个乘法器，而在 FPGA 中可以配置数十个乘法器( 例如 Altera 公司最新的低成本的 CycloneII 系列 FPGA 可以提供多达150 个 1818 位的乘法器)，用来实现通用的 DSP 功能。很多 FPGA 供应商提供了专用的开发软件(例如 Altera 公司的 DSP Builder)，以MATLAB 工具箱的形式出现，利用 MATLAB 中的 Simulink 工具进行图像化设计，建立各种数字信号 DSP 模
15、型，完成后利用 DSP Builder 将其转换成硬件描述性语言 VHDL，通过综合、下载，最后得到能实现 DSP功能的 FPGA 电路，使得 DSP 算法处理开发变得简单。河南理工大学毕业设计（论文）说明书31.2 系统整体设计本文主要研究是基于 FPGA 设计一个完整和视频信号采集与存储系统。本系统能够实时采集数据，其图像的质量可以通过对数字图像传感器进行配置初始化，以得到最佳图像。之后送入 FPGA，一方面在 TFT液晶屏上实时显示，另一方面在存入 SRAM 缓存，然后在 NIOS II 软核中对其进行处理，之后以图片的格式存入 SD 卡。基本系统框图如图 1-1 所示：O V 7 6
16、7 0图像传感器F P G A ( E P 2 C 8 Q 2 0 8 C 8 )2 . 8 寸 T F T液晶显示屏S R A MS D R A ME P C S 4S D图 1-1 系统框图所应用场合如图 1-2 所示。:应用场合参考研究摄像头图像采集研究 F P G A 嵌入式图像处理技术研究在线图像采集与预处理技术研究图像识别技术图 1-2 参考应用场合河南理工大学毕业设计（论文）说明书42 CMOS 原理和特性及 CMOS 摄像头的基本结构2.1 CMOS 原理及特性CMOS（Complementary Metal-Oxide-Semiconductor）图像传感器是在 60 年代末
17、期出现的，但由于其性能的不完善严重影响了图像质量，从而制约了它的发展和应用。在 70 年代和 80 年代，CCD 在可见光成像方面取得了主角的地位。进入到 90 年代，由于对小型化、低功耗和低成本成像系统消费需求的增加和芯片制造技术和信号处理技术的发展，为新一代低噪声、优质图像和高彩色还原度的 CMOS 传感器的开发铺平了道路，CMOS 图像传感器成为固体图像传感器的研究开发热点，CMOS 传感器的性能也因此大大提高。CMOS 图像传感器的迅速发展并商业化得益于成熟的 CMOS 工艺，目前国外诸多公司和科研机构已经开发出不同光学格式、多种类型的 CMOS 图像传感器，并将其应用于光谱学、X 射
18、线检测、天文学( 观测研究)、空间探测、国防、医学、工业等不同的领域。2.1.1 CMOS 数字图像传感器基本原理CMOS 数字摄像头是由 CMOS 数字图像传感器芯片、芯片外围电路和光学镜头组成的。在通常情况下，图像传感器芯片的性能就决定了摄像机的性能。典型的 CMOS 图像传感器芯片是由像素感光阵列及辅助电路构成，其结构如图 2-1 所示。其中像素感光阵列主要完成光电转换功能，实现图像的采集，是芯片的核心组成部分。辅助电路主要完成驱动信号的产生、光电信号的处理和信号输出等任务，是芯片实现各种功能的关键电路。河南理工大学毕业设计（论文）说明书5行选择译码器像素感光阵形模拟信号处理器模数转换器
19、存储器存储器读出译码器定时控制电路列选择译码器图 2-1 CMOS 图像传感器基本组成原理像素感光阵列是由光电二极管和 MOS 场效应管阵列构成的集成电路。在实际工作中，CMOS 图像传感器首先在行选择译码器的控制下依次接通被选中行的像素模拟开关，图像信号通过行开关传送到列线上，再通过列选择译码器的控制传送到放大器。经过处理的模拟信号最后由 A/D转换器进行模数转换，再经预处理电路处理后通过接口电路输出。2.1.2 CMOS 图像传感器的特性（1）光照特性CMOS 传感器的主要应用也是图像的采集，也要求能够适应更宽的光照范围。因此也必须采用非线性的处理方法和自动调整曝光时间与自动增益等处理方法
20、。结果与 CCD 相机一样损失了光电转换的线性，正因为此项，它也受限于灰度的测量。（2）输出特性CMOS 图像传感器的突出优点在于输出特性，它可以部分输出任意区域范围内的图像。 （并非所有 CMOS 传感器都具有这个功能，如果生产厂家没有给您提供）这个特性在跟踪、寻的、搜索及室外拍照等的应用前景非常之好。也是 CCD 传感器所无法办到的。（3）光谱响应河南理工大学毕业设计（论文）说明书6光谱响应受半导体材料限制，同种硅材料的光谱响应基本一致，与CCD 的光谱响应基本一致。（4）光敏单元的不均匀性光敏单元的不均匀性是 CMOS 图像传感器的弱项，因为它的光敏单元不像 CCD 那样严格的在同一硅片
21、上用同样的制造工艺严格制造，因此远不如 CCD 的光敏单元的一致性好，但是它内部集成单元多，处理能力强能够弥补这个缺陷。2.2 COMS 传感器的基本结构2.2.1 OV7670 简介下面以 OmniVision 公司的 OV7670 图像传感器为例，来说明 COMS传感器的基本结构。OV7670 CAMERACHIPTM 图像传感器，体积小、工作电压低，提供单片 VGA 摄像头和影像处理器的所有功能。通过 SCCB 总线控制内部寄存器，可以使 OV7670 输出整帧、子采样、取窗口等方式的各种分辨率的图像数据。SCCB 是 OmniVision 公司定制的串行摄像头控制总线（Serial camera control bus） ，它用于对摄像头的寄存器进行读写，以达到对摄像头输出图像的控制。两线制 SCCB 与 I2C 总线类似，是一种双向二线制同步串行总线。SCCB 的数据传输由微处理器控制，微处理器能够发出数据传输启动信号、时钟信号以及传送结束时的停止信号。SCCB 接口有两个管脚，SIO_C 是 SCCB 时钟输入信号，它的最大频率为 400KZ，SIO_D 是SCCB 数据输入输出口，根据协议把参数写入寄存器和读取寄存器的数值。SCCB 的时序图，如下图 2-2 所示：
