1、视 频 图 像 处 理,宋 建 中,（2004年版）,研究生课 (第三讲),1,1. 视频图像处理系统,2,2. 光学成像概念,光轴：光学系统由一系列的折射和反射表面组成，各个表面的曲率中心在同一直线上的光学系统叫共轴光学系统，该直线成为光轴。,马吕斯定律：垂直于波面的光束经过任意次折射和反射后，出射波面仍和出射光束垂直；并且入射波面和出射波面上对应点之间的光程为定制。,光程s：光在介质中经过的几何路程 L和该介质折射率n的乘积,S = L n = c t， L = v t, n = c / v,3,光学成像概念（续）,实像点：实际光线会聚的点。可以被眼睛或其他接收器所接受。,虚像点：有光线的
2、延长线形成的像点。虚像可以被眼睛看见，但 必能被其他接收器所接受。,物空间每一点对应像空间的一点，这两个对应点称为物、像 空间的共轭点。 物空间每一条线对应像空间的一条线，这一对对应的线称为 物、像空间的共轭线。 物空间任意一点位于一条直线上，对应像空间的共轭点也比 在该直线的共轭线上。,4,理想光学系统的共轭成像理论：,理想光学系统的焦点、焦平面、主点、主平面,f= h / tg u,f = h / tg u,理想光学系统只要知道焦距大小和焦点或主点位置，其性质就确定了。可以求得任意位置和大小的物体经过光学系统所成的像。,光学成像概念（续）,5,理想光学系统的物像关系,f f= xx,1 /
3、 L- 1 / L = 1 / f,图解法,解析法,物距（x）：物点A到物方焦点F的距离,像距（x）：像点A到像方焦点F的距离,牛顿公式：以焦点为原点的物、像位置关系,高斯公式：以主点为原点的物、像位置关系,光学成像概念（续）,6,3.1 光学图像的形成,靶面：图像传感器的光敏面,3. 视频图像的形成,7,放在光学系统的像面,目标,3.2 电视图像的形成,8,3.3 CCD电视摄像机,电视摄像机由图像传感器（包括视频放大器、同步扫描电路）和光强控制电路组成。,9,电视摄像机是产生电视图像信号的部件，是电视跟踪测量系统的重要组成部分。,具有自扫描功能，取消了高压电极、偏转线圈、扫描电路等； 不产
4、生几何失真； 便于使用电子快门，提高动态分辨率； 无滞后； 抗烧伤； 灵敏度高； 功耗低； 体积小、重量轻； 抗冲击、长寿命。,3.3.1 CCD (Charge Coupled Device)图像传感器,10,自从1970年发明CCD，1973年开发出具有13000像素的CCD摄像机。到现在，CCD摄像机已经取代了电视摄像管摄像机，甚至发展到数码相机取代用胶片的照相机。,CCD摄像机发展如此迅速的原因是：,1) CCD的基本单元,11,CCD的基本单元是 MOS(Metal-Oxide-Semiconductor)结构 以金属电极和半导体为两块极板，氧化物绝缘层的介质的电容器。,MOS电容器
5、的有序排列加上输入和输出部分就构成了CCD的基本结构。,电荷的转移过程就是同步扫描的过程。,12,势阱中收集的电子数与该点入射光强度成正比。,例如：三相一列结构：,2) CCD的外围电路,CCD和它的特定外围电路一起才能完成电荷转移功能。外围电路要产生：输入、输出结构需要的复位脉冲和各种电平；CCD电荷转移用的时钟脉冲； 按照电极结构分为：二相、三相和四相CCD，分别需要二相、三相和四相时钟脉冲。,早期CCD的外围电路采用分离元件、单板机或单片机编程产生；目前CCD的外围电路已经集成化，形成专用的芯片；最新的产品是将CCD及其外围电路全部集成在一个芯片上。（整个CCD摄像机只有感冒胶囊大小）,
6、13,3.3.2扫描与同步,1 ) 光栅式扫描,逐行扫描行回扫场回扫帧,隔行扫描场优点：节省频带缺点：垂直分辨率降低一倍,14,二维的光学图像经过电视摄像机的光电转换和光栅式扫描编码成一维的视频信号。,我国标准电视体制的规定为： 每帧625行； 隔行扫描； 行频15625（Hz)； 每秒50场，两场为一帧； 光栅宽高比为4：3； 视频带宽6MHz。,2) 极坐标扫描,3) 随机扫描,15,扫描起点为圆心，沿径向扫描。用于图形变换等。,扫描起点为任意点，以光栅方式扫描一个指定的区域。用于对指定区域的观察等。,4) 行同步与行消隐,17,在图像视频信号中加入行、场同步脉冲和行、场消隐脉冲后得到的信
7、号叫做全电视信号, 也是最终形成的电视图像信号。,信号幅度：消隐电平（基准电平）为0V，峰值白电平0.7V, 黑电平与消隐电平之差为0V+50mV, 同步脉冲电平为-0.3V。脉冲宽度：行同步4.7s, 行周期64 s，行消隐12s， 行消隐前肩1.5s; 场同步2.5H, 场周期20ms，场消隐25H+12s ， 场消隐前均衡脉冲2.5H, 后均衡脉冲20H+12s;,16,5) 电视图像信号的规定,我国电视图像信号的幅度和同步、消隐脉冲的宽度规定如下：,6) 场同步与场消隐,18,3.3.3 自动调焦、调光,调焦:调节调焦机构使得像平面落在感光介质的表面上，保证感光介质所记录的影像清晰。自
8、动调焦可以分成两大类：一类是基于测距方法，另一类是基于成像清晰度的方法。,测距法：三角测量法,图像检测法：对比度法;相位法,自动调焦,19,根据距离调节透镜的位置实现聚焦,根据图像信号判断聚焦状态，调节透镜的位置实现聚焦,测距法,20,测量M的角度 当转动M使C点的两个像重合（相关度最大） 时，M的角度为/2；, 三角测距法,可采用零位法精确测量：,21,自动调焦系统框图1,CCD（AF检测模块）产生的电信号通过AF接口送CPU处理； CPU将根据通过镜头触点取到的参数 和接口送来的数字量计算出散焦量和散焦方向； 将控制指令发送给马达驱动单元，将指令换算成步进马达的旋转角度及相应的脉冲数； 驱
9、动AF马达，带动镜头内的活动光学元件旋转，实现自动调焦。,22,计算机数字自动控制系统,自动调焦机构示意图,主反光镜的中央部分是半透明的，让光线通过这一部分而进入副反光镜，副反光镜再将光线反射至AF检测模块上。,23,透镜分离相位检测装置由一组分离镜片和一组或多组由感光元件组成的测距组件(或称AF传感器)构成。目前感光元件有：线阵CCD和专用的存储影像传感器。,透镜分离相位检测原理,透过摄影镜头的光线通过主反光镜后面的副反光镜反射后，通过遮挡块，由滤光片过滤掉有害的红外线，经过分离镜片，将光线分成两束，分别投影在CCD影象传感器上。,24,透镜分离相位检测原理1,25,对比度法,将两个光电检测
10、器放在相面的前后相等距离处，被摄影物的像经过分光同时成在这两个检测器上，分别输出其成像的对比度。当两个检测器所输出的对比度相等时，说明调焦的像面刚好在两个检测器中间，即和像面的位置重合，于是调焦完成。,26,（1）对比度法 是通过检测影像的轮廓边缘实现 自动调焦1。,基于图像处理的自动调焦,对图像进行实时处理，判断聚焦是否准确（成像是否清晰），并给出反馈信号控制镜头的调焦机构，直到采集到的图像符合使用要求，完成自动调焦。,基于图像处理的自动调焦的优点：,更加智能化，聚焦判据更加灵活和多样。,27,28,自动调光,根据像面的照度调整光学系统的进光量，保证像面的照度在合适的范围1内。,自动调光的方
11、法：,光敏电阻 + 滤光片 + 变密度盘,变密度盘,滤光片,29,自动调光（续）,视频调光（CCD + 滤光片 + 变密度盘）,背景调光,峰值调光,30,自动调光（续）,电子快门调光（不用变密度盘）,31,CCD正常工作时，衬底漏极以帧频移走电荷。当超量的电位加到每个像元下面的衬底上时,势垒被消除,将电荷泄放到漏极。,复位脉冲的下降沿产生一个放电脉冲, 电荷传输的门控脉冲（SG）和放电脉冲的时间间隔是CCD电子快门的嚗光时间。,32,4. 图像数字化,一幅图象必须要在空间和灰度上都离散化才能被计算机处理。空间坐标的离散化叫空间采样，而灰度的离散化叫灰度量化。, 灰度级多少影响图形的亮暗和伪轮廓
12、效应。 灰度级至少要求大于100。,数字图像：图像经过采样和量化，变成适当的离散数据结构。, 采样间隔要满足Shannon 采样定理,33,连续函数f(x,y)在空间上被 采样成M行、N列的矩阵,x = jx, j=1,M,y = ky, k=1,N,采样间隔：x、y,采样矩阵 f(jx , ky)组成离散的图像,34,4.1 采样,F(u,v)是函数 f(x,y)的富立叶变换,35,采样图像的富立叶变换是图像富立叶变换周期性重复的叠加。,u,v,U,V,Fs(u,v),fs(x,y) = f (x,y) S(x,y), 在规则的栅格上的采样图像可以看作是采样函数 和连续的图像函数相乘。,采样
13、函数,36,采样图像,如果频谱发生重叠，图像就会产生失真，叫做混叠。,Shannon 采样定理：如果采样间隔选择： x1/2U, y1/2V 频谱的混叠就可以避免。, 在图像处理中的物理意义：采样间隔应该小于图 像中最小的感兴趣的细节的一半。, 富立叶分析解释了数字采样的混叠现象；如果采 样足够精细，混叠可以避免。,37,实际采样的影响,像元：像元代表图像的基本元素。 从图像处理的观点，是不能再分的单元。 全部像元覆盖整个图像。,人们习惯上还是把像元当作一个点。,实际的像元具有有限的大小， 因为采样函数不是函数，而是很窄的有限幅度的脉冲。,38,4.2 量化,每个像元至少具有两个属性：位置和灰
14、度。,用A/D转换器对图像的每个像元的亮度值进行数字化1，叫做图像的量化。,表示像元亮暗程度的整数称为灰度。,量化的阶数应该保证人的视觉能够发现图像的亮暗细节。用比特（bits）数表示像元亮度。如果像元亮度值是8 bits ，则量化的阶数k=28。,量化阶数不够，会产生伪轮廓效应。,灰阶,灰度,255,0,128,39,40,显示： 把数字图像变成一种适于人类理解的形式。,显示应有助于对图像的理解和对图像处理的控制,数字图像显示系统的构成和特性 决定显示的数字图像质量的因素 与显示有关的几个应注意的问题,5.1 引言,5. 数字图像的显示,本节介绍：,41,5.1.1 显示图像的质量,人眼对灰
15、度的分辨力,人眼对边缘细节敏感,42,显示的图像尺寸,光度学特性,噪声特性,5.1.2 影响显示图像质量的显示系统性能指标,低频响应,高频响应,43,显示的图像尺寸,物理尺寸：显示屏要足够大，便于观察和判读所显示的图像,显示系统能够处理的数字图像最大尺寸：行/帧、象元/行,光度学的分辨率,显示系统在每个象元处产生亮度值的精度显示系统能够产生的灰度级数（显示屏的材料、D/A的精度）1,显示系统的噪声的均方根值代表了系统灰阶分辨率的下限如：噪声的均方根值为整个显示范围（从黑到白）的1%，则，显示系统有效分辨灰度的能力最多约为100级，即使接收8比特的数据。,44,光度学的分辨率,系统显示灰阶的线性
16、度1,人眼对灰阶的线性度不敏感，1020%的交叉变化很难发现，要用用灰度测试卡校正。,45,低频响应,再现大面积恒定灰阶的能力。它取决于显示点子的形状、彼此的距离和显示系统的噪声特性。,由于数字图像显示的CRT,通常采用圆点组成的长方形阵列。,显示的圆点采用高斯模型来描述,P(x,y) = e-(x2+y2) = e-r2,P(x,y) = 2-(x2+y2)/ R2,两点距离1.55Rd1.65R最接近均匀亮度,46,高频响应,再现图像细节的能力。用鉴别率板（线对）来检测,扫描点相互之间的作用影响显示的亮度；扫描点的距离小于2R后调制深度急剧下降。,47,显示器点频的选择： 过高不利于细节分
17、辨率 过低不利于低频的均匀性,当监视器尺寸和扫描电子束聚焦点子大小一定的情况下,要根据具体的图像处理要求选择监视器,48,噪声特性,显示系统的噪声影响显示的亮度和显示的位置,幅度噪声：亮度通道的随机噪声产生椒盐效果，特别是对均匀背景影响更明显。有效的量化电平约等于噪声的均方根值。如果噪声是周期性的，可能产生斜纹装图形，叠加在显示的图像上。,位置噪声：扫描通道的随机噪声不仅造成扫描点的位置变化与扫描点之间的相互作用（影响显示亮度）结合起来会产生椒盐效果1。,49,5.2 图像显示系统,5.2.1 图像显示器的基本组成,50,5.2.2 图像显示器的特点,扫描频率提高：扫描频率多种，根据显示方式而
18、定。 行频最高达到120KHz，远高于电视机。,画面显示质量：不允许画面出现干扰和抖动,电磁兼容性：要符合国家电磁兼容标准。,51,本章小结,1、本章从基本原理上介绍视频图像处理系统的主要部件,2、光学成像的几个概念,52,光程、光轴、理想光学系统的共轭成像理论和物象关系,本章小结,3、视频图像的形成,4、图像的数字化,53,Shannon采样定理、灰度量化,光学图像的形成、电视图像的形成、CCD摄像机、同步扫描、标准电视图像信号的规定,5、图像的显示,显示器的性能指标（显示图像的尺寸、灰度分辨率、频响、信噪比）,思考作业,1、图像噪声有几种？它们的定义是什么？,3、试提出并论述一种有关解决椒盐噪声的方法。,54,2、为什么噪声会影响图像显示的亮度？,See you next week!,56,
