1、第五章 图像复原,图像退化/复原过程的模型噪声模型仅噪声存在情况下的空间滤波复原频域滤波消减周期噪声线性、位置不变的退化估计退化函数逆滤波最小均方误差滤波约束最小二乘方滤波器几何均值滤波几何变换,图像在形成、记录、处理和传输过程中,由于成像系统、记录设备、传输介质和处理方法得不完善，导致图像质量下降，称为图像退化.,图像复原是试图利用退化过程的先验知识使已退化的图像恢复本来面目,即根据退化的原因,分析引起退化的环境因素,建立相应的数学模型,并沿着使图像降质的逆过程恢复图像.目的在于消除或减轻在图像获取以及传输过程中造成的图像品质下降,恢复图像的本来面目.因此,复原技术就是把退化模型化,并采用相
2、反的过程进行处理,以便复原出原图像.,图像复原与图像增强联系紧密图像复原通常会涉及到设立一个最佳的准则,它将会产生期望的最佳估计.对比而言,图像增强技术基本上是一个探索性过程,为了人类视觉系统的生理接受特点而设计一种改善图像的方法.图像复原技术的分类：在给定退化模型条件下，分为无约束和有约束两大类根据是否需要外界干预，分为自动和交互两大类根据处理所在得域，分为频域和空域两大类,5.1 图像退化/复原模型,退化函数H,复原滤波,退化,复原,图5.1 图像退化/复原过程的模型,图像复原的关键在于建立图像退化模型,图像的退化模型反映图像退化的原因.,通常将退化原因作为线性系统退化的一个因素来对待,从
3、而建立系统退化模型来近似描述图像函数的退化.,5.1 图像退化/复原模型,如果系统H是一个线性、位置不变性的过程，那么在空间域中给出的退化图像 可由下式给出：,这两个公式是本章大部分内容的基础。,(5.1.1),(5.1.2),5.2 噪声模型,数字图像的噪声主要来源于图像的获取(数字化过程)和传输过程：,噪声的空间和频率特性: 频率特性指噪声在傅立叶域的频率内容. 空间特性: 除周期噪声以外,假设噪声独立于空间坐标,并且它与图像本身无关联.,空间噪声利用退化模型中噪声分量的灰度值统计特性来表示, 可以被认为是由概率密度函数表示的随机变量.,图像处理中常用的概率密度函数(PDF)有： 高斯噪声
4、、瑞利噪声、伽马噪声、指数分布噪声、均匀分布噪声、脉冲(椒盐)噪声,一些重要的概率密度函数,5.2 噪声模型,高斯噪声,5.2 噪声模型,瑞利噪声,瑞利密度对于近似偏移的直方图十分适用.,5.2 噪声模型,伽马(爱尔兰)噪声,5.2 噪声模型,指数分布噪声,为b=1时爱尔兰概率分布的特殊情况.,5.2 噪声模型,均匀分布噪声,5.2 噪声模型,脉冲(椒盐)噪声,高斯,瑞利,伽马,指数,均匀,椒盐,5.2 噪声模型,周期噪声,(a)由正弦噪声污染的图像(b)图像谱(与一个正弦波相对应的每一对共轭脉冲),在图像获取中从电力 或机电干扰中产生.惟一一种空间依赖型噪声.周期噪声可以通过频 率域滤波显著
5、减少.,5.2 噪声模型,噪声参数的估计,(1)周期噪声的参数可以通过检测图像的傅立叶谱来进行估计.,(2)噪声PDF的参数一般可以从传感器的技术说明中得到,但对于特殊的成像装置常常 有必要去估计这些参数.,(3)当只有传感器产生的图像可用时,常可以从合理的恒定灰度值的一小部分图像估计 PDF的参数.,5.2 噪声模型,计算一小块带有(a)高斯 (b)瑞利 (c)均匀噪声的图像的直方图,计算小块图像的灰度值的均值和方差.考虑由S定义的一条子带(子图像),5.3 噪声存在下的惟一空间滤波复原,当一幅图像中惟一存在的退化是噪声时,(5.1.1)式和(5.1.2)式变成:,噪声项是未知的.,当仅有加
6、性噪声存在时,可以选择空间滤波方法. 这一特殊情况下,图像的增强和复原几乎一样.除通过一种特殊的滤波来计算特性之外,执行所有滤波的机理完全如在3.5节中讨论过的那样.,5.3 噪声存在下的惟一空间滤波复原,均值滤波器,(1)算术均值滤波器:,这个操作可以用系数为1/mn的卷积模板来实现.,5.3 噪声存在下的惟一空间滤波复原,均值滤波器,(2)几何均值滤波器:,(3)谐波均值滤波器,5.3 噪声存在下的惟一空间滤波复原,(4)逆谐波均值滤波器:,5.3 噪声存在下的惟一空间滤波复原,(a) 电路板的X射线图像 (b) 由附加高斯噪声污染的图像 (c) 用33算术均值滤波器滤波的结果 (d) 用
7、33的几何均值滤波器滤波的结果,算术均值和几何均值都能衰减噪声, 但比较而言,几何均值滤波器较难使图像变模糊.,5.3 噪声存在下的惟一空间滤波复原,(a) 以0.1的概率被”胡椒”噪声污染的图像 (b) 以0.1的概率被”盐”噪声污染的图像 (c) 用33大小、阶数为1.5的逆谐波滤波器滤波的结果 (d) 用Q=-1.5滤波(b)的结果,算术和几何适合处理高斯或均匀等随机噪声,谐波更适于处理脉冲噪声,但必须知道是暗噪声还是亮噪声,以便选择Q值符号.,5.3 噪声存在下的惟一空间滤波复原,在逆谐波滤波中错误地选择符号的结果(a) 原图像(b) 用33 的大小和Q1.5的逆谐波滤波器滤波的结果
8、(c) 用Q=1.5滤波的结果,5.3 噪声存在下的惟一空间滤波复原,顺序统计滤波器 中值、最大值、最小值滤波器,(1)中点滤波器,这种滤波器结合了顺序统计和求平均，对于高斯和均匀随机分布这类噪声 有最好的效果。,在滤波器涉及范围内计算最大值和最小值之间的中点：,5.3 噪声存在下的惟一空间滤波复原,顺序统计滤波器,(2)修正后的阿尔法均值滤波器,5.3 噪声存在下的惟一空间滤波复原,(a)由概率Pa=Pb=0.1的椒盐噪声污染的图像 (b) 用尺寸为33的中值滤波器处理的结果 (c) 用该滤波器处理(b)的结果 (d) 用相同的滤波器处理(c)的结果,经过多次处理,逐渐消除噪声,但多次应用中
9、值滤波器,会使图像模糊,对噪声图像多次应用中值滤波器,5.3 噪声存在下的惟一空间滤波复原,(a)用大小为33的最大滤波器对图5.8(a)滤波的结果 (b)用最小滤波器对图5.8(b)滤波的结果,图5.8(a),图5.8(b),最大值滤波器可以去除”胡椒”噪声,但会从黑色物体边缘移走一些黑色像素. 最小值滤波器可以去除”盐”噪声,但会从亮色物体边缘移走一些白色像素.,5.3 噪声存在下的惟一空间滤波复原,由加性均匀噪声污染的图像均值为0,方差为800的高斯噪声 (b) 图(a)加上椒盐噪声污染的图像Pa=Pb=0.1得椒盐噪声 (c) 55的算术均值滤波处理图(b) (d) 几何均值滤波器处理
10、图(b) (e) 中值滤波器处理图(b) (f) d=5的修正后的阿尔法均值滤波器,(a),(b),(c),(d),(e),(f),由于脉冲噪声的存在,算术均值滤波器和几何均值滤波器没有起到良好作用. 中值滤波器和阿尔法滤波器效果更好,阿尔法最好.,5.3 噪声存在下的惟一空间滤波复原,自适应滤波器,自适应滤波器利用由mn矩形窗口Sxy定义的区域内图像的统计特征进行处理. 自适应滤波器优于前面介绍的各种滤波器.,(1)自适应、局部噪声消除滤波器,随机变量最简单的统计度量是均值和方差.这些参数是自适应滤波器的基础.,均值给出了计算均值的区域中灰度平均值的度量,而方差给出了这个区域的 平均对比度的
11、度量.,5.3 噪声存在下的惟一空间滤波复原,需要估计,5.3 噪声存在下的惟一空间滤波复原,(a) 由零均值和方差为 1000的加性高斯噪声污染的图像 (b) 算术均值滤波的效果 (c) 几何均值滤波的效果 (d) 自适应噪声消减滤波的效果.所有滤波器大小为77,处理结果比较: (b)中噪声被平滑掉,但图像严重模糊 (c)也使图像模糊 (d)改进很多,消除噪声,但图像更尖锐,更清晰.,当估计不正确时,会发生什么情况呢?,5.3 噪声存在下的惟一空间滤波复原,(2) 自适应中值滤波器 (可用于处理更大概率密度得冲激噪声),自适应中值滤波器根据列举的一定条件而改变(或提高) Sxy的大小.,决定
12、中值滤波的输出zmed是否是一个脉冲,不是一个脉冲,检测中心点zxy本身是否是一个脉冲,此时ZxyZmin或ZxyZmax,找到一个脉冲,增大窗口尺寸,直到找到非脉冲,不是脉冲,直接输出,5.3 噪声存在下的惟一空间滤波复原,(a) 被概率Pa=Pb=0.25的椒盐噪声污染了的图像 (b) 77中值滤波器的滤波效果 (消除噪声的同时导致图像细节明显损失) (c) Smax=7的自适应中值滤波器的效果 (消除噪声的同时保持图像的细节),5.4 频率滤波消减周期噪声,带阻滤波器 (在频率域噪声分量的一般位置近似已知的应用中消除噪声),带阻滤波器消除或衰减了傅立叶变换原点处的频段.理想带阻滤波器的表
13、达式:,n阶的巴特沃思带阻滤波器,高斯带阻滤波器,5.4 频率滤波消减周期噪声,带阻滤波器,理想带阻滤波器 巴特沃思带阻滤波器 高斯带阻滤波器,5.4 频率滤波消减周期噪声,带阻滤波器,(a) 被正弦噪声污染的图像 (b) 图(a)的频谱 (c) 巴特沃思带阻滤波器 (d) 滤波效果图,5.4 频率滤波消减周期噪声,带通滤波器,带通滤波器执行与带阻滤波器相反的操作.,可利用带通滤波器提取噪声模式,5.4 频率滤波消减周期噪声,陷波滤波器,陷波滤波器阻止(或通过)事先定义的中心频率领域内的频率.,理想陷波滤波器 巴特沃思陷波滤波器 高斯陷波滤波器,由于傅立叶变换时对称的,因此陷波滤波器必须以关于
14、原点对称的形式出现.,5.4 频率滤波消减周期噪声,陷波滤波器,5.4 频率滤波消减周期噪声,陷波滤波器,还可以得到另一种陷波滤波器,它能通过(而不是阻止)包含在陷波区的频率.,陷波区域的形状可以是任意的(如矩形).,5.4 频率滤波消减周期噪声,(a) 佛罗里达和墨西哥湾的人造卫星图像. (b) (a)图的频谱 (c) 叠加在(b)图的陷波带通滤波器 (d) 滤波后图像的反傅立叶变换,在空间域显示噪声模式 (e) 陷波带阻滤波器效果,5.4 频率滤波消减周期噪声,最佳陷波滤波器,当存在几种干扰时,前面介绍的方法有时就不可一采用了,因为在滤波过程中 可能消除太多图像信息,另外干扰成分通常不是单
15、频脉冲.,最佳陷波滤波器可以处理这一问题,它最小化复原估计函数,的局部方差.,5.4 频率滤波消减周期噪声,最佳陷波滤波器,令:,加权函数或调制函数,5.4 频率滤波消减周期噪声,5.5 线性、位置不变的退化,退化模型:,(1) 如果:,则系统H是一个线性系统.,则系统H称为位置不变系统(或空间不变系统).,(2),如果退化模型为线性和位置不变的,其可表示为:,即:,5.5 线性、位置不变的退化,许多退化类型可以近似表示为线性的位置不变过程. 非线性的与位置有关的技术难以求解.,由于退化模型为卷积的结果,且图像复原需要滤波器,应此术语”图像去卷积”常用于表示线性图像复原,而用于复原处理的滤波器
16、称为”去卷积滤波器”.,5.6 估计退化函数,退化函数通常未知,因此在复原之前需要估计退化函数.,估计退化函数的方法: (1)观察法 (2)实验法 (3)数学建模法,5.6 估计退化函数,(1) 观察法,收集图像自身的信息来估计退化函数.,例如: 对于模糊图像, 选择一小部分图像,强信号区,减少噪声影响.并构建一个不退化的图像,5.6 估计退化函数,(2) 试验估计法,使用与获取退化图像的设备相似的装置,得到准确的退化估计.,小亮点,成像系统H,由于冲激的傅立叶变换为常数A,可得:,实验估计模型如下:,5.6 估计退化函数,冲激特性的退化估计 一个亮脉冲 图像化的(退化的)冲激,5.6 估计退
17、化函数,(3) 模型估计法,建立退化模型,模型要把引起退化的环境因素考虑在内.,例如退化模型,就是基于大气湍流的物理特性而提出来的,其中k为常数,与湍流特性相关.,5.6 估计退化函数,大气湍流模型的解释可忽略的湍流 剧烈湍流,k=0.0025 中等湍流,k=0.001 轻微湍流,k=0.00025,另外也可以从基本原理开始推导出退化模型.如匀速直线运动造成的模糊就可以运用数学推导出其退化函数.,5.7 逆滤波,随机函数,避免为零值, 限制滤波频率使其接近原点值.当退化为零或很小时, N(u,v)/H(u,v)会变得很大,5.7 逆滤波,对图5.25(b)图像进行逆滤波 用全滤波的结果 半径为
18、40时截止H的结果 半径为80时的结果 半径为85时的结果,5.8 最小均方差误差滤波(维纳滤波),逆滤波没有说明怎样处理噪声. 维纳滤波综合考虑退化函数和噪声统计特征.,(5.8.1),(5.8.2),式(5.8.1)中误差函数的最小值在频率中用下式表达:,维纳滤波, 括号中的项组成的滤波器通常称为最小均方误差滤波器,或最小二乘方 误差滤波器.,处理白噪声(噪声的傅立叶谱为常量)时,谱|N(u,v)|2是一个常数,问题可以简化,但|F(u,v)|2未知.,5.8 最小均方差误差滤波(维纳滤波),K为特殊常数.,经常用下式近似:,(5.8.2)的维纳滤波要求: 未退化图像和噪声的功率必须是已知
19、的.虽然用(5.8.3)近似的方法能得到好的结果, 但功率谱比的常数K的估计一般没有合适的解.,(5.8.3),5.8 最小均方差误差滤波(维纳滤波),逆滤波和维纳滤波的比较 (a) 全滤波的逆滤波结果 (b) 半径受限的逆滤波结果 (c) 维纳滤波的结果 (交互选择K),维纳滤波的结果非常接近原始图像,比逆滤波要好,5.8 最小均方差误差滤波(维纳滤波),(a)由运动模糊及均值为0方差为650的加性高斯噪声污染的图像 (b) 逆滤波的结果 (c) 维纳滤波的结果 (d)-(f) 噪声幅度的方差比(a)小一个数量级 (g)-(i) 噪声方差比(a)小5个数量级,5.9 约束最小均方差误差滤波器
20、,本节方法只要求噪声方差和均值的知识,对于处理的每一副图像都能产生最优结果.,在有加性噪声的情况下,线性退化模型可以表示成如下方式:,(5.5.16),5.9 约束最小均方差误差滤波器,频率域中的求解方法:,5.9 约束最小均方差误差滤波器,约束最小二乘方滤波的结果,5.9 约束最小均方差误差滤波器,可以仅仅用噪声均值和方差的知识执行最佳复原算法.,5.9 约束最小均方差误差滤波器,(a)用正确的噪声参数迭代地确定约束最小二乘方 (b)用错误的噪声参数得到的结果,5.10 几何均值滤波,对维纳滤波器加以普遍化:,5.11 几何变换,几何变换可在一幅图像中的像素间修改空间联系.,几何变换由两个基
21、本操作组成: 空间变换, 它定义了图像平面上像素的重新安排; 灰度级插补, 它处理空间变换后图像中像素灰度级的赋值.,空间变换,5.11 几何变换,连接点是像素的子集,它们在输入(失真的)和输出(校正的)图像中的位置是精确已知的.,连接点,假设几何变形过程用双线性方程建模,即:,总共有8个连接点,可解出8个系数,得到几何失真模型. 通常需要足够多的连接点以产生覆盖整个图像的四边形集.,5.11 几何变换,灰度级插补,最近邻域法,5.11 几何变换,双线性内插法: 用4个最近邻点,5.11 几何变换,显示具有25个连接点的图像 几何失真后的连接点 用最近邻点内插失真的图像 复原结果 使用双线性内插的失真图像 复原图像,(a),(b),(c),(d),(e),(f),利用最近邻点内插法,几何校正的效果可以接受的.但在灰度级赋值上有明显错误,特别时沿着灰和黑色区域的边界处. 双线性内插法对此有明显改善.,5.11 几何变换,几何失真前的图像 用与图5.34(e)相同参数几何失真的图像 (失真几乎不可见) (a)与(b)的差 几何复原的图像,当图像有较多纹理时,几何校正的错误会变得不太明显.,作业,课后习题5.11, 5.20, 5.22,
