1、2019/4/2,1,第五章 图像复原,2019/4/2,2,本章主要内容： 1.概述 2.图像的退化模型 3.退化参数的估计 4.图像滤波复原法 5.图像代数复原法,2019/4/2,3,1.概述,什么是图像退化,图像的质量变坏叫做退化。退化的形式有图像模糊、图像有干扰等,图像退化的处理方法,无论是由光学、光电或电子方法获得的图像都会有不同程度的退化；,退化的形式多种多样。如传感器噪声、摄像机未聚焦、物体与摄像设备之间的相对移动、随机大气湍流、光学系统的相差、成像光源或射线的散射等；,如果我们对退化的类型、机制和过程都十分清楚，那么就可以利用其反过程来复原图像。,2019/4/2,4,1.概
2、述,典型的图像复原方法是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用滤波等手段进行处理，使得复原后的图像符合一定的准则，达到改善图像质量的目的。,2019/4/2,5,2.图像的退化模型,f(i, j)：原始图像 g(i, j)：降质图像 T()：成像系统的作用，则：,设T是线性的。,一幅连续的图像f(x,y)可以用抽样函数的二维卷积表示：,因此，,，则有：,2019/4/2,6,2.图像的退化模型,为点扩散函数(PSF)或系统冲击响应。,多数情况下它表现为时不变的，反映在图像中为位移不变的，则,可以表示为,其中*表示卷积运算。如果T()是一个h可分离系统，即,称,则二维运算可
3、以分解为列和行两次一维运算来代替。,在加法噪声情况下，图像退化模型可以表示为,其中n(x, y)为噪声图像,2019/4/2,7,2.图像的退化模型,线性位移不变的图像退化模型则表示为：,2019/4/2,8,2.图像的退化模型离散图像退化模型,对于图像降质过场进行数学建模,f(i, j)：原始图像 y(i, j)：降质图像 h(i, j; k, l)：点扩散函数 图像为MN维,假设为空间不移变h(i, j; k, l)，则：,2019/4/2,9,2.图像的退化模型离散图像退化模型,用矩阵形式表示上式：,y、f和n分别表示MN的函数矩阵y(i, j)、f(i, j)和n(i, j)的各行或各
4、列前后相连而成的维矢量。,如果假设原始图像是NN维矩阵，则H是N 2N 2模糊矩阵：,H是一个分块循环矩阵：,每一个子矩阵H(i)自身也是循环矩阵：,2019/4/2,10,2.图像的退化模型线性不变降质算子,运动模糊,通常在拍摄过程中，相机或物体移动造成的运动模糊可以用一维均匀邻域像素灰度的平均值来表示,大气扰动模糊,这种模糊经常出现在遥感和航空摄影中，由于曝光时间过长引起的模糊可用高斯点扩散函数来表示：,式中K是一个归一化常数，保证模糊的大小为单位值，2可以决定模糊的程度。,2019/4/2,11,2.图像的退化模型线性不变降质算子,均匀不聚焦模糊,这是由于相机聚焦不准确引起的，虽然不聚焦
5、由许多参数决定，如相机的焦距、相机孔的大小、形状、物体和相机之间的距离等，但在研究中为了简单起见，我们用下列函数表示聚焦不准引起的模糊,均匀二维模糊,这是最常见的一种模糊，可以用来近似聚焦不准引起的模糊。,其中L是奇数。,2019/4/2,12,2.图像的退化模型线性不变降质算子,通常模糊算子相当于一个低通滤波器，因此当模糊算子作用于原始图像时，会引起图像中边缘和轮廓的模糊。77均匀二维模糊算子作用于图像Camera的结果如下图所示,原始图像,77均匀二维模糊算子作用后的结果,2019/4/2,13,3. 退化参数的估计噪声模型,数字图像中的噪声主要来源于图像的获取与传输过程,白噪声（Whit
6、e noise）,白噪声的傅立叶频谱为常数,假定白噪声与空间坐标系相互独立,假定白噪声与图像像素之间相互独立,周期噪声,噪声分布与空间坐标系相关,大多数周期性噪声可通过频域滤波基本消除,2019/4/2,14,3. 退化参数的估计噪声模型,主要噪声的概率密度函数,高斯噪声,2019/4/2,15,3. 退化参数的估计噪声模型,主要噪声的概率密度函数,瑞利噪声,2019/4/2,16,3. 退化参数的估计噪声模型,主要噪声的概率密度函数,爱尔兰（伽马）噪声,2019/4/2,17,3. 退化参数的估计噪声模型,主要噪声的概率密度函数,指数分布噪声,2019/4/2,18,3. 退化参数的估计噪声
7、模型,主要噪声的概率密度函数,均匀分布噪声,2019/4/2,19,3. 退化参数的估计噪声模型,主要噪声的概率密度函数,脉冲噪声（椒盐噪声）,2019/4/2,20,3. 退化参数的估计噪声模型,噪声对于图像的影响,2019/4/2,21,3. 退化参数的估计噪声参数的估计,所需参数,通过传感器特性进行估计,分析传感器成像器件特性（温度、光谱响应、电子电路特性、。）,使传感器针对均匀灰度图像成像,从图像本身进行估计,在图像中截取具有恒定灰度值区域进行计算,直方图,2019/4/2,22,3. 退化参数的估计噪声参数的估计,利用小的条带法计算直方图（右）：均匀噪声（中）：瑞利噪声（左）：高斯噪
8、声,2019/4/2,23,3. 退化参数的估计图像恢复的相关指标,模糊信噪比(BSNR, the Blurred Signal-to-Noise Ratio ),表示由模糊和叠加噪声引起的降质程度,2019/4/2,24,3. 退化参数的估计图像恢复的相关指标,ISNR（the Improvement in SNR）,ISNR只是评价图像恢复算法好坏的一个客观指标，ISNR高并不一定主观视觉效果好。,2019/4/2,25,4. 图像滤波复原法,逆滤波,对于图像退化模型,两边取傅立叶变换,H(u,v)又称为系统的转移函数(或滤波函数)，它使图像退化。,在无噪声的情况下，上式可以简化为：,这种
9、1/H(u,v)的形式称为逆滤波。再进行傅立叶逆变换就可以得到f(x,y)。,2019/4/2,26,4. 图像滤波复原法,实际情况中，噪声是不可避免的，因而只能求F(u,v)的估计值：,如果H(u,v)有许多零点，必然使得复原的结果受到极大影响。或者如果H(u,v)不为零但是有非常小的值，也即病态条件，也会使复原效果受到影响。,解决这个问题的方法是避开H(u,v)的零点。 幸好一般的H(u,v)在低频附近的有限区域内不为零。,因此逆滤波可以在原点附近进行，相当于在频域乘上一低通窗口函数W(u,v)。,2019/4/2,27,4. 图像滤波复原法,在理想无噪声的理想情况下，等效于在空域f(x,
10、y)和w(x,y)的卷积。,逆滤波会使原图像变模糊。,只引入少量模糊，方法简单，因而受重视。,逆滤波的应用条件：退化图像g(x,y)是信噪比较高的图像。,2019/4/2,28,4. 图像滤波复原法,维纳滤波器,逆滤波复原方法对噪声极为敏感，要求信噪比较高，通常不满足该条件。因此希望找到一种方法，在有噪声条件下，从退化图像g(x,y)复原出f(x,y)的估计值，该估计值符合一定的准则。,用向量f, g, n来表示f(x,y), g(x, y), n(x,y)，Q为对f的线性算子，在约束条件,下求Qf的最小化而得到f的最佳估计。,基本原理,2019/4/2,29,4. 图像滤波复原法,用拉格朗日
11、法求,微分，,可以用来调节以满足约束条件。,2019/4/2,30,4. 图像滤波复原法,设Rf和Rn为f和n的相关矩阵：,它们是对称矩阵。对于大多数图像而言，相邻象素之间相关性很强，在20个象素之外，趋于零。在此条件下， Rf和Rn可以近似为分块循环矩阵：,其中A和B为对角阵，W为酋阵。,若QTQ用Rf1Rn来代替,2019/4/2,31,4. 图像滤波复原法,当D为对角阵，分块循环矩阵,因此：,写成频域形式为：,其中Sff(u,v), Snn(u,v)分别是f(x,y)和n(x,y)的谱密度。,2019/4/2,32,4. 图像滤波复原法,卡尔曼滤波,维纳滤波是对图像为平稳过程且已知相关函
12、数情况下再假定为白噪声条件下的最有线性滤波。,维纳滤波提供了一种频域滤波，显然用频域方法时，计算机的存储量、计算量大而且不能向非平稳过程推广。,为了克服维纳滤波的上述不足，卡尔曼等人在20世纪60年代初提出了一种递归滤波算法，即卡尔曼滤波。,由于空间技术的需要推动了卡尔曼滤波的发展。它虽然也是根据随机过程统计的观点，但它可以在时域进行。卡尔曼滤波的另一个优点是它用递归滤波的方法，节约了存储量，减少了计算量。,卡尔曼滤波也是求最小方差意义上的最优解，但它可以从某一点为起点去观测，用递归方法计算，有利于计算机实时求解。,2019/4/2,33,4. 图像滤波复原法,卡尔曼离散状态方程和观测方程,卡
13、尔曼离散滤波的两个方程为状态方程和观测方程,状态方程,观测方程,设Wk和观测噪声Vk为两两互不相关的零均值正态白噪声系列,2019/4/2,34,4. 图像滤波复原法,根据Y1, Y2, , Yk去估计xk称为卡尔曼滤波，根据Y1, Y2, , Yk去估计xk1称为卡尔曼预测或外推。,问题：,无偏估计值：,观测数据的估值：,以下差称为新息，包含了从tk-1到tk时刻的随机干扰的影响：,新息可以乘以一个增益系数矩阵Kk，来修正对xk的预测,即为tk时刻的最佳线性估计。,2019/4/2,35,4. 图像滤波复原法,在均方误差最小的准则下，我们可以求出Kk的值。,估计误差,可求误差的协方差阵,再看
14、xk和它的无偏估计值的误差协方差阵,2019/4/2,36,4. 图像滤波复原法,上述两协方差矩阵之间的关系为：,上面各式中,为求误差的协方差阵Pk最小，令,解之，得,2019/4/2,37,4. 图像滤波复原法,总结以上，共得四式：,(a) 原始图像 (b) 15水平运动 (c) 卡尔曼滤波恢复的结果 模糊算子作用后的结果 （高斯白噪声BSNR=40dB）（ISNR=0.006）,2019/4/2,38,5. 图像代数复原法,几何畸变的复原,在不同条件下拍摄的图像，一个物体的图像常会发生几何畸变，出现歪斜变形的现象。,从太空中宇航器拍摄的地球上的等距平行线，其图像会变为歪斜或不等距；用光学和
15、电子扫描仪摄取的图像常会有桶形畸变和枕形畸变；用普通的光学摄影与测试雷达拍摄的同一地区的景物二者在几何形状上有较大的差异。 ,以一副图像为基准，去校正另一种方式摄入的图像，以期校正其几何畸变，就叫做图像的几何畸变复原或者几何畸变校正。,2019/4/2,39,5. 图像代数复原法,几何畸变的描述,几何基准图像的坐标系统用(x, y)来表示 需要校正的图像的坐标系统用(x, y)表示,设两个图像坐标系统之间的关系用解析式表示,通常h1(x,y)和h2(x,y)用多项式来表示：,2019/4/2,40,5. 图像代数复原法,通常用线性畸变来近似较小的几何畸变,更精确一些可以用二次型来近似,若基准图
16、像为f(x,y)，畸变图像为g(x,y)，对于景物上的同一个点，假定其灰度不变，则,2019/4/2,41,5. 图像代数复原法,已知h1(x,y)和h2(x,y),通常用线性畸变来近似较小的几何畸变,零级内插,双线性插值,则：,2019/4/2,42,5. 图像代数复原法,h1(x,y)和h2(x,y)未知,通常用已知的多对对应点来确定系数a, b,线性畸变,可由基准图找出三个点(r1, s1), (r2, s2), (r3, s3)与畸变图像上三个点(u1, v1), (u2, v2), (u3, v3)一一对应。,将对应点代入，有：,解联立方程组，得出6个系数。,2019/4/2,43,
17、5. 图像代数复原法,这时,二次型畸变,有12个未知量，需要6对已知对应点,代入上式,记做向量矩阵形式,同样有,解方程组，得到ai, bi. 12个系数。,2019/4/2,44,5. 图像代数复原法,通常实际应用中，会取多余的对应点对，这时A不是方阵而是高矩阵，这时矩阵的逆用广义逆矩阵来求解。高矩阵的广义逆矩阵为,在广告制作和计算机动画中常常要使物体变形。,内插方法除了零级内插和双线性内插外，还有B样条插值和sinc插值函数内插,几何畸变复原的一套方法也可以用于使图像畸变的工作中。,2019/4/2,45,5. 图像代数复原法,思考问题,已知：,对下图进行几何畸变校正(分别用零级内插和双线性内插),
