1、第五章 图像复原,5.1 概述与分类 5.2 图像退化模型5.2.1 退化模型5.2.2 图像复原中的病态性质5.2.3 无约束复原和有约束复原 5.3 无约束复原5.3.1 逆滤波复原5.3.2 消除匀速直线运动模糊,大连理工大学信息技术研究所,5.4 有约束复原5.4.1 维纳滤波复原5.4.2 有约束最小平方复原 5.5 交互式复原 5.6 几何失真校正5.6.1 空间变换5.6.2 灰度插值,大连理工大学信息技术研究所,5.1 概述与分类,退化的形式多种多样。如传感器噪声、摄像机未聚焦、物体与摄像设备之间的相对移动、随机大气湍流、光学系统的相差、成像光源或射线的散射等。,图像在形成、传
2、输、记录的过程中，由于成像系统、传输介质和记录设备的不完善，都会使图像的质量下降，这种现象称为退化。,大连理工大学信息技术研究所,典型的图像复原方法是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用滤波等手段进行处理，使得复原后的图像符合一定的准则，达到改善图像质量的目的。,图像复原就是要尽可能复原被退化图形的本来面目。即弄清退化的原因，建立相应的数学模型，并沿着使图像降质的逆过程复原图像。,大连理工大学信息技术研究所,图像复原的分类：,采用的技术：无约束复原和有约束复原 采用的策略：自动复原和交互复原处理域：频域复原和空域复原,大连理工大学信息技术研究所,5.2 图像退化模型,5
3、.2.1 退化模型 f(x, y)：原始图像g(x, y)：降质图像T()：成像系统的作用，则,设T是线性的。,大连理工大学信息技术研究所,一幅连续图像f(x,y)可以用抽样函数的二维卷积表示,大连理工大学信息技术研究所,多数情况下它表现为时不变的，反映在图像中为位移不变，则,可以表示为,大连理工大学信息技术研究所,在加性噪声情况下，图像退化模型可以表示为,其中n(x, y)为噪声图像。,大连理工大学信息技术研究所,大连理工大学信息技术研究所,用矩阵形式表示上式：,式中：g、f和n分别表示MN的函数矩阵g(i, j)、f(i, j)和n(i, j)的各行或各列前后相连而成的列矢量。,大连理工大
4、学信息技术研究所,如果原始图像是NN维矩阵，则H是N 2N 2分块循环矩阵,大连理工大学信息技术研究所,每一个子矩阵H(i)自身也是循环矩阵,大连理工大学信息技术研究所,噪声类型： 1. 高斯噪声,2. 瑞利噪声,大连理工大学信息技术研究所,3. 伽马(爱尔兰)噪声,4. 指数分布噪声,大连理工大学信息技术研究所,5. 均匀分布噪声,大连理工大学信息技术研究所,6. 脉冲噪声(椒盐噪声)(双极)脉冲噪声的PDF可由下式给出如果ba，灰度值b在图像中将显示一个亮点，相反，a的值将显示一个暗点。若Pa或Pb为零，则脉冲噪声为单极脉冲；如果Pa和Pb均不为零，尤其是它们近似相等时，脉冲噪声将类似于随
5、机分布在图像上的椒盐粉微粒。由于这个原因，双极脉冲噪声也称为椒盐噪声，有时也称为散粒和尖峰噪声。,大连理工大学信息技术研究所,大连理工大学信息技术研究所,大连理工大学信息技术研究所,大连理工大学信息技术研究所,非线性退化,模糊退化,目标运动,随机噪声,大连理工大学信息技术研究所,5.2.2 图像复原中的病态性质,对图像退化模型表达式进行傅立叶变换，得,则估算得到得复原图像得傅立叶变换为,大连理工大学信息技术研究所,在频域中， 很小或等于零，而噪声不为零，则噪声将被放大，这就是图像复原中的病态性质。因此，任何图像复原方法的一项重要考虑就是当存在病态性质时，如何控制噪声对结果的影响。,大连理工大学
6、信息技术研究所,5.2.3 无约束复原和有约束复原,一、无约束复原由前可知 ，在对 没有先验知识的情况下，需要找寻一个 的估计 ，使得在最小均方误差的意义下最接近 ，即使的范数最小,大连理工大学信息技术研究所,上式对 微分并等于0，考虑 和 的存在，得到无约束复原公式,大连理工大学信息技术研究所,二、有约束复原,把复原看作是在满足 条件下，选取 的一个线性操作符 ，使得 最小，可用拉格朗日乘数法解决。设 为拉格朗日乘数，找到能最小化下列准则函数的 ： 则同样方法可得,大连理工大学信息技术研究所,5.3 无约束复原,5.3.1 逆滤波复原,两边取傅立叶变换,H(u,v)又称为系统的转移函数(或滤
7、波函数)，它使图像退化。,对于图像退化模型,大连理工大学信号研究所,这种1/H(u,v)的形式称为逆滤波。再进行傅立叶逆变换就可以得到f(x,y)。,实际情况中，噪声是不可避免的，因而只能求F(u,v)的估计值：,在无噪声的情况下，上式可以简化为,大连理工大学信号研究所,解决这个问题的方法是避开H(u,v)的零点。一般的H(u,v)在低频附近的有限区域内不为零，因此逆滤波可以在原点附近进行，相当于在频域乘上一低通窗口函数M(u,v)。,如果H(u,v)有许多零点，必然使得复原的结果受到极大影响。如果H(u,v)不为零但是非常小的值，也即病态条件，也会使复原效果受到影响。,大连理工大学信号研究所
8、,缺点：振铃效应明显,大连理工大学信号研究所,例5.3.1 利用模糊点源获得转移函数进行图像复原例,退化系统的转移函数 可以用退化图像的傅立叶变换来近似。一幅图像可以看作多个点源图像的集合，如将点源图像看作单位脉冲函数 的近似，则有下图给出一个复原示例。图 为一幅用低通滤波器对理想图像进行模糊得到的模拟退化图像，所用低通滤波器的傅立叶变换见图 ，得到的结果见图 和图 。两者比较，图 的振铃效应较小。,大连理工大学信号研究所,图像复原示例,退化图像 低通滤波器频谱 二种复原结果,大连理工大学信号研究所,5.3.2 消除匀速直线运动模糊,有些情况下， 可以解析地得到，如匀速直线运动造成的模糊。 1
9、、连续情况假设对平面匀速运动的景物采集一幅图像 ， 并设 和 分别是景物在 方向和 方向的运动分量，T 是采集时间长度。忽略其他因素，实际采集到的由于运动而造成的模糊图像 为：,大连理工大学信号研究所,它的傅立叶变换可以表示为：,如果定义：,则上式可以写成：,可见，如果知道了运动分量 和 ，就可以得到传递函数,大连理工大学信号研究所,将 代入 ，暂时除去不随时间变换的y，并进行变量替换得到,将上式对x 求导，得到迭代算式：,大连理工大学信号研究所,2、离散情况,设L=Kc，K为整数，再设P(z)为场景在采集间隔移入 的部分，则,大连理工大学信号研究所,例5.3.2 消除匀速直线运动造成的模糊,
10、下图给出了一个复原示例。图 为一幅由于摄像机与被摄物体之间存在相对匀速直线运动而造成模糊的 图像。这里在拍摄期间物体水平移动的距离为图像在该方向尺寸的 ，即32个像素。图 为取移动距离为32而得到的结果，图像得到了较好的复原。图 和图 分别为取移动距离为24和40而得到的结果，由于对运动速度估计得不准，所以复原的效果不好。,大连理工大学信号研究所,消除匀速直线运动造成的模糊,相对运动模糊 c=32 c=24 c=40,大连理工大学信号研究所,5.4 有约束复原,5.4.1 维纳滤波复原(最小均方准则),逆滤波复原方法对噪声极为敏感，要求信噪比较高，通常不满足该条件。因此希望找到一种方法，在有噪
11、声条件下，从退化图像g(x,y)复原出f(x,y)的估计值，该估计值符合一定的准则。,大连理工大学信号研究所,用拉格朗日法求,的微分,得,用向量f, g, n来表示f(x,y), g(x, y), n(x,y)，Q为对f的线性算子，在约束条件,下求Qf的最小化而得到f的最佳估计。,大连理工大学信号研究所,s可以用来调节以满足约束条件。,大连理工大学信号研究所,设Rf和Rn为f和n的相关矩阵：,大连理工大学信号研究所,当D为对角阵，分块循环矩阵,因此,若QTQ用Rf1Rn来代替,大连理工大学信号研究所,写成频域形式为：,其中Sff(u,v), Snn(u,v)分别是f(x,y)和n(x,y)的谱
12、密度。,大连理工大学信号研究所,大连理工大学信号研究所,大连理工大学信号研究所,例5.4.1 逆滤波复原与维纳滤波复原的比较,图 所示一列图为先将一幅正常图像与平滑函数 卷积产生模糊，再叠加零均值，方差分别为8，16和32的高斯随机噪声而得到的一组待复原图像。,大连理工大学信号研究所,图 所示一列图为用逆滤波方法分别进行复原得到的结果。图 所示一列图为用维纳滤波方法分别进行复原得到的结果。 由图 可见，维纳滤波在图像受到噪声影响时效果比逆滤波要好，而且噪声愈强优势愈明显。,大连理工大学信号研究所,逆滤波 维纳滤波,大连理工大学信号研究所,5.4.2 有约束最小平方复原(二阶微分最小),维纳滤波
13、的方法是一种统计的方法，它用的最优准则基于图像和噪声各自的相关矩阵，由此得到的结果是在平均意义上最优。而有约束最小平方复原法只需有关噪声的均值和方差的知识就可对每个给定的图像得到最优的结果。,有约束最小平方复原是从约束复原公式出发,大连理工大学信号研究所,问题仍是要确定变换矩阵 。由于此式是一个病态方程，有时解的振荡会很厉害。一种减小振荡的方法是建立基于平滑测度的最优准则(如二阶微分最小)。,大连理工大学信号研究所,下面给出有约束最小平方复原的步骤：,选初始值赋给 ，用下式计算得到 的估计,2.利用 计算 ，再求其傅立叶反变换得到,大连理工大学信号研究所,4.如果 增加 ；如果 减少 ；这里
14、为准确度系数， 则约束式严格满足。,5.如果 不满足，返回第2步，否则停止，此时 就是复原了的图像。,3.据下式组成残差矢量 ，计算,大连理工大学信号研究所,例5.4.2 维纳滤波与有约束最小平方滤波的比较,下图给出了在两种情况下维纳滤波与有约束最小平方滤波的比较示例。图 为以散焦半径R3的滤波器对原图进行模糊得到的图像，图 是用维纳滤波对图 进行复原的结果，图 是用有约束最小平方滤波对图 进行复原的结果。图 是对图 又加了方差为4的随机噪声的图像，图 是用维纳滤波对图 进行复原的结果，图 是用有约束最小平方滤波对图 进行复原的结果。由此图可见，既有模糊又有噪声时有约束最小平方滤波的效果比维纳
15、滤波要好一些，没有噪声仅有模糊时两方法效果基本一致。,大连理工大学信号研究所,大连理工大学信号研究所,5.5 最大后验复原,Wiener滤波在复原中引入统计方法，并使用了均方差判据。另一种统计方法是把原图象f(x,y)和退化图像都作为随机场。在已知g(x,y)的前提下，求出后验条件密度函数p(f(x,y)| g(x,y)。设 是当p(f|g)取最大值时的f，则 代表已知退化图像g(x,y)时最可能的原图像f(x,y)，即它是f的最大后验估计值。当考虑到图像的非线性退化时，退化模型可表示成：,大连理工大学信号研究所,为了求最大值，需要有关于f的统计模型。最大后验法把图像看作非平稳随机场，把图像模
16、型表示成一个,由Bayes准则知道 因此，求 的最大值等效于求：,大连理工大学信号研究所,平稳随机过程对于一个不平稳的均值作零均值的Gaussian起伏。这种高斯模型可导出一个简单的方程组来近似表示上式求最大值问题。最大值问题的解可通过迭代法求出最佳值。Hunt建议的迭代式,大连理工大学信号研究所,5.6 最大熵复原（ME),对于一幅MN大小的图像，其总能量E 是一个固定的数图像的熵类似可定义噪声的熵 ，但考虑到图像中噪声的值可正可负，为保证图像的非负性，定义噪声为：,大连理工大学信号研究所,最大熵复原就是在满足 式和图像退化模型 的约束条件下使复原后的图像熵和噪声熵达到最大。 利用条件极值的
17、Lagrange乘子法，引入函数若设 和 代表 和 的估计值，则必有,大连理工大学信号研究所,把R代入，经运算和整理得,而且 和 满足下列约束条件：,大连理工大学信号研究所,5.7 交互式复原,在复原中需要人机结合，由人来控制复原过程，以达到一些特殊的效果的复原方法叫交互式复原。,实际中有时图像会被一种2D的正弦干扰模式覆盖，用带阻滤波器可以消除这种正弦干扰模式。,大连理工大学信号研究所,例5.7.1 用交互式复原消除正弦干扰模式,下图给出了用交互式复原消除正弦干扰模式的一个示例。图 为一幅正常图像受到正弦干扰模式覆盖后的图像。图 是它的傅立叶变换后的频谱幅度图，其上有一对较明显的白点。我们可
18、以通过交互的方式如图 所示在这两个白点处放置两个阻带滤波器将脉冲滤除掉。然后取傅立叶反变换，就可得到图 所示的复原结果，这里正弦干扰模式基本被消除掉了。注意带阻滤波器的半径要比较小，复原的效果才比较好。图 中所用的两个带阻滤波器的中心与图 中的相同，但半径要大5倍，所得到的复原结果见图 ，可见这时有比较明显的振铃效应。,大连理工大学信号研究所,大连理工大学信号研究所,5.8 几何失真校正,在许多实际的图像采集处理过程中，图像中像素之间的空间关系会发生变化，说明图像产生了几何失真或几何畸变，在广义上说，图像的几何失真也是一种退化，需要通过几何变换来校正失真图像中的各像素位置以重新得到像素间原来的
19、空间关系或原来的灰度关系。,大连理工大学信号研究所,1.空间变换：对图像平面上的像素进行重新排列以复原原空间关系；,对图像的几何失真校正主要包括2个步骤：,2.灰度插值：对空间变换后的像素赋予相应的灰度值以复原原位置的灰度值。,大连理工大学信号研究所,5.8.1 空间变换,设原图像为 ，受到几何形变的影响变成 ，这里 表示失真图像的坐标，它已不是原坐标 了。上述变化可以表示为：,其中 和 代表产生几何失真图像的2个空间变换。对线性失真， 和 可以写为：,大连理工大学信号研究所,对一般的（非线性）二次失真， 和 可以写为：,如果知道 和 的解析表达式，就可以通过反变换来复原图像。在实际中通常不知
20、道解析表达式，为此我们需要在复原过程的输入图（失真图）和输出图（校正图）上找到一些其位置确切知道的点（称为约束对应点），然后利用这些点建立2幅图间其他像素空间为位置的对应关系。 例：,大连理工大学信号研究所,失真图和校正图的点对应,大连理工大学信号研究所,说明：1）可将1幅图分成一系列覆盖全图的四边形区域的集合，对每个区域都找足够的对应点以计算进行映射所需的系数；2）还可借助图像整体匹配的方法实现空间变换。如区域描述中惯量椭圆的重心、主轴长度和斜率可确定变换所需平移、旋转和尺度缩放矩阵。,大连理工大学信号研究所,5.8.2 灰度插值,空间变换过程中算得的 值可能不是整数，而失真图 仅在坐标为整数处有定义，所以在非整数处的像素值要用其周围一些整数处的像素值来计算，这就叫做灰度插值。如下图所示：,大连理工大学信号研究所,最临近插值，也叫零阶插值。即将离 最临近的像素的灰度值作为 点的灰度值赋给原图 处像素缺点：不够精确；优点：简单,灰度插值方法分类：,2.样条插值：优点：精确度较高；缺点：计算量较大,大连理工大学信号研究所,3.双线性插值(折衷法)设 点的4个最临近的像素为 、 、 、 ，它们的坐标分别为 、 、 、 ，它们的灰度值分别为 、 、 、 。,首先计算 和 这两点的灰度值 和 ：,则 点的灰度值 为：,大连理工大学信号研究所,
