1、第五章 图像复原与重建,1,2019年2月17日3时48分,主要内容：1.图像退化模型2.图像复原方法无约束复原有约束最小二乘复原逆滤波恢复法运动图像复原维纳滤波复原方法,第五章 图象复原与重建*,第五章 图像复原与重建,2,2019年2月17日3时48分,3.图象重建的基本概念 4.图象重建方法解联立方程组方法 傅立叶变换法 滤波-逆投影法 5.典型应用,第五章 图像复原与重建,3,2019年2月17日3时48分,5.1 图像退化模型,一.图像退化 1.图像退化图像在形成、传输和记录过程中，由于成像系统、传输介质和设备的不完善，使图像的质量变坏，这一过程称为图像的退化。 2.图像复原图像的复
2、原就是要尽可能恢复退化图像的本来面目，它是沿图像降质的逆向过程进行。,第五章 图像复原与重建,4,2019年2月17日3时48分,典型的图像复原是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，使图像质量得到改善。可见，图像复原主要取决于对图像退化过程的先验知识所掌握的精确程度。 3.图像复原的一般过程：,确定退化原因,建立退化模型,反向推演,恢复图像,第五章 图像复原与重建,5,2019年2月17日3时48分,4.图像复原评价准则:最小均方准则加权均方准则最大熵准则评价准则是用来规定复原后的图像与原图像相比较的质量标准。,第五章 图像复原与重建,6,2
3、019年2月17日3时48分,5.图像复原与图像增强 目的都是为了改善图像的质量。 图像增强不考虑图像是如何退化的，只通过试 探各种技术来增强图像的视觉效果。图像复原则需知道图像退化的机制和过程的先验知识，据此找出一种相应的逆过程方法，从而得到复原的图像。 如果图像已退化，应先作复原处理，再作增强处理。,第五章 图像复原与重建,7,2019年2月17日3时48分,二.图像退化的数学模型,g(x,y)=Tf(x,y),成像系统：输入-f(x,y),输出-g(x,y)， 成像系统的作用-T 退化图像为：,线性位移不变成像系统,线性：,Tk1f1 (x,y)+k2 (x,y)=k1 Tf1 (x,y
4、)+ k2Tf2 (x,y),若:g(x,y)=Tf(x,y),则对任一个f(x,y)和常数a,b,均有： Tf(x-a , y-b )=g(x-a , y-b ),即运算结果仅取决于输入值，而与位置无关,空间位移不变：,第五章 图像复原与重建,8,2019年2月17日3时48分,二.图像退化的数学模型,1.线性位移不变成像系统图像退化模型 g(x,y)=f(x,y)*h(x,y)+n(x,y) g(x,y)退化图像 f(x,y)-理想图像 h(x,y)-点扩散函数 n(x,y)-加性噪声,H,f(x,y),g(x,y),n(x,y),降质系统,第五章 图像复原与重建,典型的降质原因,(1).
5、 光学衍射降质的H(u,v),其中，l为所考虑光的波长，Do为光曈的直径，Di为出射光曈到影像平面的距离。,这是由于相机聚焦不准确引起的，虽然不聚焦由许多参数决定，如相机的焦距、相机孔的大小、形状、物体和相机之间的距离等，但在研究中为了简单起见，我们用下列函数表示聚焦不准引起的模糊。,第五章 图像复原与重建,10,2019年2月17日3时48分,通常模糊算子相当于一个低通滤波器，因此当模糊算子作用于原始图像时，会引起图像中边缘和轮廓的模糊。77均匀二维模糊算子作用于图像Camera的结果如下图所示：,原始图像,77均匀二维模糊算子作用后的结果,第五章 图像复原与重建,(2). 相机与景物相对运
6、动的降质,设T为曝光时间，a(t)和b(t)分别为对象曝光期间在 x 和 y 方向位移的分量,通常在拍摄过程中，相机或物体移动造成的运动模糊可以用一维均匀邻域像素灰度的平均值来表示 。,第五章 图像复原与重建,12,2019年2月17日3时48分,(3). 大汽湍流造成的图像降质,这种模糊经常出现在遥感和航空摄影中，由于曝光时间过长引起的模糊可用高斯点扩散函数来表示：,式中K是一个归一化常数，保证模糊的大小为单位值，2可以决定模糊的程度。,第五章 图像复原与重建,13,2019年2月17日3时48分,2.线性位移不变系统离散化的退化模型 若对图像f(x,y)和点扩散函数h(x,y)均匀采样就可
7、以得到离散的退化模型。 假设数字图像f(x,y)和点扩散函数h(x,y)的大小分别为AB 、CD，可先对它们作大小为MN的周期延拓图像，其方法是添加零。即：,第五章 图像复原与重建,14,2019年2月17日3时48分,把周期延拓的fe(x,y)和he(x,y)作为二维周期函数来处理，即在x和y方向上，周期分别为M和N，则由此得到离散的退化模型为两函数的卷积：,加上一个延拓为MN的离散噪声项，则：,式中x=0,1,2,M-1，y=0,1,2,N-1。函数ge(x,y)为周期函数，其周期与fe(x,y)和he(x,y)的周期一样。,第五章 图像复原与重建,为便于讨论和求解，用堆叠方式将二维信号表
8、为一维向量，即：将f、g和n皆相应各行顺时针旋转90度堆叠成MN维向量，则退化模型可被表示为向量矩阵形式：g=Hf+n,f =,fe(M-1,N-1),g =,ge(M-1,N-1),从而使 g=Hf,第五章 图像复原与重建,则 H 为 MNMN 阶的分块矩阵，这一矩阵为MM分块循环阵。H 的任意元素Hj是由h(x,y)第j行循环构成，且Hj为NN 循环阵。,MM个分块,其子块：,NN 维,第五章 图像复原与重建,因此， H 为分块循环矩阵，分块 Hj 中元素的第二个下标也是按循环方式变化的。,于是，二维离散的降质模型化为：,解决降质的问题化为求解线性方程组的问题。可以用线性代数和数值分析的方
9、法进行处理。,由于h为循环矩阵，有可能进行对角化处理，简化求解。,第五章 图像复原与重建,18,2019年2月17日3时48分,例：设,若忽略噪声，求退化图像。,解：周期延拓M=4,N=5,第五章 图像复原与重建,19,2019年2月17日3时48分,用堆叠行列式,计算g得到退化图像。,第五章 图像复原与重建,20,2019年2月17日3时48分,5.2 图像复原方法,一.代数复原方法 图像复原的目的是在假设具备有关g、h和n的某些知识的情况下，寻求估计原图像f的某些方法。本部分讨论在均方误差最小意义下，原图像f的最佳估计，,第五章 图像复原与重建,21,2019年2月17日3时48分,1.
10、无约束复原 由g=Hf+n式可得退化模型中的噪声项为,n未知，有意义的准则函数是寻找一个 使得在最小二乘意义上近似于f,即要使噪声项的范数尽可能小,也就是使,把这一问题等效地看作为求准则函数,关于 最小的问题,第五章 图像复原与重建,根据范数定义：,对向量求导的两个性质：,设a和b为两个列向量，A为对称矩阵，J 为一标量 则：,(1) 若 J aTb = bTa， 则：,(2) 若 J aTA a， 则：,因此可将图像复原问题看作是对 求下式的最小值：,为此通过J 对 求偏导数，并将结果设为零而达到。,将上述性质用于 对 求偏导，有下面结果：,第五章 图像复原与重建,于是求出：,因此：,第五章
11、 图像复原与重建,若设 MN， 即 H 为方阵，并设H1存在，则：,-逆滤波恢复法,若H为奇异的，无论H-1或（HTH）-1都不存在。这会导致恢复问题的病态性或奇异性。,第五章 图像复原与重建,25,2019年2月17日3时48分,2. 有约束最小二乘复原为了克服恢复问题的病态性质，常需要在恢复过程中施加某种约束。这就是有约束复原。令Q为f的线性算子，有约束最小二乘法复原问题是使形式为 服从约束条件 的最小化问题。这可以归结为寻找一个 ，使下面准则函数最小。,其中，Q是选来对 进行某种线性运算的矩阵，为一常数,叫作拉格朗日系数。,第五章 图像复原与重建,26,2019年2月17日3时48分,令
12、： 对 的导数为零，有,其中=1/。这是求有约束最小二乘复原图像的通用方程式。,解得：,第五章 图像复原与重建,27,2019年2月17日3时48分,通过指定不同的Q,可以达到不同的复原图像。下面便利用通用方程式给出几种具体恢复方法。 (1)能量约束恢复 若取线性运算 Q =I 则得 此解的物理意义是在约束条件为 时，复原图像能量应保持不变。,第五章 图像复原与重建,28,2019年2月17日3时48分,(2)平滑约束恢复 把 考虑成x,y的二维函数，即同时考虑在x和y两个方向上的差分，那么光滑约束取为原图像的拉普拉斯运算。即,用卷积形式表示如下,第五章 图像复原与重建,29,2019年2月1
13、7日3时48分,约束条件为使下式为最小。,令Q=C,复原就是在约束条件 下使 为最小。最佳复原解为,第五章 图像复原与重建,30,2019年2月17日3时48分,(3)均方误差最小滤波（维纳滤波） 将f和n视为随机变量，并选择Q为噪声与信号之比其中 和 ，分别为信号和噪声的协方差矩阵。则解为一般把1时为含参维纳滤波，=1时为标准维纳滤波。,第五章 图像复原与重建,31,2019年2月17日3时48分,二. 频率域恢复方法 1.逆滤波恢复法 基本原理 对于线性移不变系统而言,上式两边进行傅立叶变换得,式中G(u,v),F(u,v),H(u,v)和N(u,v)分别是g(x,y), f(x,y),
14、h(x,y) 和n(x,y)的二维傅立叶变换。H(u,v)称为系统的传递函数。从频率域角度看，它使图像退化，因而反映了成像系统的性能。,第五章 图像复原与重建,32,2019年2月17日3时48分,在无噪声的理想情况下，上式可简化为,则：,1/H(u,v)称为逆滤波器。对上式再进行傅立叶反变换可得到f(x,y)。但实际上碰到的问题都是有噪声，因而只能求F(u,v)的估计值,然后再作傅立叶逆变换得,第五章 图像复原与重建,33,2019年2月17日3时48分,复原步骤：(a)对退化图像g(x，y)作二维离散傅立叶变换，得到G(u,v)；(b)计算系统点扩散函数h(x，y)的二维傅立叶变换，得到H
15、(u,v)；（通常h（x,y）的尺寸小于g(x,y)的尺寸。为了消除混叠效应引起的误差，需要把h(x,y)的尺寸延拓。） （c）按 计算 （d）计算 的逆傅立叶变换，求得,第五章 图像复原与重建,34,2019年2月17日3时48分, 问题： 若噪声为零，则采用逆滤波恢复法能完全再现原图像。若噪声存在，而且H（u,v）很小或为零时，则噪声被放大。这意味着退化图像中小噪声的干扰在H(u,v)较小时，会对逆滤波恢复的图像产生很大的影响，有可能使恢复的图像和f(x,y)相差很大，甚至面目全非。 改进的方法： (a)在H（u,v）=0及其附近，人为地仔细设置 H-1(u,v)的值，使N(u,v)*H-
16、1(u,v)不会对 产生太大影响。,第五章 图像复原与重建,35,2019年2月17日3时48分,下图给出了H(u,v)、H-1(u,v)同改进的滤波特性HI(u,v)的一维波形，从中可看出与正常的滤波的差别。,(a)图像退化响应 (b)逆滤波器响应 (c)改进的逆滤波器响应,(b)使H(u,v)具有低通滤波性质，即使,第五章 图像复原与重建,36,2019年2月17日3时48分,2.去除由匀速运动引起的模糊 原理在获取图像过程中，由于景物和摄像机之间的相对运动，往往造成图像的模糊。其中由匀速直线运动所造成的模糊图像的恢复问题更具有一般性和普遍意义。因为变速的、非直线的运动在某些条件下可以看成
17、是均匀的、直线运动的合成结果。设图像f(x,y)有一个平面运动，令x0(t)和y0(t)分别为在x和y方向上运动的变化分量。t表示运动的时间。记录介质的总曝光量是在快门打开到关闭这段时间的积分。则模糊后的图像g(x,y)为:,第五章 图像复原与重建,37,2019年2月17日3时48分,令G(u,v)为模糊图像g(x,y)的傅立叶变换，对上式两边傅立叶变换得,改变上式的积分次序，则有：,第五章 图像复原与重建,38,2019年2月17日3时48分,由傅立叶变换的位移性质，可得 ：,令：,则：G(u,v)=H(u,v)F(u,v)-已知退化模型的傅立叶变换式,若x(t)、y(t)的性质已知，传递
18、函数可直接由式 求出，因此，f(x,y)可以恢复出来。,第五章 图像复原与重建,39,2019年2月17日3时48分,沿水平方向和垂直方向匀速直线运动造成的图像模糊的模型及其恢复的近似表达式： （a)由水平方向均匀直线运动造成的图像模糊的模型及其恢复用以下两式表示：,式中a为总位移量，T为总运动时间，m是 的整数部分，L=ka(k为整数)是x的取值范围，A=,第五章 图像复原与重建,40,2019年2月17日3时48分,离散式如下：,第五章 图像复原与重建,41,2019年2月17日3时48分,(b)由垂直方向均匀直线运动造成的图像模糊模型及恢复用以下两式表示：,水平匀速运动模糊图像的恢复,第
19、五章 图像复原与重建,42,2019年2月17日3时48分,3.维纳滤波复原方法 逆滤波复原方法数学表达式简单，物理意义明确。然而存在着上面讲到的缺点，且难以克服。因此，在逆滤波理论基础上，不少人从统计学观点出发，设计一类滤波器用于图像复原，以改善复原图像质量。 复原思想： Wienner滤波恢复的思想是在假设图像信号可近似看作平稳随机过程的前提下，按照使恢复的图像与原图像f(x,y)的均方差最小原则来恢复图像。即,第五章 图像复原与重建,43,2019年2月17日3时48分,当采用线性滤波来恢复时，恢复问题就归结为找合适的点扩散函数hw(x,y)，使上式成立。 由Andrews和Hunt推导
20、满足这一要求的传递函数为：,则有：,这里，H*(u,v)是成像系统传递函数的复共轭；Hw(u,v)就是维纳滤波器的传递函数。Pn（u,v）是噪声功率谱；Pf（u,v）是输入图像的功率谱。,第五章 图像复原与重建,44,2019年2月17日3时48分,复原过程步骤： (a)计算图像g（x,y）的二维离散傅立叶变换得到 G(u,v)； (b)计算点扩散函数hw(x,y)的二维离散傅立叶变换。同逆滤波一样，为了避免混叠效应引起的误差，应将尺寸延拓； (c)估算图像的功率谱密度Pf和噪声的谱密度Pn； (d)由公式计算图像的估计值 (e)计算 的逆付氏变换，得到恢复后的图像,第五章 图像复原与重建,4
21、5,2019年2月17日3时48分,方法特点： （a）当H（u,v）0或幅值很小时，分母不为零，不会造成严重的运算误差； （b）当Pn 0时，维纳滤波复原方法就是前述的逆虑波复原方法；(c)当Pf 0时， 0，这表示图像无有用信息存在，因而不能从完全是噪音的信号中来“复原”有用信息。 对于噪声功率谱Pn(u,v)，可在图像上找一块恒定灰度的区域，然后测定区域灰度图像的功率谱作为Pn(u,v)。,第五章 图像复原与重建,46,2019年2月17日3时48分,一.图象重建的基本概念,由物体截面投影数据，重建该截面的图象,图象重建,计算机断层扫描,CT(Computerized Tomography
22、)技术是一种根据人体截面的投影数据，经过计算机处理来重建该器官截面的图象的技术,图象重建的历史,英国科学家Housfield在六十年代发明了断层扫描重建图象技术。,5.3 图象重建,第五章 图像复原与重建,47,2019年2月17日3时48分,图象投影重建基本原理,设f(x,y)是“截面图象”函数，xOy是建立在物体上的直角坐标系，tOs是建立在扫描装置上的直角坐标系，它们的原点重合，t轴与x轴的夹角为 。两者的坐标变换关系见左边公式。 在(t,s)坐标系中，s方向称为射线方向，沿射线方向将图象f(x,y)进行积分 P(t)=s f(x,y)ds 换句话说， P(t)为f(x,y)在角位置的平
23、行投影。上式也称为雷顿变换(Radon,1917年),第五章 图像复原与重建,48,2019年2月17日3时48分,为了获得P(t)平行线投影数据，设投影射线为x射线，当x射线穿过物体时，由于物体内部组织的吸收、散射、反射等作用，会使射线强度衰减，射线的衰减规律可表达为,硬件实现方法,S为射线方向，u(x,y)为射线穿过物体时的衰减系数，它正好反映了物体内部的组织性质，这样，u(x,y)表征了物体断面的图象f(x,y)的组织信息，Nin是射线入射剂量，Nout是穿过物体后射线的剂量，他们都可以通过物理测量而得到。上式可变换为,第五章 图像复原与重建,49,2019年2月17日3时48分,如此，
24、投影重建问题就转化成了如下两个简单问题：,1)如何取Nin,Nout 2)如何解方程,二.图象重建方法,从历史演变来看，通常图象重建的方法有如下5种 1）解联立方程组方法 2）反投影法 3）Fourier变换法 4）卷积-逆滤波法 5）逐次逼近法,第五章 图像复原与重建,50,2019年2月17日3时48分,解联立方程组法,设的步进长度为，t的步进长度为t，令P(i,j)=P(i ,jt)，则经过扫描投影后，可得矩阵,例 对图象1.jpg进行Radon变换，然后再反变换，观察中间数据。,第五章 图像复原与重建,51,2019年2月17日3时48分,第五章 图像复原与重建,52,2019年2月1
25、7日3时48分,解联立方程组,得,第五章 图像复原与重建,53,2019年2月17日3时48分,把以上方法推广到多像素多扫描线的情况，便可以得到重建图象的一般解联立方程组方法。,傅立叶变换法,投影切片定理：设f(x,y)的傅立叶变换为F(u,v)，令u=cos,v=sin, F(,)=F(cos,sin) ，则,对以上公式做进一步的推导，可得,第五章 图像复原与重建,54,2019年2月17日3时48分,令,则,滤波-逆投影法,第五章 图像复原与重建,55,2019年2月17日3时48分,其中,称为图象重建滤波器，d是一个足够大的实数。,三.典型应用,CT, MRI, B超等,第五章 图像复原
26、与重建,56,2019年2月17日3时48分,四. 三维形状的复原以上所述的计算机断层，是从多个一维投影数据重建二维断面的方法。为了测出三维物体的形状，可以一面一点点地移动位置，一面求出多个垂直于通过物体中心线的断面，然后把它们依次连接起来，也就是根据一系列二维图像的位置变化构成三维图像。 一旦这样的物体三维信息被恢复，就可以求出关于具有任意倾斜度平面的断面，或者可以由三维的任意方向来看物体，从而使对物体形状的判读变得非常容易。使用像计算机X线断层那样的医用图像，由各种各样的视点来观看人体器官的三维图像，对疾病的诊断特别重要，为了这一目的的专用装置也正在开发中。,第五章 图像复原与重建,57,
27、2019年2月17日3时48分,从多个断面恢复三维形状的方法有：,第五章 图像复原与重建,58,2019年2月17日3时48分,1. Voxel 法（体素法）如果把断面的间隔加密，让断面内的抽样间隔和断面间隔相等，断面内的各像素就可以看成三维空间的小的立方体（voxel）。因此，在多个断面图像中，给予相当于这个立方体高度的厚度，把它们三维地堆积起来就可以表现物体的三维图像。最近，对这种三维数字图像开发了各种处理算法。总的来说，用这种方法能够表现任意复杂形状的物体，但通常因为体素比较大，所以在物体表面上可以看到人为的凸凹不平。,第五章 图像复原与重建,59,2019年2月17日3时48分,(a)
28、Voxel法 (b)分段的平面近似法,第五章 图像复原与重建,60,2019年2月17日3时48分,2分块的平面近似法,这种方法是把物体的表面作为小平面的结合来表现的。为此，首先求出断面I和断面i+1中物体的轮廓线。假设两个轮廓线如图(b)那样，用 li(m)、li+1(n) (m=1,2, ,M， n=1,2, ，N)和折线来表示。 这时，如果从li(1)-li+1(1)组出发，研究li(1)-li+1(2)或者li(2)-li+1(1)，就可以在各自的地方做出一个三角形。像这样研究li+1(m)-li(n)的各种各样的组合，求出由此做出的三角形面积的总和为最小的组合，把此时形成的这些三角形平面连接起来，描述物体表面。这种方法是使用三角形面积作为评价函数，进行两条曲线的图案匹配。,第五章 图像复原与重建,61,2019年2月17日3时48分,下图(a)的方法是面向体积型的三维物体的表示法；图(b)的方法则是面向表面型的表示法。用前者求物体表面很困难，而用后者由任意的平面作出断面困难。因此要根据目的的不同采用合适的表示法。,
