1、毕业论文：图像重建数学模型和超分辨率空域重建算法研究毕业论文：图像重建数学模型和超分辨率空域重建算法研究毕业论文：图像重建数学模型和超分辨率空域重建算法研究:2013-8-5 17:41:04毕业论文：图像重建数学模型和超分辨率空域重建算法研究摘 要简介：图像超分辨率重建是一种病态反问题。在过去的二十年间,一系列的超分辨率方法被提出。数据和噪音的假定模型容易受这些方法影响，从而限制了他们的实用性。这篇论文以图像重建数学模型和超分辨率空域重建算法为研究主线，综述了这些方法中的一部分，并指出了他们的不足。在处理不同的数据和噪声模型之前我们提出了基于 L1范数极小化和双边全变差的稳健性正则化的交替性
2、方法。这种比较简单的运算方法有效的抑制了运动和模糊估计产生的误差和导致有锋利边缘的图像。仿真结果说明了我们方法的有效性和证明一些超分辨率方法的优势，而且重建图像的视觉效果和峰值信噪比(PSNR)均有一定的提高。关键词：双边滤波器、去模糊、增强、图像的重建、多帧、正则化、抗差估计、超分辨率，全变差（TV） 。 ABSTRACT Image super-resolution reconstruction is an ill-posed inverse problem.In the last two decades, a variety of super-resolution methods hav
3、e been proposed. These methods are usually very sensitive to their assumed model of data and noise, which limits their utility. In this paper,detailed analysis and discussion of the selection of the regularization parameter has been given. reviews some of these methods and addresses their shortcomin
4、gs.We propose an alternate approach using 1 norm minimizationand robust regularization based on a bilateral prior to deal with different data and noise models. This computationally inexpensive method is robust to errors in motion and blur estimation and results in images with sharp edges. Simulation
5、 results confirm the effectiveness of our method and demonstrate its superiority to other super-resolution methods,and has considerable effectiveness in terms of both visual evaluation and PSNR.Key words：Bilateral filter, deblurring, enhancement, image restoration, multiframe, regularization, robust
6、 estimation, super resolution, total variation (TV).目 录摘 要 1ABSTRACT 2一、绪论 51.1课题的背景与意义 51.2 SR 的研究现状及其应用 71.3 研究目标 91.4 本文的主要工作及内容安排 9 二、图像超分辨率重建算法基础 112.1 观测模型的建立 112.2 超分辨率重建问题的病态性 122.3 超分辨率重建算法的典型步骤 132.3.1 图像配准 132.3.2 图像插值和重建 142.4 超分辨率重建技术的典型算法 152.4.1 频域算法 152.4.2 空域算法 171） 非均匀插值算法 182） 迭代反
7、投影算法 183） 随机算法 194） 正则化算法 195） 集合论算法 206） MAP/ML/POCS 混合算法 217） Delaunary 三角剖分法 218） 基于学习的算法 222.5.1 算法比较与总结 222.6 本章小结 23三、基于 MAP的正则化超分辨率图像重建算法 243.1 简要的提出 MAP正则化目标方程 253.2 代价方程保真度项分析 253.2.1 二阶范数算法分析 253.2.2一阶范数算法分析 263.2.3 实验仿真与分析 283.3 双边滤波正则化算子 293.4 实验仿真与分析 31结 语 35参考文献 I致 谢 III英文翻译 IV第一章 绪论 1
8、1 课题的背景与意义 随着图像传输和处理技术的飞速发展，人们对高分辨率的图像和视频信息的要求日趋提高。分辨率往往是表征图像观测水平的重要技术指标，它取决于仪器固有的分辨率和其他因素对成像的影响。从应用的角度讲，人们总是希望得到高分辨率的图像，因为高分辨率意味着图像的像素密度高，能够提供更多的细节信息。自从 1970年以来，CCD(Charge Coupled Device)和 CMOS传感器件被大量用于数字图像获取，使成像分辨率得到了很大的提高，虽然能够满足大多数需求，但是从发展的观点来看，目前的分辨率水平还远远不够。而且在许多重要的成像领域，还存在很多导致图像退化的因素，如光学系统的像差、大
9、气扰动、运动、散焦，欠采样和系统噪声等。 然而，高分辨率的图像和视频数据在获取和处理过程中受到多方面制约。提高图像空间分辨率的途径通常有两种。一种最直接的方法是提高工艺水平，通过改进成像器件的物理特性，如降低像元尺寸、增大芯片面积等。但这一方法有内在缺陷，芯片面积增大会引起电荷转移速率下降，降低像元尺寸会使单位像元受光量减少、成像单元受散粒噪声的影响加大，进而导致成像图像的质量急剧下降。另一种是改进光学镜头的焦距和孔径。在航拍图像的超分辨率重建中，为了提高图像的空间分辨率并保持足够地面覆盖范围，通常采用增大相机光学系统的焦距和孔径的方法。但这种大型光学系统受光学材料、加工、制造成本等的制约，现
10、有的光学成像系统已接近光学器件制造工艺和系统空间运载能力的极限。而在民事应用中，为了降低成本，考虑易用性，也很少会采用加大焦距和孔径的方式。且为了能在高分辨率(或高清晰度)的显示器上表现足够幅面(最好是满屏)的原始成像，人们尝试了各种图像“放大”的方法，可其做法仍然是对有限分辨率的原始成像进行像素内插，本质上并不能提高图像的空间分辨率。 因此如何在现有的硬件水平下提高图像的空间分辨率成为迫切需要解决的问题，超分辨率图像重建技术正是在这一需求下提出的新方法。超分辨率图像重建技术是采用信号处理技术从单帧或者多帧低分辨率图像中重建出高分辨率图像，这就是目前图像处理领域特别活跃的超分辨率重建技术，其主
11、要优点是成本低廉且现有成像系统仍可利用。众所周知，成像系统相当于一个低通滤波器，具有一定的截止频率，图像的超分辨率重建，就是希望尽可能地在一定程度上挽回图像的分辨率损失，以弥补其“先天不足” ，即在保证通频带内图像低频信息复原的基础上，对截止频率以上的高频信息进行复原，使重建图像获得更多的细节和信息，更加接近理想图像。超分辨率重建可以去除成像系统的降晰(散焦降晰、运动降晰等)，并复原超出光学系统衍射极限的空间频率信息。无论成本或硬件物理条件是否有限，超分辨率重建都是一种重要的、代价较低的改善图像质量的方法，因此在医学成像、卫星成像、视频监视、视频增强与复原等越来越多的领域得到广泛应用。 视频和
12、图像序列的超分辨率重建技术研究多帧图像的超分辨率重建技术最初只应用于卫星影像的分辨率增强，随着技术的发展，其应用领域由航天应用逐渐扩展到军事和民用。近年来，超分辨率技术在航天、军事和民用领域中的应用越来越广泛，从遥感影像融合到军事侦查、从医学成像到计算机视觉，从公共安全到多媒体电子消费，超分辨率重建技术已经受到越来越多的青睐。其典型应用如提高遥感侦查影像的空间分辨率， “冻结”视频帧的超分辨率复原，视频的时空分辨率增强，视频编码器和解码器的复杂度均衡，医学成像影像的分辨率增强等。对超分辨率图像重建技术(SR，Super Resolution)的研究源于二十世纪六十年代的美国国家航天局，为了使卫
13、星拍摄的图像提供更多更有用的信息，Harris 和 Goodman首次提出了超分辨率图像重建的概念。由于当时理论分析的前提条件过于苛刻，SR 技术并没有得到深入研究，但对这一技术的探索一直延续。八十年代末，人们在超分辨率图像重建方法的研究上取得了突破性进展。Hunt 等人不仅在理论上证明了超分辨率存在的可能性，而且提出了多种实用的重建方法，超分辨率重建技术逐渐在学术和应用领域占据一席之地。根据超分辨率图像重建处理的低分辨率(LR，Low Resolution)源图像和高分辨率(HR，High Resolution)目标图像的不同，SR 技术可以分为四层，其中应用最广泛的为多帧图像的超分辨率重建
14、技术。多帧图像的超分辨率是指对同一场景的多幅图像做处理，用数字信号处理的方法将不同图像中互为补充的信息融合到一幅图像中，从一系列低分辨率图像中重建出高分辨率图像的方法。 1.2 超分辨率重建技术的研究现状及其应用从目前的研究和应用成果来看，超分辨率重建算法主要分为频域算法和空域算法。早期的研究工作主要集中在频域中进行。但随着更一般的退化模型的考虑，后期的研究工作几乎都集中在空域中进行。 1984 年，Tsai 和 Huang最早提出多帧超分辨率问题并给出一种频域解决算法 ，实现了无噪声和模糊的情况下，利用连续 Fourier与离散 Fourier变换之间的移位、混叠性质，由多帧 LR图像重建出
15、一帧 HR图像。他们将 HR图像的Fourier系数表示成一系列配准的 LR图像的函数。通过计算线性方程组来求解函数系数。该法原理和 Papoutis在文献中应用的原理相同。1988 年，Keren 等人在文献 中提出迭代反投影算法，通过把估计 LR图像和观测 LR图像的差值进行迭代反投影，从而获得 HR图像的估计值。1991 年，Imai 和 Peleg在文献中也提出类似理论。随后Zomet等人在已有的迭代反投影算法的基础上，利用不同反投影图像的误差中值改善算法的性能，从而使得该算法在存在异常点的情况下具有更强的鲁棒性 。 1990 年，Kim 等人 在假设所有 LR图像的模糊和噪声特性都相
16、同的条件下，基于加权最小二乘理论，将频域法应用在模糊含噪图像上。随后，Kim 和 su考虑每帧 LR图像不同的模糊程度，应用 Tikhonov正则性解决由模糊算子引起的病态问题 。1993 年，Teodosio 和 Bender提出非迭代空域数据融合算法 ，Elad 和 Hel-Or 将该法应用于单纯平移和空间不变模糊情况下，提出一种快速超分辨率算法。1997 年，Patti 等人提出POCS(projection onto convex set)算法，即凸集投影算法 ，将重建的 FIR图像估计值不断向条件凸集投影，根据已知数据和对信号的合理假设，每个凸集表示对重建图像的一定的约束条件。199
17、7 年，Elad和 Feuer提出一种 数据为 Y，噪声 N超分辨率图像 x均为随机量，则可建立随机观测方程， Y=Hx+N (2-14) 最大后验概率算法(MAP,maximum a-posteriori)是通过计算后验概率 Px/Y的最大值来寻找 x的估计值 。 (2-15)根据 Bayes条件概率理论，认为氟 IP与 Pr)不相关，对式(215)取对数得， (2-16)式中，logPY/x为对数似然函数(log-likelihood function)，Px为 x的先验概率密度。由于 Y=Hx+N，似然函数由噪声的概率密度函数(PDF)确定，即 PY / x)=fn(Y一 Hx)。Px通
18、常是利用 MRF(Markov random field)图像模型。 也可以应用最大似然估计(ML，maximum likelihood)算法来解决超分辨率问题。ML 估计可以看成是 MAP的一个特例，没有先验项。由于超分辨率重建问题的病态性，需要包含先验信息，所以 MAP优于 ML。随机超分辨率重建算法，尤其是应用 MRF先验模型的 MAP算法，优点主要体现在可以直接包括解的先验约束，这是获得病态反问题的最优解所必须的条件【2】 。4)、正则化算法： 正常情况下，超分辨率图像重建是病态问题。应用正则化过程可以使该问题良性化。对于式(22)中，可以有， (2-17) 假设估计正则化参数，利用合
19、适的先验知识，用确定性正则化解决这一病态问题。例如采用常用的有约束的最小二乘(CLS，constrained least squares)法来求解 x使代价函数 达到最小，其中，C 为高通滤波器系数， 表示 范数。在这一算法中，使用平滑约束作为重建的先验知识。因为大多数图像都是自然平滑，高频能量有限，解的先验知识就可以用平滑约束表示，相当于最小化重建图像中的高通能量。a 称作正则化参数，用来权衡解的精确度和光滑程度，a 越大，解越平滑，适用于 LR图像数目很小的情况；反之，如果 LR图像数目大，噪声小，a 较小时将会得到较优的解。通过最小化代价函数，就可以求解得到一帧唯一的估计图像 。在研究鲁
20、棒超分辨率图像重建算法中，需要结合正则化算法。5）集合论算法： 超分辨率重建的另一种著名算法是基于集合理论的凸集投影(POCS，projection onto convex set)算法，这是一种将先验知识引入重建过程的迭代算法。 图像重建的目的是从变质图像中重建出原始图像，其中的一个主要问题是如何尽量使用先验知识以提高重建质量。根据集合理论和成像模型，关于成像系统的冲激响应或 PSF以及加性噪声的统计特性等先验知识，可视为对图像重建结果的若干约束条件，每一约束条件对应于一个含有理想超分辨率图像的凸集 这些凸集的交集 称为图像重建的可行域。显然该可行域仍是一个凸集，相应其中任一点 称为一个可行
21、解。 所谓的凸集投影(POCS)就是从给定的初始值出发，分别向约束集投影 ，得到可行域中一个可行解的一种迭代算法，其中 对应于到第 j个凸集的投影。 传感器的点扩散函数(PSF)和因欠采样产生的混叠会使低分辨率图像发生模糊。Stark 和 Oskoui在 1987年首次提出将POCS技术应用于超分辨率来解决因传感器产生的模糊和欠采样混叠效应 M。其原因是超分辨率解空间中可行解具有多个限制条件，而每一个限制条件都可以定义为向量空间中的凸集合。这些限制条件一般是超分辨率解比较理想的性质，如正定性、能量有界性、观测数据一致性以及光滑性等。超分辨率重建问题的解空间就是这些凸的限制集的交空间。 POCS
22、 的算法简单，并能够充分利用先验知识，但是这种算法求得的解不唯一，求解收敛速度慢，计算复杂度比较高。6）MAP/ML/POCS 混合算法: MAP/ML/POCS 混合算法是将随机估计的算法与集合论 POCS算法相结合得到的一种超分辨率重建算法，即在将解限制在特定的凸限制集合的交集空间的基础上，对后验概率或似然函数求最大值，从而得到 HR图像的最佳估计。 Schultz和 Stevenson在文献 中提出了一种约束 MAP超分辨率算法，将迭代 MAP算法与交互投影约束结合使用。在此基础上，Elad 和Feuer提出了一种 MLPOCS 混合算法，他们利用 ML函数将超分辨率问题表示成随机推论问
23、题，用投影限制算法来确定最优化。 混合算法将随机算法和 POCS算法的优势特征相结合，主要特点是所有的先验知识都可以有效地结合使用，与 POCS算法相比，能保证有一个最优解。2427 Delaunary 三角剖分法 Lertrattanapanich和 Bose提出 Delaunary三角剖分法，通过对使用空间棋盘形铺嵌和用二元多项式作为平滑约束的中的三角块进行逼近实现超分辨率重建 。 首先，使用投影模型得到各 LR帧的运动参数估计，建立覆盖由 LR帧配准得到的不规则采样光栅的离散顶点集合的 Delaunay三角剖分，估计每个三角剖分的顶点的梯度向量。 其次，用一个连续并且连续可导的表面来逼近
24、三角剖分中的每个三角块，其目的是使之符合某个平滑约束，文献 中采用二元三次多项式。当所有的三角块符合平滑表面后，通过二元三次多项式的简单计算可以得到 HR栅格顶点的像素值，从而得到 HR的初始图像，即噪声模糊 HR图像。最后，使用块插入的算法来对 HR初始图像进行局部更新，去除模糊和噪声，直到图像质量符合要求。三角剖分法算法的理论基础不同于基于概率和基于集合理论的算法。与经典的反向投影算法及小波超分辨率算法相比，主要优点在于它的低计算时间、可实现并行处理以及局部更新特征。最重要的一点是，该算法对内存的需求比较低，特别适合硬件处理。但是它也有潜在缺点，即在插值中，对表面使用的三次多项式函数拟合可
25、能不够平滑。8） 、 基于学习的算法： 超分辨率重建中，随着分辨率提高倍数的增加，LR 图像序列所能提供的冗余信息显得不足，此时不能靠增加 LR图像的数量来产生新的高频细节。这种情况下，关于图像本身的先验知识就显得非常重要。获得先验知识的方法除了统计方法(概率方法)外，另一个重要的方法就是神经网络，可以通过神经网络的学习训练得到。 一个图像像素的集合是一种特殊类型的信号集，和一个完全随机的变量序列相比，它的变化较少，可以通过神经网络建立高低分辨率图像之间的对应关系。 基于学习的算法主要有以下几个步骤。 第一步，将高分辨率图像按照退化模型进行退化，产生训练集合； 第二步，根据高低分辨率块的对应关
26、系，通过神经网络进行训练学习； 第三步，根据输入的低分辨率块搜索最匹配的高分辨率块： 其中，学习算法和搜索算法的设计是该算法的核心问题。 最近 Hertzmann等人使用了一个基于训练的算法来处理超分辨率问题，在不同的图像之间使用类推的算法。William 和 Freeman等人采用一种学习的算法来实现单帧图像的超分辨率重建。Baker 和 Kanade着重研究在图像类别己知的情况下进行图像放大。基于学习的图像超分辨率重建算法虽然不能产生完全正确的高分辨率信息，但是可以得到一些合成的、视觉上似是而非的图像细节，例如锐化的边缘、模糊的纹理。从理论上讲，如果训练集合是通用的，就可以使用这个训练集合
27、对各种类型的图像进行放大，但是从文献报道来看，目前算法还仅仅局限适用于训练图像和重建图像类型相似的情况。基于训练集合的算法对于图像放大、去除噪声、三维表面重构以及图像成像有所帮助。251 算法比较与总结 超分辨率图像重建的频域算法和空域算法各有优缺点。频域算法的思路比较清晰，其算法原理都是基于傅里叶变换的平移和混叠特性，易于理解；算法的计算较为简单，基于 FFT技术的运算速度较快，并且单个频率点可以单独计算，易于实现大规模并行运算。但其观测模型过于简单，只能适用于理想情况下的图像重建，对于有运动模糊和观测噪声的情况，其重建质量明显下降。另外，频域算法的数学模型也很难对 HR图像的先验知识进行建
28、模，无法有效地约束求解结果，而频域的计算误差又会对空域图像产生整体影响，因此实际工程应用中很难得到稳定而可靠的解。空域超分辨率算法相对于频域算法最大的特点在于其灵活性，算法直接对空域图像像素做处理，可以灵活地对全局运动和局部运动、光学模糊和运动模糊以及随机噪声等进行建模。特别是基于POCS和 MAP算法的数学框架，对复杂的观测模型兼容性很好。空域算法的计算过程通常可以采用正则化的方法约束求解结果，因此易于包含图像的先验知识，而先验知识对于病态反问题的求解非常重要。但空域算法也有其缺陷，其算法的机理大多数基于最优化理论，相对于频域算法其原理较为复杂，不直观。虽然其观测模型的灵活度非常高，但相应地
29、其计算量也非常大，特别是采用迭代的计算方法，其运算时间往往较长。26 本章小结本章首先对图像超分辨率重建算法的观测模型的构建进行了介绍，指出了图像超分辨率重建算法是一个病态反问题及其原因，然后对图像超分辨率重建过程进行了详细分析，其主要可以分为图像配准、插值和重建几个步骤。最后，对图像超分辨率重建技术的主流技术，即频域算法和空域算法进行了详尽的分析和比较。 第三章 基于 MAP的 BTV超分辨率图像重建算法 由前文可知，因基于图像建模理论的正则化超分辨率重建框架所具有的灵活性，使之成为了当前 SR重建技术研究的主要方向。在 MAP框架下，SR 重建就是一个基于马尔柯夫随机场（Markov Ra
30、ndom Field，MRF）先验图像模型的统计推断问题，且先验统计模型的合理性直接决定着超分辨率重建图像的效果。运用信号处理技术从一系列模糊、混有噪声的多幅低分辨率(LR)图像中,创建一幅或多幅细节更加丰富的高分辨率(HR)图像,这种方法就称为图像超分辨率重建 (SR)。SR 算法主要分为空域和频域方法两大类。其中,频域法直观简单且计算复杂度低,但不能包含图像空域先验信息,缺乏数据间的相关性,已不是研究的主流。空域方法灵活性强,有较好包含空域先验约束信息的能力,主要方法有迭代反向投影法、凸集投影法(POCS)、MAP 法、混合 POCS/MAP法、正则化方法、基于学习的方法、小波方法等。其中
31、基于 MAP框架下图像超分辨率正则化技术可以直接加入先验信息约束、去噪能力强、边缘保持好,灵活性强、适用范围广,是当前 SRR算法研究的热点之一。本文以图像灰度连续性为先验信息,提出了一种基于梯度连续和双边全变差(BTV)的双正则项目标方程,而对于数据保真项,我们采用Lorentzian范数构造,实验证明本文方法去除各类噪声的能力较强,边缘保持较好。3.1 简要的介绍 MAP正则化目标函数基于 MAP的代价函数表示为如下形式： (3.1)通常称 为正则化参数；C 为正则化算子。要使得(3.1)式取最小，直接的方法是对其求偏微分并令其为零，如下式所示： （3.2）上式中，R 通常是一个非常大的矩阵，例如，对于一幅10001000的图像 X，矩阵 R的大小为 106 106，这样的矩阵不仅要耗费巨大的内存资源，而且在运算中，即使它的逆矩阵存在，也很难求出具体的结果。因此，通常情况下，我们可以利用基于梯度的迭代方法求方程的最优解，得到迭代公式如下：
