1、超分辨率图像处理技术是利用多帧关于同一场景的有相互位移的低分辨率降质图像来重建高分辨率高质量图像的技术。介绍了超分辨率图像处理技术的概念和起源;综述了超分辨率图像恢复研究现状。重点对单帧和多帧超分辨率图像处理的主要方法进行了评述,并总结对比了频域和空域方法的优缺点。最后对超分辨率图像处理技术的技术难点和前沿问题研究前景进行介绍和展望。0 引言图像超分辨率处理技术是指利用多帧关于同一场景的有相互位移的低分辨率降质图像(LR,lowresolution)来重建高分辨率高质量图像(HR,highresolution)的技术1。图像超分辨率处理技术可突破图像采集设备的分辨率限制,充分利用多帧图像之间的
2、互补信息,实现像素级的图像信息融合。在计算机视觉、卫星遥感、天文学、生物医学成像、民用安防等多个领域都有广泛的应用。图像超分辨率处理常被认为是广义的图像复原(Restoration)或图像重建(Reconstruction)。实际上它与两者有一定联系但是又不完全相同。图像复原是指去除或减轻获取数字图像过程中发生的图像质量下降(退化)2,目标是恢复光学系统截止频率以内的成分,而图像超分辨率处理的目标是得到系统截止频率以外的成分。图像重建可用于现有成像系统不能提供满意图像分辨率的情况,如提高遥感图像、CT、核磁共振、超声波图像和各种监控图像等的分辨率3。在超分辨率处理中,多帧低分辨率降质图像可以认
3、为是高分辨率理想图像经成像系统在观测平面上的一个投影,因此图像超分辨率处理也可以认为是由多帧低分辨率降质图像来重建高分辨率理想图像。 1 超分辨率图像处理技术研究概况J.L.Harris4和 J.W.Goodman5提出的基于单帧图像的 Harris-Goodman 频谱外推法是最早的超分辨率图像处理的方法。随后,Tsai 与 Huang 提出了基于序列或多帧图像的超分辨率重建问题,并给出了基于频域逼近的重建图像方法。此后,极大后验概率估计法、反向投影迭代法、凸集投影法和自适应滤波方法等许多有使用价值的方法被提出并发展。目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的
4、PeymanMilanfar 等提出了大量的实用算法和集成各种算法的超分辨率图像恢复软件包6; 美国 Dayton 大学和 Wright 实验室对红外 CCD 相机进行了机载试验,利用 20 幅低分辨率的红外图像,取得了分辨率提高近 5 倍的实验结果。香港 R. F. Chars 等研究了超分辨率图像恢复的有效预处理共扼梯度迭代算法7。以色列耶鲁撒冷大学 M.Elad 等8 对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。以色列的 EROS-A 卫星利用“过采样”技术使影像的分辨率提高一倍以上。印度 S.Chaudhuri 等研究了迭代的超分辨率图像恢复方法9。韩
5、国 Pohang 理工大学在各向异性扩散用于超分辨率 10方面进行了研究。国内近几年在频谱外推、混叠效应的消除、无损检测、成像探测元的阵列改进以及一些超分辨率方法的改进方面做过类似研究,但研究水平无论从深度和广度上都较国外存在一定的差距11。2 超分辨率图像处理方法图像超分辨率处理技术通常可以分为两大类:单帧图像重建(静态图像插值)方法和多帧图像处理(序列图像重建)方法。单帧图像处理也称为图像放大 ,是指利用一帧探测器采集到的低分辨率图像的信息,通过重建算法提高图像分辨率的方法。为了增加利用图像的信息,人们逐渐将研究热点转向多帧图像处理。多帧图像处理充分利用了不同帧图像之间的互补信息,其超分辨
6、率复原能力好于利用单帧图像处理。其主要方法大致可以分为两类:频域法和空域法。早期的超分辨率图像处理方法研究都集中在频域,后来转向空域超分辨率图像处理复原方法的研究。频域法不能利用图像的先验知识,而空域方法则能够充分利用图像先验知识。频域方法的基本流程如图 1(a)所示。其中图像配准和运动模型估计的精度越高,图像重建的效果就越好。当考虑到普遍的运动类型以及退化模型时,频率域方法仅能进行整体运动估计,很难将采样空间中变化的运动模型局部等价到其 Fourior 变换域上。因而产生了空域处理方法,具体流程如图 1(b)所示。显然,空间域方法进行超分辨率重建时 ,将复杂的运动模型与相应的插值或迭代及滤波
7、重采样放在一起处理,这样更符合图像退化的复杂过程。超分辨率图像处理方法很多,下面对一些目前正在研究和经常使用的方法进行重点研究。2.1 单帧超分辨率图像处理单帧超分辨率技术利用空间有界和频带限制之间的不相容性来重建特定图像中衍射极限以外的频谱。Wang 等12提出了有向滤波器,保护有向多项式表示的有向图像特征。Ayazifar13提出了边缘保持的插值技术,该技术不仅能沿线性边缘插值 ,也能沿弯曲的轮廓插值。Schultz 等14 将插值图像看作是非连续性保持的 Huber-Markov 随机场,并计算它的最大后验概率(MAP)估算,以获得高分辨率图像。Thurnhofer 等15 提出了图像插
8、值的自适应算法,并进行了视觉边缘增强。由于实际成像和图像探测过程中误差因素的存在,使基于单帧图像的超分辨率处理方法难以应用于工程实际。2.2 频域方法频域法是最早出现的超分辨率图像处理方法,是指通过在频率域消除频谱混叠而改善图像的空间分辨率的方法。频域方法的理论基础为傅里叶变换的平移特性,主要包括:解混叠重建法、递归最小二乘法、递归整体最小二乘法等方法。由频域解混叠进行超分辨率重建最早由 Tsai 和 Huang 于 1984 年提出16, 图像序列被模型化为同一幅场景图经整体平移后欠采样的结果,欠采样过程在频域表现为频谱的混叠。该法的不足之处是其模型中没有考虑光学系统点扩散函数(PSF),也
9、没有考虑运动模糊和观测噪声。Tekalp 等人于 1992 年提出一种改进的方法17,采用的模型中包括了线性平移不变的点扩散函数(LSI PSF, LinearShift Invariant PSF)和观测噪声。Kim 等人18 提出了用递归最小二乘法(RLS,Recursive Least Squares)、加权递归最小二乘法 (WRLS,Weighted Recursive Least Squares)求解频谱混叠系统线性方程组,使得超分辨率重建过程可以包含观测噪声、空间模糊等因素。由于噪声和误差的影响可能导致递归最小二乘法不收敛,为此 Bole 提出了递归整体最小二乘法(RTLS,Rec
10、ursiveTotal Least Squares)19。该方法所采用的模型有效地考虑了观测图像的 LSI 模糊因子,但未考虑运动模糊。2.3 空域方法空域方法就是指在图像像素的尺度上,通过对图像像素点的变换、约束进而改善图像质量的方法。空域方法主要包括非均匀采样内插法、代数滤波反向投影法、基于概率论的方法、凸集投影迭代法、混合法、自适应滤波法、Tikhonov-Arsenin 正则化法等。2.3.1 非均匀采样内插法该技术将运动估计、非均匀插值、去模糊 3 个过程依次执行,先用估计的相对运动信息,然后用插值方法得到 HR 图像后,最后用传统的图像恢复方法去除模糊和噪声。该技术的优点是计算复杂
11、度低,易于实用化。不足之处在于观测模型只适用于所有的 LR 图像的模糊和噪声特征都相同的情况。此外,由于恢复时忽略了插值过程引入的误差,无法保证整个复原算法的最优。该技术比较突出的研究如下:Keren 等人提出了一种包括整体平移和旋转的超分辨率重建模型20,其特点是在超分辨率重建阶段分为内插、模拟修正两步。这一方法的缺点是其内插过程过于简单,对消除观测值之间的频谱混叠没有任何效果。Aizawa 等提出了另一种基于内插的方法21,他们分析了通过立体相机获取超分辨率图像的方法。该种方法没有考虑光学模糊和运动模糊,该种模型同样也不能够利用任何先验信息。2.3.2 反向投影法在对高分辨率图像的迭代计算
12、中,将高分辨率图像估计结果退化为低分辨率图像,计算该退化图像与真实退化图像的残差,由残差和图像模糊构造后向投影来修正下一次的迭代。迭代后向投影方法的优点是简单直观,缺点是解不唯一,也难以进行正则处理。Friden 等22提出了代数层析滤波后向投影方法、迭代反向投影方法( IBP, Iterative BackProjection)等方法,进一步提高了迭代反向投影算法的性能并将其推广应用到彩色视频序列的超分辨率重建上。2.3.3 统计复原方法常用的统计复原方法包括极大后验概率估算(Maximum a Posteriori,MAP )和最大似然估算。最大后验概率的含义就是在已知低分辨率视频序列的前
13、提下,使出现高分辨率图像的后验概率达到最大。最大似然估算方法可被认为是最大后验概率估算方法在等概率先验模型下的特例。SchultzHardie 等人23分别提出了相关算法。目前,MAP 超分辨率图像重建算法己经得到广泛的应用,这主要是因为该算法的框架模型是直接考虑先验知识的,以 MAP 作为先验知识的模型可以提供十分方便、直观和符合实际的成像模型;并且在 MAP 这样的框架内可以实现运动估计和超分辨率重建的同时求解。2.3.4 基于集合的凸集投影方法(Projection OntoConvex Set,POCS)在这种算法中,约束集定义为超分辨率解空间中可行解的限制条件,每一个限制条件则定义为
14、向量空间中的凸集合(Convex Set)。这些限制条件一般为超分辨率解提供较理想的性质,比如正定性、能量有界性、观测数据一致性以及光滑性等。求解过程就是从多个约束集合的交集中求解高分辨率图像,该方法易于实现,可处理复杂的退化模型。Youla 和 Webb 在 1982 年最先将凸集投影的理论应用于图像恢复。文献24提出了包含系统矩阵的运动模型 ,该法原理简单、观察模型灵活,能强有力地利用先验知识,近几年来在图像超分辨率重建领域受到广泛重视。但同时具有解的不唯一性、对初始值的依赖性、需要可观的计算代价和较多的迭代次数等缺点。2.3.5 混合 ML/MAP/POCS 法Elad 等把 MAP,M
15、L 和 POCS 三种方法合并成统一的算法族25 。混合 MAP/POCS 方法相当于在最大后验概率方法的迭代优化过程中加入了一些先验约束,混合方法的特点是所有的先验知识都可以有效地结合使用,与 POCS 方法相比,该法能保证有一个最优解,图像复原性能优于 MAP 和 POCS。2.3.6 滤波方法通过滤波可直接消除退化因素获得高分辨率图像。该方法的不足是最优滤波方法不能包含先验,自适应滤波方法不能包含非线性先验。自适应滤波、Wiener 滤波和 Kalman 滤波等几类方法可以应用在高清晰度电视标准和合成视频变焦这些运算速度要求较高的场合。Elad 等人 26-27首先提出一种基于自适应滤波
16、理论的最小二乘估算器。 Alam 等人28提出把 Wiener 滤波方法引入到图像序列的超分辨率重建中。2.3.7 Tikhonov-Arsenin 正则化法针对超分辨率处理的病态问题,Hong 等人29 提出 Tikhonov-Arsenin 正则化方法,采用正则化方法对空域可行解进行平滑约束,所用的正则化约束方程就是在概率论方法中提到的Gaussian Markov 随机场先验约束,这种先验约束往往是一种过光滑约束。这种方法能处理复杂的图像退化模型及图像模糊、图像运动等盲估计问题,是超分辨率图像恢复中最有研究前景的方法,不过存在计算量大的缺点。2.4 小波方法基于小波变换的超分辨率重建方法
17、将高频成分采用逐渐精细的时域或空域步长取样,从而可以聚焦到图像的任何细节。Ford 等人30首先考虑了在多分辨率设置中使用小波基来重建非均匀采样的一维信号。Nguyen 等人31将这一工作扩展到二维。但这一领域需要更多地关注数值计算问题和从原始的多帧数据中对模糊参数进行估算的问题,它对于超分辨率的研究和应用来说仍然是一个非常活跃的领域。2.5 基于边缘和感兴趣区域的方法由于在遥感等图像序列形成中光照条件的变化会对频率和空域方法的效果产生影响,所以基于图像边缘的超分辨率图像恢复考虑了图像序列中光照条件的变化,用图像序列中某幅图像作为参考图像,从其他图像中提取边缘细节并对所提取细节去模糊,再融合到
18、参考图像中,从而既增加了高分辨率恢复图像中的细节,避免了像素融合中光照变化的影响,同时也减少了图像恢复的计算量。这种方法的不足之处是在低分辨率图像序列中,边缘提取和分割的结果的准确性会影响图像处理效果。2.6 基于学习和模式识别的方法对作为训练数据的低分辨率图像和高分辨率图像进行学习和识别,得到二者间的对应模式,随后可进行各种不同的处理:(1)将模式作为先验;(2)根据模式建立 Markov 网络,以便从图像序列中估计场景的速度、表面形状和高频细节等;(3)将样本投影到学习得到的模式(称作核)上,通过二者间的卷积得到高分辨率图像32 的方法称为基于学习和模式识别的超分辨率图像恢复。基于学习和模
19、式识别的超分辨率图像恢复方法,不仅可融入机器学习与模式识别的现有算法,还能通过选择学习模式有针对性地对目标类别进行恢复,使计算量减少,也使恢复结果更适合需要。该类方法的不足在于需要大量学习样本,这在帧数有限的低分辨率序列中难于满足。2.7 其他方法除以上方法以外,人们还提出了基于 Delaunay 三角网格的超分辨率图像处理方法 33-34、基于 Kohonen 神经网络的超分辨率图像处理35、无运动的超分辨率重建方法等,这些方法各有其优缺点,适合于特定的应用场合,但由于采用的模型和相应的算法都比较复杂,不适合应用于超分辨率成像之中,因此本文未作进一步的讨论。3 频域和空域图像处理方法对比随着
20、研究的深入,产生了越来越多的超分辨处理方法,不同方法的区别在于:采用何种方法获取 LR,假定何种图像配准和运动估计模型 ,采用何种算法重建。频域和空域这两类超分辨率图像处理方法目前应用最为广泛,两者的对比如表 1 所示。频域方法理论简单,运算复杂度低,容易实现并行处理,具有直观的去变形超分辨率机制,但是频域法不能有效地应用于多数场合,只能局限于全局平移运动和线性空间不变退化模型,所以无法成为研究的主流。空域方法所采用的观测模型涉及全局和局部运动、空间可变模糊点扩散函数、非理想亚采样等,而且具有很强的包含空域先验约束的能力。但是算法相对复杂,计算量大,可以获得更优的图像质量,随着计算机技术的发展
21、,可以预见空域方法将获得更大的发展。在各种空域方法中, Bayes 估计(MAP)方法和 POCS 方法是最有前途的两种。此外,彩色图像和压缩域视频的 SR复原方法也引起人们越来越多的关注。在实际应用中,基于人脸识别和压缩的超分辨率处理技术在最近几年内成为较新的研究课题。4 研究难点与展望在超分辨率图像处理方法的研究中,运动估计、退化模型、重建算法等三方面是难点所在。超分辨率重建成功的关键是鲁棒的、具有子像素精度的运动估算技术。运动估算的可信度检验,对于非参数运动模型采用约束运动估算方法;全局和局部运动模型与迭代运动估算; 识别和分割相结合是当前运动估算的主要研究方向。准确的退化模型(模糊与噪
22、声模型) 非常有利于改进超分辨率重建算法,目前退化模型主要有以下几个研究方向:考虑有损压缩过程中的退化因素的退化模型研究;考虑磁性存储介质在记录与回读过程中的退化效应; 考虑传感器几何形状、空间时间积分特性、噪声和读出效应等因素的更接近于实际系统特性的退化模型研究。重建算法是超分辨率图像处理的关键所在,目前的研究集中在以下几个方向:同时进行运动估算与复原过程;同时进行多帧超分辨率重建 ;更优的超分辨率重建算法。此外 ,考虑配准误差的超分辨率图像处理、盲超分辨率图像重建、彩色超分辨率算法,都是目前的研究热点和前沿问题。参考文献:1 Tsai R Y,Huang T S. Multiframe I
23、mage Restorationand Registration. Advances in Computer Vision andImage ProcessingM. JAI Press Inc,1984: 317-339.2 Castleman K R.数字图像处理 M.朱志刚译.北京 :电子工业出版社,1998.3 Baker S,Kanade T. Super-resolution: reconstructionor recognition C/Proc. of the 2001 IEEE-EURASIP.SIP Workshop on Nonlinear Signal and Imag
24、eProcessing, 2001.4 Harris J L. Diffraction and resolving power J. J.Opt. Society of America A, 1964,54(7): 931-936.5 Goodman J W. Introduction to Fourier optics M.New York: McGraw-Hill, 1968.6 Electrical Engineering Department Baskin School ofEngineering, University of California. Super-resolution
25、software pocketDB/OL http:/lwww.cse.ucsc.edu/-milanfar/SR-Software.htm.7 Ng M K,Chan R, Chan T, et al. Cosine transformpreconditioners for high resolution imagereconstructionJ. Linear Algebra Appl., 2000, 316(1/3): 89-104.8 Elad M, Feuer A. Super-resolution restoration ofcontinuous image sequences u
26、sing the LMS algorithmC/The 18-th IEEE Conference in Israel, 1995.9 Rajagopalan A N,Chaudhuri S. Recursive computationof maximum likelihood function for blur identificationfrom multiple observationsJ. IEEE Trans. ImageProcessing, 1998,7:1075-1079.10 Kim H W, Jang J H, Hong K S. Edge-enhancingsuper-r
27、esolution using anisotropic diffusion C/Proc. IEEE Intl. Conf. Image Process, 2001:130-133.11 戴光智,陈铁群,薛家祥,等. MAG 焊熔池图像的超分辨率分析J. 焊接学报,2008,29(4):53-56.12 Wang Y, Mitra S K. Motion/pattern adaptiveinterpolation of interlaced video sequencesC/Proc.of IEEE International Conference on AcousticsSpeech,Sig
28、nal Processing, 1991,4:2829-2832.13 Ayazifar B. PEL-adaptive model-based interpolationof spatially subsampled images C/1992 IEEEInternational Conference on Acoustics, Speech andSignal Processing, 1992, 3:181-184.14 Schultz R R,Stevenson R L.A Bayesian approach toimage expansion for improved definiti
29、on J. IEEETrans. on Image Processing, 1994,3:233-242.15 Thurnhofer S, Mitra S K. Edge-enhanced imagezoomingJ:Optical Engineering, 1996,35(7):1862-1870.16 Tsai R Y,Huang T S. Multiframe Image Restorationand Registration. Advances in Computer Vision andImage ProcessingM. JAI Press,1984: 317-339.17 Tek
30、alp A M, Ozkan M K, Sezan M I. High-resolution image reconstruction from lower-resolutionimage sequences and space-varying; image restoration C /1992 IEEE International Conference onAcoustics, Speech, and Signal Processing, 1992,3:169-172.18 Kim S P, Su W, Recursive high-resolutionreconstruction of
31、blurred multiframe imagesJ.IEEETrans. on Image Processing,1993, 2(4): 534-539.19 Bole N K, Kim H C. Recursive implementation oftotal least squares algorithm for image reconstructionfrom noisy, undersampled multiframesC/Proc. ofthe IEEE Conference on Acoustics, Speech and SignalProcessing, 1993, 5(4)
32、:269-272.20 Keren D, Peleg S, Brada R. Image sequenceenhancement using sub-pixel displacements C/Computer Society Conference on Computer Vision andPattern Recognition, 1988: 742-746.21 Aizawa K,Komatsu T, Saito T. Acquisition of veryhigh resolution images using stereo cameras J.Proc. SPIE, 1991, 160
33、5: 318-328.22 Frieden B R, Aumann H G, Image reconstructionfrom multiple 1-D scans using filtered localizedprojectionJ. Appl. Opt., 1987, 26 (17): 3615-3621.23 Hardie R C, Barnard K J, Armstrong E E. JointMAP registration and high-resolution imageestimation using a sequence of undersampled imagesJ.
34、IEEE Trans. on Image Processing, 1997, 6:1621-1633.24 Capel D,Zisserman A.Super-resolution enhancementof text image sequences C/Proc. InternationalConference on Pattern Recognition, 2000,1:600-605.25 Elad M, Feuer A, Restoration of a singlesuperresolution image from several blurred, noisy,and unders
35、ampled measured imagesJ.IEEE Trans.on Image Processing, 1997, 6(12): 1646-1658.26 Elad M,Feuer A. Superresolution restoration of animage sequence:adaptive filtering approachJ.IEEETrans. on Image Processing,1999,8:387-395.27 Elad M, Feuer A. Super-resolution restoration ofcontinuous image sequence us
36、ing the LMS algorithmC /Proc. 18th IEEE Conf. of Electric andElectronics Engineers in Israel,1995,5:1-5.28 Alam M S,Bognar J G, Hardie R C, et al.Infraredimage registration and high-resolution reconstructionusing multiple translationally shifted aliased videoframesJ. IEEE Trans. on Instrum.Meas.,200
37、0,49:915-923.29 Hong M C, Kang M Cz, Katsaggelos A K, Aniterative weighted regularized algorithm for improvingthe resolution of video sequencesC/Proc. of theIEEE International Conference on Image Processing,1997,B(10):474-477.30 Ford C,Etter D M. Wavelet basis reconstruction ofnonuniformlv sampled d
38、ata J. IEEE Trans. onCircuits,System II:Analog,Digital Signal Processing,1998,45(8):1165-1168.31 Nguyen N,Milanfar P. Wave1et-based interpolation-restoration method for superresolution ( waveletsuperresolution)J.Circuits Systems Signal Process,2000,19(4):321-338.32 Candocia F M, Principe J C. Super-
39、resolution ofimages based on local correlationsJ. IEEE Trans.on Neural Networks, 1999, 10(2): 372-380.33 Lertrattanapanich S, Bose N K, High resolutionimage formation from low resolution frames usingdelaunay triangulationJ. IEEE Trans. on ImageProcessing, 2002, 11(12): 1427-1441.34 Lertrattanapanich S, Bose N K. HR image frommulti-frames by delaunay triangulation: a synopsis C /Proc. International Conference on ImageProcessing, 2002,2: 869-872.35 陶洪久,徐洪波.基于 Kohonen 神经网络的图像超分辨率处理算法J.武汉理工大学学报(交通科学与工程版),2002,26(4):50-53.作者简介:姚 屏(1978-),女,讲师,博士生,主要研究领域为智能化制造与检测技术 ,已发表论文 20 余篇本文转自中国测控网: http:/
