1、基于定向双边全变差正则化的文档图像超分辨率算法研究 刘小园 衣扬 杨磊 汪斌 罗定职业技术学院电子信息系 中山大学数学科学与计算机学院 华南农业大学数学与信息学院 北京交通大学计算机与信息技术学院 摘 要： 针对文档图像超分辨率重建问题, 在传统双边全变差 (Bilateral Total Variation, BTV) 正则化超分辨率算法的基础上, 提出了一种基于改进 BTV 的文档图像超分辨率算法。该算法引入一个新的正则项, 即笔画宽度的方向, 并根据字符笔画的局部宽度和局部方向自适应地进行平滑处理;然后通过分析输入的低分辨率图像及其插值, 使输出图像的局部笔画宽度接近于局部的笔画方向。这
2、种信息被压缩到基于笔画宽度的方向全变分正则项中。通过最小化正则项和数据保真项的线性组合, 重建了高分辨率的图像。与相关的文档图像超分辨率方法相比, 所提方法在视觉图像质量和字符识别精度方面得到了显著的改善。关键词： 文本图像; 超分辨率; 图像增强; 双边全变差; 正则项; 作者简介：刘小园 (1978-) , 男, 硕士, 副教授, 主要研究方向为计算机软件与无线网络技术、图像算法;作者简介：衣扬 (1967-) , 女, 博士, 副教授, 主要研究方向为计算机软件及理论、算法;作者简介：杨磊 (1978-) , 男, 博士, 讲师, 主要研究方向为智能计算、机器学习、图像算法;作者简介：汪
3、斌 (1976-) , 男, 博士, 讲师, 主要研究方向为软件工程、图像分析。收稿日期：2016-10-28基金：国家自然科学基金面上项目 (61672546) Research of Document Image Super Resolution Algorithm Based on Directional Bilateral Total Variation RegularizationLIU Xiao-yuan YI Yang YANG Lei WANG Bin Department of Electronic Information, Luoding Polytechnic; Scho
4、ol of Data and Computer Science, Sun Yat-sen University; College of Mathematics and Informatics, South China Agricultural University; School of Computer and Information Technology, Beijing Jiaotong University; Abstract： For super resolution image reconstruction problem in the traditional document, b
5、ased on bilateral total variation regularization super-resolution algorithm, a document image super resolution algorithm based on improved BTV was proposed.By introducing a new regularization term, which is the direction of the stroke width, the algorithm is adaptive to the local width and the local
6、 direction of the character strokes.Then, the proposed algorithm can make the local stroke width of the output image close to the local stroke direction by analyzing the low resolution image and its interpolation.This information is compressed into the directional total variation regularization term
7、 based on the width of stroke.By linear combination of minimization regularization and data fidelity term, the high-resolution images are reconstructed.Compared with the related document image super resolution method, the proposed method has been improved in the visual image quality and character re
8、cognition accuracy.Keyword： Document image; Super resolution; Image enhancement; Bilateral total variation; Regular terms; Received： 2016-10-281 前言大多数低分辨率 (LR) 的文档图像存在文字模糊现象, 即除了黑色和白色像素之外, 图像中还存在大量的灰色像素, 这些像素具有中间灰度值, 不能明确地分配给背景或文本区域1, 因此容易产生大量错误或缺失的字符。这些低质量的文档图像在打印或显示时不仅字迹模糊, 而且也会导致光学字符识别 (OCR) 系统出现
9、严重的问题2-3。超分辨率 (SR) 方法作为图像重建方法之一, 能够从一个或一组低分辨率的图像中产生一种高分辨率 (HR) 的图像。现如今, 已有很多方法可用于实现通用图像的超分辨率4。一种成功的文档图像超分辨率算法应该应用这些特征作为先验知识, 从输入的低分辨率图像中生成高分辨率的图像5。超分辨率方法使用正则项来实现高分辨率图像的先验知识。例如, 平滑的背景和前景区域是文档图像的先验知识。在贝叶斯图像超分辨率方法中, 应用正则项与数据保真项共同生成高分辨率的图像6-8。Rudin 等人9提出的全变差 (Total Variation, TV) 先验算法和 Farsiu 等人10提出的双边全
10、变差 (BTV) 正则化先验算法将各个方向的图像一律平滑处理, 同时保留一定的边缘信息。但是, 由于此类算法均采用相同的平滑系数来处理相同位置上的邻近像素点, 因此算法保持边缘的能力较弱。在保持边缘方面也有许多学者进行了研究11-13, 并取得了很好的效果, 如 SSS 等人对 BTV 进行了改进, 使用了新的正则化方法来提高识别率。鉴于文档图像的特点, 通过引入一个新的正则项, 提出一种基于改进 BTV 的文档图像超分辨率方法。首先, 通过分析输入的低分辨率图像及其中间插值, 在高分辨率图像所在的前景区域内获得局部笔画宽度的近似值;然后, 构建了基于笔画宽度的方向全变分正则项, 提出的正则项
11、根据字符笔画的局部宽度和局部方向自适应地进行平滑处理。正则项和数据保真项的线性组合, 在最大后验概率 (MAP) 框架中迭代最小化。采用这种方法将前景和背景区域进行平滑处理, 以确保输出图像中的局部笔画宽度 (LSW) 达到近似值, 并且重建了满足所需特征的高分辨率图像。提出的定向全变分正则超分辨率算法适用于单个或者多个文档图像。2 算法原理采用贝叶斯超分辨率方法, 在单幅图像的超分辨率中, 最大后验估算的方程9如下:假设有一个低分辨率图像 Y, 我们的目标是通过迭代处理最小化上述线性组合, 重建高分辨率图像 X。根据高分辨率图像的大小对 Y 进行差值变换, 以获取 X0的中间图像。X 0被视
12、为迭代最小化的起点, 而且按照梯度下降法进行连续迭代更新 (XX 0, X1, , XnXn+1, , X) , 直到达到所需的 X 为止14。D 和 H 模拟影像退化的过程。D 表示向下取样的运算符, H 表示模糊的运算符, 它是一个高斯低通滤波器4。式 (1) 中的第一项是数据保真项。在每次迭代中, 更新的图像 X 完成退化, 并计算其与初始低分辨率图像 Y 之间的差异, 将这种差异最小化便可以确保输出的高分辨率图像与初始的低分辨率图像之间的保真度7。式 (1) 中的第二项是正则项, 也称为先验, 该项被视为我们想要包含在输出图像 X 中所需特征的先验知识。 (X) 表示将函数 (X) 应
13、用于图像 X 中时每个像素 x 所产生的结果。在某些方法中, (X) 对于所有像素而言都是相同的;但在另一些方法中, 会针对每一个像素做出自适应的修改。为了输出高分辨率的图像, 应该最小化 (X) 。优化参数 决定了正则项对数据保真项的实施力度。3 提出的算法本节通过引入一个新的正则项基于笔画宽度的定向全变分, 提出了一种贝叶斯文档图像的超分辨率方法。该算法是传统的双边全变差平滑正则项的修改版。无论图像拥有何种特性, 双边全变差将各个方向的图像一律平滑处理。根据文档图像中字符笔画的局部宽度和局部方向, 基于笔画宽度的定向全变分自适应地进行平滑处理。根据提出的算法, 首先从低分辨率和差值图像中提
14、取一些信息, 利用这些信息重建了基于笔画宽度的定向全变分的正则项;然后在最大后验的框架中, 将基于笔画宽度的定向全变分和数据保真项一起最小化, 从而生成高分辨率的图像。下文对所提超分辨率算法做出详细的解释。3.1 从低分辨率图像中提取信息在低分辨率的图像 Y 中, 局部的笔画宽度最先近似, 并且放置在矩阵 LSWy (Y) 中。然后, 运用该矩阵获得了局部笔画宽度在高分辨率的图像 LSWx (X) 中的近似值。应用原始的灰色低分辨率图像来获得笔画宽度的近似值, 该值可能不是整数。为了计算低分辨率灰色图像 Y 的笔画宽度, 运用中心差分的方法计算 Y 的梯度, 并将梯度的方向映射到 4 个方向
15、(即 0, /4, /2, 3/4) 中的一个。然后, 集中讨论在 yr, c中的像素。在 r 行和 c 列, 只要灰色水平增加了, 就在其梯度方向 yr, c双边扫描图像。之后在扫描期间使用观察的像素灰色水平, 包含 yr, c的笔画局部宽度的近似值如下:其中, y i, j是一个在梯度方向扫描第 i 行和 j 列时观察到的像素, 1是背景灰度值。在参考文献13中可以发现, 为了正确运用笔画宽度测量的方法, 要求笔画宽度在不同的分辨率中必须表现出线性特点。因此, 将 q 作为升级因子, 在低分辨率图像 yr, c中, 每个像素在笔画中的宽度为 LSWy (yr, c) ;一个在高分辨率图像中
16、面积为 qq 的邻域在笔画中的宽度对应为:通过上式, 可以在低分辨率图像和中间差值图像中计算笔画宽度。3.2 从中间图像中提取信息根据所提算法, 在高分辨率的图像中获得局部笔画宽度近似值后, 从中间图像X 中提取一些其他信息用于构建基于笔画宽度的定向全变分。矩阵 LSDx (X) 的每个元素都是一个矢量。LSD x (xr, c) 表示字符在像素 xr, c的笔画方向, 与其梯度方向形成正交。如果梯度幅值在 xr, c分别为非 0 或 0, 那么|LSD x (xr, c) |为 1 或 0。中央差分法用于计算梯度, 梯度的各个方向都被映射到 4 个方向 (0, /4, /2, 3/4) 。D
17、ST x (X) 表示每个前景像素与目标像素之间的距离差。3.3 基于笔画宽度的定向全变分正则项在前两个小节中, 对构建矩阵 LSWx (X) , LSDx (X) 和 DSTx (X) 进行了描述。本节利用这 3 个矩阵的信息, 对构建基于笔画宽度的定向全变分正则项进行描述。将基于笔画宽度的定向全变分的方程以矩阵的形式表示, 一个像素的方程如下:接下来, 对基于笔画宽度的定向全变分的不同参数进行解释, 并说明基于字符笔画的局部宽度和局部方向, 以及如何确定平滑元素 xr, c-xr-l, c-m的权重。1) 基于局部笔画方向进行平滑处理。在式 (5) 中, r 和 c 是 X 的行和列指数,
18、 分别向下和向右增加。S r和 Sc作为位移操作符, 分别在垂直和水平方向上通过l 和 m 像素转换 X。在平滑处理中, p 决定了邻域的规模, 每个像素邻域的面积为 (2p+1) (2p+1) 。矩阵 表示 X 的离散定向导数, 是其在方向 l, m上的梯度, 它的元素量级为|x r, cxr-2, c+2|, 角度为 l, m。例如, 的每个元素都有量级|x r, c-xr-2, c+2|, 角度为 /4。在字符笔画的方向LSD x (xr, c) 中, 在平滑处理期间的平滑元素 xr, c-xr-l, c-m的权重更大, 反之亦然。因此, 在笔画的方向中对图像进行了平滑处理。因此, 可以
19、通过 cos ( l, m-LSD x (xr, c) ) 加权 xr, cxr-l, c-m, 对图像进行特征加强处理。2) 基于局部笔画宽度进行平滑处理。基于包含像素 xr, c的局部笔画宽度近似值, 更加自适应地修改平滑元素 xr, cxr-l, c-m的权重。与局部笔画宽度相比, 对于每个像素 xr, c而言, 其与笔画深泓线之间的距离是局部笔画宽度的一半。其次, 若 DSTx (xr, c) LSW x (xr, c) /2, 则 xr, c位于笔画宽度内部, 否则位于笔画宽度外部。根据式 (4) , 如果 xr, c及其邻居 xr-l, c-m在同一个区域内, 即都在笔画宽度区域内
20、或者都在背景区域内, 那么将权重 1用于平滑元素 xr, c-xr-l, c-m;如果它们位于不同的区域内, 则使用权重 2。为了在输出的高分辨率图像中实现局部笔画宽度的近似值, 每个像素都应该向其相邻的像素平滑, 相邻的像素在同一区域内的权重更大。因此, 1的选择应该大于 2, 比如我们选择 2= 1/10。表 1 对 1 (小于并且接近 1) 和 2的选择进行了讨论。通过权重 1或者 2进行平滑, 对图像进行特征加强处理。当 xr-l, c-m与 xr, c的距离较远时, 假设参数 的大小已经确定, 则可以通过式 (4) 和式 (5) 中的 max (|m|, |l|) 降低 xr, c-
21、xr-l, c-m的权重。表 1 不同参数对 3 个正则项的超分辨率峰值信噪比 (PSNR) 的影响 下载原表 4 算法步骤所提文档图像超分辨率算法的步骤如下。输入:低分辨率的输入图像 、升频因子 q、正则化参数 、相邻尺寸参数 p、减量参数 输出:高分辨率图像 X1) 初始化:通过因子 q 升频 , 利用双三次插值获得中间图像 X。2) 从 提取信息:运用式 (2) , 在 和 LSWy () 中计算局部笔画宽度;运用 LSWy () 和式 (3) , 在 X 和 LSWx (X) 中计算局部笔画宽度。3) 从 X 中提取信息:在 X 和 LSDx (X) 中计算局部笔画方向;在 X 和 L
22、STx (X) 中计算前景像素及其对应的笔画最深谷底线之间的距离。4) 构建基于笔画宽度的方向全变分 (SWDTV) 的正则项:利用步骤 2) 和步骤 3) 提取到的信息, 结合 LSWx (X) , LSDx (X) 和 LSTx (X) 来构建 SWDTV (X) 和式 (4) 。5) 重建高分辨率图像:从 X 开始, 利用梯度下降算法对式 (1) 进行迭代计算, 从而重建高分辨率图像 X。5 实验与结果分析为了验证提出的改进 BTV 正则化超分辨率算法对噪声的抑制能力, 将本文算法与另外两种 BTV 重建算法13-14作对比。实验平台为:Windows 7 操作系统, Pentium D
23、ual-Core E5200 处理器, 2GB 内存;仿真环境为 Matlab7.8。参数 p=2, 1=0.8, 2= 1/2=0.4, =10。为了对重建结果进行定量评价, 采用峰值信噪比 (PSNR) 的评价标准衡量算法的去噪性能。PSNR 的计算公式如下10:其中, N 1和 N2分别为 LR 图像像素的行数和列数, L 表示图像量化的灰度级别, X (i, j) 和 分别表示输入图像中的像素点和输出重建图像的像素点。5.1 主观指标实验文本图像的原始大小为 256256 的两幅文字图像, 对原图像添加高斯噪声的方差分别为 20 和 30。分别使用 3 种超分辨率方法重建, 结果如图
24、1 和图 2所示。图 1 方差为 20 的高斯噪声文本图像 1 的超分辨率结果 下载原图图 2 方差为 30 的高斯噪声文本图像 2 的超分辨率结果 下载原图5.2 客观指标通过图 1 和图 2 所示的主观结果可以看出, 本文提出的超分辨率方法在文字的边缘增强和背景的去噪方面表现出了优于另外两种方法的性能。通过式 (6) 计算实验所用的两幅文本图像的 PSNR 值, 结果如表 2 所列。客观指标同样证明了提出的超分辨率算法具有更好的去噪效果。表 2 3 种方法去噪后图像的 PSNR 值/dB 下载原表 在迭代过程中, 本文算法的时间复杂度相对较高。运算时间上, 经典 BTV 算法的时间为 20
25、s, 文献13的方法需要 7.35s, 本文所提算法对 256256 图像的处理时间为 26s。为了验证光学识别性能, 利用汉王软件 OCR 6.0 进行文字识别。采样上述实验用的两幅 256256 的文本图像, 并添加加性高斯噪声 (噪声方差分别为 20 和 30) 作为原图像, 结果如表 3 所列。表 3 处理前后的文字识别率/% 下载原表 实验结果表明, 本文提出的改进的 BTV 正则化超分辨率重建算法能够很好地保持图像的边缘纹理细节, 得到的重建结果更好, 在文字的边缘增强和背景的去除噪方面表现出了较好的性能。结束语本文通过引入一个新的平滑正则项, 提出了一种基于定向全变分的文档图像超
26、分辨率算法。提出的正则项与数据保真项的线性组合在最大后验框架中迭代最小化, 以重建高分辨率的文档图像。提出的正则项是双边全变差的改进版本。根据文档图像的特点, 基于笔画宽度的定向全变分自适应地进行平滑处理。将提出的算法与其他文档图像的超分辨率方法进行了比较, 结果发现所提方法的去噪能力更强, 字符识别的准确度更高。参考文献1REN F Q, QIU T S, HAN J, et al.Multi frame image super resolution reconstruction based on two order generalized total variationJ.Journal
27、of Electronic Science, 2015, 43 (7) :1275-1280. (in Chinese) 任福全, 邱天爽, 韩军, 等.基于二阶广义全变差的多帧图像超分辨率重建J.电子学报, 2015, 43 (7) :1275-1280. 2HE J X, REN H P, ZENG Q Y, et al.Super resolution reconstruction of weather radar echo based on improved total variationJ.Computer Simulation, 2014, 31 (7) :415-418. (in
28、 Chinese) 何建新, 任红萍, 曾强宇, 等.基于改进全变差的天气雷达回波超分辨率重建J.计算机仿真, 2014, 31 (7) :415-418. 3ZHANG L, LIU Z M, TANG J.The realization of handwritten numeral recognition method based on BP neural networkJ.Automation and Instrumentation, 2015 (6) :169-170. (in Chinese) 张黎, 刘争鸣, 唐军.基于 BP 神经网络的手写数字识别方法的实现J.自动化与仪器仪表,
29、 2015 (6) :169-170. 4LI C F, YANG X, ZHANG X M, et al.Research on ultrasonic image denoising algorithm based onJ.MAP Journal of Electronic Science, 2014 (7) :1291-1298. (in Chinese) 李春芳, 杨鑫, 张旭明, 等.基于 MAP 的超声图像分解去噪算法研究J.电子学报, 2014 (7) :1291-1298. 5YANG S F, ZHAO R Z.Research and development of image
30、 super resolution reconstruction based on low rank matrix and dictionary learningJ.Computer Research and Development, 2016, 53 (4) :884-891. (in Chinese) 杨帅锋, 赵瑞珍.基于低秩矩阵和字典学习的图像超分辨率重建J.计算机研究与发展, 2016, 53 (4) :884-891. 6ABEDI A, KABIR E.Stroke width-based directional total variation regularisation fo
31、r document image super resolutionJ.Iet Image Processing, 2015, 10 (2) :158-166. 7AYUBI S D, BAJWA U I, ANWAR M W.Super-Resolution Based Enhancement of Cardiac MR ImagesJ.Current Medical Imaging Reviews, 2015, 11 (999) :1. 8SHI F, CHENG J, WANG L, et al.LRTV:MR Image SuperResolution With Low-Rank and
32、 Total Variation RegularizationsJ.IEEE Transactions on Medical Imaging, 2015, 34 (12) :2459-2466. 9RUDIN L, OSHER S, FATEMI E.Nonlinear total variation based noise removel algorithmsJ.Physical D Nonlinear Phenomena, 1992, 60 (1-4) :259-268. 10FARSIU S, ROBINSON D.Fast and Robust Multiframe SuperReso
33、lutionJ.IEEE Transactions on Image Processing, 2004, 13 (10) :1327-1344. 11JIANG J, MA X, CAI Z, et al.Sparse Support Regression for Image Super-ResolutionJ.IEEE Photonics Journal, 2015, 7 (5) :1-11. 13XIE J, FERIS R S, YU S S, et al.Joint Super Resolution and Denoising from a Single Depth ImageJ.IE
34、EE Transactions on Multimedia, 2015, 17 (9) :1525-1537. 14SURYANARAYANA G, DHULI R.Simultaneous edge preserving and noise mitigating image super-resolution algorithmJ.AEU-International Journal of Electronics and Communications, 2016, 70 (4) :409-415. 15XIANG H Y.Review of Super-resolution Image Restoration MethodJ.Journal of Chongqing University of Technology (Natural Science) , 2014, 28 (9) :72-76. (in Chinese) 向海燕.超分辨率图像恢复方法综述J.重庆理工大学学报 (自然科学版) , 2014, 28 (9) :72-76.
