1、中医舌图像的质量评价研究 张翔 胡广芹 张新峰 北京工业大学电子信息与控制工程学院信号与信息处理研究室 摘 要： 文章根据图像及模式识别的有关知识提出一种自动评价舌图像质量的方法, 能够有效地评价出采集的舌图像是否满足中医舌诊的临床要求。根据中医舌诊的临床要求, 文章对采集的舌图像提取基于 Contourlet 变换的统计特征、基于灰度共生矩阵的旋转不变纹理特征、颜色和几何特征, 然后用这些特征训练一个基于支持向量机的分类器来对舌图像进行评价筛选出合格与不合格的舌图像。文章中的方法对于舌图像样本的分类准确率达到 93.5%, 对于不同类型的舌图像均具有较好的分类效果, 优于文献基于支持向量机的
2、中医舌图像质量评价研究的方法, 为舌诊客观化的研究奠定了坚实的基础。关键词： 中医舌诊; 舌图像; 质量评价; 特征提取; 舌象分析仪; 作者简介：张翔, Email:收稿日期：2017-07-20基金：国家自然科学基金资助项目 (61201360) Quality Evaluation of Tongue Image in Traditional Chinese MedicineZHANG Xiang HU Guang-qin ZHANG Xin-feng Signal and Information Processing Research Room, College of Electron
3、ic Information and Control Engineering, Beijing University of Technology; Abstract： Based on the knowledge of image and pattern recognition, a new algorithm is proposed for the automatic evaluation of tongue image quality. It can effectively evaluate whether the collected tongue image meets the clin
4、ical demand or not in TCM tongue diagnosis. According to the clinical requirement of TCM tongue diagnosis, the tongue image was extracted in reference to Contourlet transform statistical characteristics, the rotation invariant texture features based on gray level co-occurrence matrix, color features
5、 and geometric features. All of these features were adopted to train a classifier based on support vector machine ( SVM) so as to evaluate the quality of tongue image. The method achieved 93. 5% of accuracy for the classification of tongue image sample. It results in the good effects of the classifi
6、cation of tongue image of different types. This method is superior to that recorded in Study of quality evaluation of TCM tongue image based on SVM and lays the solid foundation for the objective study of tongue diagnosis.Keyword： TCM Tongue Diagnosis; Tongue Image; Quality Evaluation; Feature Extra
7、ction; Tongue Image Analyzer; Received： 2017-07-20舌诊在中医诊断学中占有重要的位置, 是中华民族智慧的结晶。传统舌诊方法对医生的医学知识水平有较高的要求, 诊断过程易受主观因素的影响, 使诊断结果因人而异1。同时中医舌诊缺乏客观的评判标准, 因而不利于中医舌诊的传承和推广。随着计算机科学技术的发展, 借助于图像处理与模式识别的有关知识对舌诊进行量化研究, 使其更加科学化、客观化、标准化。舌象仪的研发是舌诊客观化的一个最新成果2, 而获取满足中医临床要求的舌图像是舌象仪得出准确分析结果的前提。从目前的文献资料来看, 王亚真等3首次对舌图像质量评价
8、进行了研究, 文献主要从颜色、纹理、几何等特征进行分析研究, 提出了一种评价方法。但是这种方法还存在一些问题, 文献中没有考虑到不同人舌体大小的差异性, 将舌体面积小的归为未完全伸出的不合格类型。没有对唾液较多而影响诊断的舌体进行研究, 而且文中选取的纹理特征对舌图像分类效果不佳。针对以上问题本文提出一种改进的方法对舌图像质量进行评价研究, 取得了良好的效果。1 图像预处理舌象仪采集的舌图像含有许多噪声, 对于后续图像处理造成很大干扰, 所以本文首先对采集的图像进行去噪处理。中值滤波是一种非线性平滑技术, 在去除噪声的同时能够有效地保护图像的边缘信息, 所以我们采用中值滤波对图像进行预处理。然
9、后采用文献4中的舌体分割算法对舌体进行分割。文献4首先得到舌体的初步轮廓, 然后通过计算出增强的舌体区域的梯度矢量流力场, 最后根据该 GVF 力场的分布规律, 自动寻找并获取到非常贴近初始轮廓的 Snake轮廓线见图 1, 从而分割出需要进行评价的舌体见图 1。图 1 舌体分割算法对舌体进行分割 下载原图2 特征提取在中医舌诊过程中, 要求患者伸舌时要自然, 舌体放松, 舌面平展, 舌尖略微向下, 口尽量张开 (但不要过分用力) , 使舌体充分暴露5。舌体过分用力或者紧张、蜷缩都会影响舌的气血运行而引起舌色改变或舌干湿程度的改变, 对诊断结果造成影响。如图 2 中第 1 幅图为标准舌;第 2
10、 幅图为没有充分暴露;第3 幅图为舌体没有自然放松;第 4 幅图舌图像失真严重, 第 2、3、4 幅图中的舌图像均会对舌诊的结果造成不良影响。根据以上中医望舌的标准, 本文提取基于 Contourlet 变换的统计特征、基于灰度共生矩阵的旋转不变纹理特征、颜色和几何特征, 然后用这些特征来训练得到一个 SVM 分类器对舌图像进行质量评价。图 2 不同舌像形态图 下载原图2.1 基于 Contourlet 变换的统计特征采集的舌图像会有不同程度的失真, 这对舌诊的结果造成不良的影响。图像的失真会造成图像某些统计特征的改变。经研究, 人类视觉系统对于图像中边缘轮廓信息的变化比较敏感, Contou
11、rlet 变换可以将图像进行多尺度、多方向的变换, 用较少的系数描述图像中的轮廓信息6, 因此本文对图像进行Contourlet 变换并提取变换后的统计特征进行研究。先将舌图像分成若干个大小为 128128 的图像块, 然后对每个图像块做 3 尺度每尺度 8 方向的Contourlet 变换, 提取 Contourlet 统计特征。失真的舌图像每个子带内 Contourlet 系数幅度的均值会发生变化, 为了有效地计算不同失真类型舌图像 Contourlet 系数幅度均值的变化, 对于每个方向子带我们分别求取对数域内子带系数绝对值的均值:式中:M, N 分别为子带的行数和列数, Cij 为子带
12、中第 i 行第 j 列的Contourlet 系数值。舌图像在同一子带内的子带系数与其周围系数的相关性也会随着外界的干扰而发生变化7-8。由于像素点相距较远的子带系数相关性较小, 因此我们仅考虑水平方向上相距 0 个像素和相距一个像素的邻域系数。相距 d 个像素的系数相关性可以用关系系数 dhd表示:式中:d=0, 1不同质量舌图像的 Contourlet 子带活跃性不同9, 对于最精细尺度上的某一方向子带, 沿水平方向的差分信号及其均值分别为:式中:x 为最精细尺度上的一个方向子带, (i, j) 为子带系数的索引。我们将差分信号在水平方向上做基于 2 的抽样, 从而得到抽样信号的均值:根据
13、上面两个公式我们可以得到某一方向上的子带活跃性:为了定量地计算舌图像不同尺度之间的关系随舌图像质量变化的情况, 本文计算低通子带和所有尺度上的每个方向子带的 dh1, 对于每个方向, 利用相邻两尺度子带 dh1的比值衡量尺度间关系:式中:i=1, 2, 3;j=1, 2, 3, 4, 5, 6, 7, 8。dh j为第 i 尺度第 j 方向子带的相邻系数的关系系数, i=1 表示低通子带。以上我们分别计算舌图像的子带系数绝对值的均值 lm、子带系数之间的关系dhd、子带的活跃性 ACh、每个方向相邻两尺度子带 dh1的比值 Rd 四类特征来作为评价舌图像质量的统计特征。2.2 基于灰度共生矩阵
14、的旋转不变纹理特征标准的舌图像要求伸舌自然平展, 而在拍摄的过程中由于各种因素造成舌体紧绷而导致舌图像不满足临床要求。由图 2 第 1 幅和第 3 幅可见合格与不合格舌图像在纹理特征上有明显区别。我们通过计算灰度共生矩阵的二阶矩角、惯性熵、惯性矩、反差分矩和惯性相关系数的均值和标准差作为纹理特征10, 其中 q (i, j) 是灰度共生矩阵的元素。二阶矩的公式为:惯性熵的公式为:惯性矩的公式为:反差分矩的公式为:惯性相关系数的公式为:准差, y和 y是 qyqy= iq (i, j) 的均值和标准差。基于灰度共生矩阵的二阶矩角、惯性熵、惯性矩、反差分矩和惯性相关系数均值和标准差可用特征向量 F
15、 表示。我们用这 10 维特征向量来表示舌体的纹理特征。2.3 颜色特征唾液较多的舌图像因为水膜的反光能力强而造成观察到的舌色与苔色偏离舌体本来的正常颜色, 所以可以从颜色特征上来区分此类舌图像。由于 HSV 空间颜色特征更加的符合人类的视觉特性, 所以将采集的图像从 RGB 颜色空间转化到HSV 颜色空间11-12。本文提取 HSV 空间的颜色特征并转化为一维特征向量:同时我们提出了一种将舌图像进行权值分块的方法把图像分成 8 块, 提取分块的主颜色, 结果见图 3。图 3 舌图像分块图 下载原图对于包含舌体信息较少的 5, 6, 7, 8 四个角的图像块我们提取它的 HSV 空间的一维颜色
16、特征向量:M 5=K5;M6=K6;M7=K7;M8=K8;舌图像中心的图像块包含了更多的图像颜色信息, 为了结合外部和内部两部分的颜色主量信息, 我们将14 块的特征向量用 2 个特征值表示:M 1=K1, Kavg (1, 5) ;M2=K2, Kavg (2, 6) ;M3=K3, Kavg (3, 7) ;M4=K4, Kavg (4, 8) ;Kavg (m, n) 表示第 m 和第 n 块颜色特征向量 K 的平均值。这样 M1、M 2、M 3、M 4不仅包含了 1、2、3、4 块的特征信息, 而且还包含整幅图像的特征信息。2.4 几何特征文献3用面积和纵横比来表示标准舌和非标准舌的
17、几何特征, 但是简单的面积和纵横比并不能很好地表示出标准舌的几何特征, 因为不同的人舌体会有大小的差异。通过分析我们可以看出完全自然伸出的舌体接近于椭圆, 所以我们从矩形度和球状度两个方面来提取舌体的几何特征。对于每一个标准自然放松的舌体其形态更接近于一个椭圆, 更加充满其外接矩形, 矩形度也就越大。矩形度定义为:式中 A 是舌体的面积, A MER是舌体外接最小矩形的面积, 细长歪斜舌体的 R 取值较小。当舌体越紧绷或歪斜的时候 R 值越小, 越自然越 R 值越大, R 的值在01 之间。球状度定义为:式中 ri代表舌体区域内切圆的半径, r c代表舌体区域外切圆的半径, 两个圆的圆心都在舌
18、体区域的重心上。对于标准的舌图像其球状度因为较接近于椭圆其球状度较大, 对于因紧绷未完全伸出其球状度较小。3 支持向量机我们用以上提取的特征训练基于支持向量机 (SVM) 的分类器对图像质量进行评价, SVM 在解决小样本、非线性和高维模式识别问题中有许多特有的优势13-14。在解决非线性问题上我们引入核函数, 核函数可以将线性不可分的数据通过某种变换函数映射到高维空间变成线性可分或近似线性可分的问题来解决15,本文使用的核函数是径向基核函数如式 (16) 。式中 g 是核函数的参数。在训练 SVM 分类器之前为了数据的标准化我们将提取的特征值进行归一化到 (0, 1) 之间。4 实验结果与分
19、析本实验从采集的舌图像中随机挑选 324 张经过中医专家标定的合格与 324 张不合格的舌图像, 在实验中各取合格与不合格样本总数的 3/4 作为训练样本, 剩余的 1/4 作为测试样本, 通过提取舌图像的上述特征来训练出一个 SVM 分类器, 本实验中 SVM 分类器的参数是采用粒子群优化算法 (particle swarm optimization, PSO) 对惩罚因子 C 和参数 g 进行优化得到最优的参数。我们将提取的特征做不同的组合来探究各特征对于评价系统的奉献, 重复进行 30 次实验, 每次实验的训练样本和测试样本均按上述比例随机选取, 然后对 30 次实验分类准确率取均值作为
20、最终的分类准确率, 实验结果见表 1。由表 1 我们可以看出随着特征组合类别的增加分类准确率有明显的提升, 其中几何特征与统计特征对于分类的准确有较大的影响, 因为标准舌和非标准舌在这两方面的差别比较明显, 所以对分类的奉献度要大。而纹理与颜色特征对分类准确影响相对较小, 不同失真条件下也会对纹理特征、颜色特征的提取有较大的影响。最后一组组合的分类准确率最大, 因为这种组合考虑的情况最为全面, 在训练 SVM 分类器时提供的信息最多, 训练出的分类器评价准确率最高。表 1 不同特征组合的分类准确率 下载原表 为了对比本文提出方法的有效性, 我们分别针对文献3中评价效果不理想的几种舌图像分别进行
21、研究。我们选取 164 幅舌体面积较小但是合格的舌图和 164幅舌体面积大但是不合格的舌图像组成图像集。选择 164 幅唾液适中的合格舌图像与 164 幅唾液过多不合格的舌图像组成图像集, 用本文算法与文献3中算法分别对这两类舌图像进行评价, 评价效果见表 2。表 2 两种方法的评价准确率 下载原表 由表 2 可知, 在这两类舌的分类准确率上本文方法明显优于文献3, 在几何特征上文献3仅用面积和纵横比来评判合格与不合格舌图像有明显的不足之处, 因为不同人的舌体本来就有大小的差异, 不能将面积较小的归于不合格类型, 纵横比也是同样的问题。在颜色特征方面, 文献3结合了舌色与面色来提取颜色特征训练
22、 SVM 分类器, 但是舌色和面色的较为相似, 区分度不大。提取的颜色特征不能很好地区分两类舌图像。本文将 RGB 颜色空间转换到 HSV 颜色空间, 通过将三种颜色分量进行加权转化为一维颜色特征来表征舌图像的主颜色分量, 通过实验可以看出本文提取的颜色特征对于评价这类舌体具有较好的效果。为了探究两类算法对于随机选取的舌图像的分类效果, 我们每次随机选取 324幅合格与 324 幅不合格的舌体组成一组样本, 这样随机选取 30 次组成 30 组样本来做实验, 取 30 次结果的均值作为最后的值。在相同的条件下我们比较本文算法与文献3对同组舌图像的评价准确率如表 3 所示。表 3 不同算法预测准
23、确率对比结果 下载原表 见表 3 所示本文算法对舌图像具有更高的评价效果, 对不同类型的舌图像的适应能力更好。5 讨论与结论本文针对现有的舌图像质量评价模型的有关缺点提出新的方法, 提取能够更好地区分合格与不合格舌图像的特征来训练 SVM 分类器得到一个新的评价系统, 最后采用得到的 SVM 分类器对采集的舌图像的质量进行评价筛选出符合临床要求的舌图像。由实验结果分析可知, 本文的方法可以较好地对舌图像质量进行评价, 对不同类型的舌图像适应性更强。本文的方法为舌象仪的研发做了一些基础工作, 可以有效提高舌象仪的诊断准确率, 有利于舌诊客观化的发展。参考文献1沈兰荪, 蔡轶珩, 张新峰.中医舌象
24、的采集与分析M.北京:北京工业大学出版社, 2007:21-25. 2黄丹, 王学民.基于图像分析技术的舌象分析仪研究J.医疗卫生装备, 2008, 29 (11) :14-16. 3王亚真, 张新峰, 胡广芹, 等.基于支持向量机的中医舌图像质量评价研究J.北京生物医学工程, 2015, 34 (6) :551-557. 4张新峰, 王明英, 蔡轶珩, 等.基于形状先验水平集的高鲁棒性中医舌图像分割方法J.北京工业大学学报, 2013, 39 (10) :1482-1487. 5朱文峰.中医诊断学M.北京:人民卫生出版社, 2011:50-53. 6Mittal A, Moorthy AK,
25、 Bovik AC.Blind/Referenceless image spatial quality evaluationC.Forty Fifth Asilomar Conference on Signals, Systemsand Computers (Asilomar) , 2012:723-727. 7Mittal A, Moorthy AK, Bovik AC.No-Reference Image Quality Assessment in the Spatial DomainJ.IEEE Transaction on Image Process, 2012, 21 (12) :4
26、695-4708. 8Ruderman DL.The statistics of natural imagesJ.Network computation in neural systems, 1994, 5 (4) :517-548. 9Making a“Completely Blind”Image Quality AnalyzerC.IEEE Signal Processing Letters, 2013, 20 (3) :209-212. 10高程程, 惠晓威.基于灰度共生矩阵的纹理特征提取J.计算机系统应用, 2010, 19 (6) :195-199. 11崔宁海, 刘丽萍, 李长智.空间主颜色描述符的图像特征提取算法J.沈阳理工大学学报, 2011, 30 (4) :19-22. 12彭明德, 彭涛, 李明.数字舌图的舌色苔色特征提取和选择J.中华中医药学刊, 2009, 27 (9) :1876-1878. 13丁世飞, 齐丙娟, 谭红艳.支持向量机理论与算法研究综述J.电子科技大学学报, 2011, 40 (1) :2-10. 14陈俏, 曹根牛, 谢丽娟.支持向量机的研究进展J.现代计算机:下半月版, 2009 (4) :47-50. 15汪廷华, 陈俊婷.核函数的选择研究综述J.计算机工程与设计, 2012, 33 (3) :1181-1186.
