数字图像处理 图像特征提取.ppt

1、图像特征提取,配套课件 数字图像处理 编程框架、理论分析、实例应用和源码实现,数字图像处理,1,图像特征提取,在计算机视觉与图像处理领域，特征的概念被用于表示一定的信息，这些信息是为了解决与特定的应用相关的某种计算任务。 特征提取，就是指图像特征的计算，用以作为对图像中局部信息内容进行决策的中间结果。 与特征提取相关的还有两个概念，分别为维数压缩和特征选择。 所谓维数压缩，就是对于一个算法而言所输入的数据过于巨大而难以进行有效的处理，可以利用数据冗余性（数据量大，但是信息量不大）的特点将所输入数据转换为一种特征的精简表示形式（即特征向量）。 特征选择，通常用在机器学习中，用以选择一个相关特征的

2、子集，并进行更为鲁棒的学习建模。,数字图像处理,2,图像特征提取,图像特征提取，主要可以分为两个层次，一层是底层特征提取，另一层是高层特征提取。 高层特征提取，往往是基于语义层次的高度，如人脸识别、人的行为分析等等，这些都必须根据底层特征的提取结果并通过机器学习才能得到。 底层特征提取，是一切图像分析的基础，已经得到了广泛的研究和相对成熟的成果。,数字图像处理,3,颜色,形状,纹理,图像色彩与灰度,颜色是一种重要的视觉信息属性，在数字图像处理中是一种很有用的特征。 相对于其它特征，颜色特征非常稳定，对于旋转、平移、尺度变化，甚至各种变形都不敏感，表现出相当强的鲁棒性，而且颜色特征计算简单，因此

3、成为现有图像处理系统中应用最广泛的特征。 对于颜色特征，分两个部分进行讲述，包括彩色和灰度信息处理。 对于彩色信息处理，主要讲述几种常见的色彩空间； 而对于灰度信息处理，主要讲述直方图技术。,数字图像处理,4,彩色信息处理,数字图像处理,5,HSV色彩空间,YUV色彩空间,RGB色彩空间,Lab色彩空间,XYZ色彩空间,RGB色彩空间,根据人眼结构，所有颜色都可看作是3个基本颜色红（Red），绿（Green）和蓝（Blue）的不同组合。 在RGB颜色空间的原点上，任一基色均没有亮度，即原点为黑色。 三基色都达到最高亮度时表现为白色。亮度较低的等量的三种基色产生灰色的影调。 所有这些点均落在彩色

4、立方体的对角线上，该对角线被称为灰色线。 彩色立方体中有三个角对应于三基色，红色、绿色和蓝色。 剩下的三个角对应于二次色，黄色、青色（蓝绿色）和品红（紫色）。,数字图像处理,6,RGB色彩空间,数字图像处理,7,RGB色彩空间,数字图像处理,8,原始彩色图像,红色分量图像,绿色分量图像,蓝色分量图像,HSV色彩空间,数字图像处理,9,从RGB到HSV颜色空间的转换,= 1 3 + ，=1 3 min , ，= 2 ，= cos 1 1 2 +() () 2 + () 。,数字图像处理,10,从RGB到HSV颜色空间的转换,= max , ， = min(,) ， 6= 5+ 若= max ,

5、且=min(,) 1 若=max(,)且min(,) 1+ 若= max , 且=min(,) 3 若=max(,)且min(,) 3+ 若= max , 且=min(,) 5 其它 ， = min(,) ， = min(,) ， = min(,) 。,数字图像处理,11,从HSV到RGB颜色空间的转换,当 0 o 120 o 时， = 3 1+ cos() cos( 60 ) ，= 3 1 ，= 3 ；当 120 o 240 o 时， = 3 1+ cos( 120 ) cos( 180 ) ，= 3 1 ，= 3 ；当 240 o 360 o 时， = 3 1+ cos( 240 ) co

6、s( 300 ) ，= 3 1 ，= 3 。,数字图像处理,12,HSV色彩空间,数字图像处理,13,原始彩色图像,色调分量图像,饱和度分量图像,亮度分量图像,YUV色彩空间,YUV是一种真彩色颜色空间的表示，其中Y表示亮度，U和V表示色度和浓度。 YUV经常与YCbCr等术语进行混用，其中YUV主要是用来描述模拟信号，而YCbCr则是用来描述离散的视频信号。 在常用的压缩格式MPEG和JPEG中，YCbCr得到了很好的应用，但是如今，YUV在电脑系统中也得到了广泛的应用。 YUV格式可以分为两种： 紧缩格式： 将Y、U、V值存储为宏像素阵列，和RGB的存储方式类似； 平面格式： 将Y、U、V

7、三个分量分别存储在不同的矩阵中。,数字图像处理,14,YUV色彩空间,从RGB至YUV的转换公式： =0.299+0.587+0.114， =0.436()/(10.114)， =0.615()/ 10.299 。在逆转关系上，从YUV到RGB，有 =+1.13983， =0.394650.58060， =+2.03211。,数字图像处理,15,YUV色彩空间,数字图像处理,16,原始彩色图像,Y（亮度）分量图像,U（色度）分量图像,V（浓度）分量图像,XYZ色彩空间,在颜色感知的研究中，XYZ色彩空间是一种最先采用数学方式来定义的色彩空间，由国际照明委员会（CIE）于1931年创立。 色彩空

8、间，是指任意一种替每个颜色关联到三色刺激值的方法，XYZ色彩空间就是其中一种。 = 0.607 0.174 0.201 0.299 0.587 0.114 0 0.066 1.117 = 1.910 0.532 0.288 0.985 1.999 0.028 0.058 0.118 0.898 。,数字图像处理,17,XYZ色彩空间,数字图像处理,18,原始彩色图像,X分量图像,Y分量图像,Z分量图像,Lab色彩空间,Lab色彩空间的实现是基于XYZ色彩空间之上的，其正向变换的数学描述如下： =116 16， =500 ( ) ， =200 ( ) ， 其中 = 1/3 ( 6 29 ) 3

9、1 3 ( 29 6 ) 2 + 4 29 else 。,数字图像处理,19,Lab色彩空间,从Lab色彩空间至XYZ色彩空间的反向变换的数学描述如下： 定义 +16 116 定义 + 500 定义 200 如果 ，则= 3 ，否则=( 16 116 )3 2 如果 ，则= 3 ，否则=( 16 116 )3 2 如果 ，则= 3 ，否则=( 16 116 )3 2 这里= 6 29 。,数字图像处理,20,Lab色彩空间,数字图像处理,21,原始彩色图像,L分量图像,a分量图像,b分量图像,直方图处理,颜色直方图是对图像的颜色特征进行统计所得到的关于特征的统计直方图。 图像特征的统计直方图是

10、一个一维的离散函数： = ，=0,1,1， 其中代表图像的特征取值，是特征可取值的个数， 是图像中具有特征值为的像素个数，是图像像素的总个数。,数字图像处理,22,从灰度图像统计直方图,数字图像处理,23,CTArray CImageProcessing:Histogram_of_gray_image( const CTMatrix / 返回直方图 ,直方图相似性度量,Bin-by-bin相似性度量 Minkowski距离 直方图求交 Kullback-Leibler散度和Jeffrey散度 2 统计Cross-bin相似性度量 二次型距离 一维匹配距离 Kolmogorov-Smirnov统

11、计,数字图像处理,24,直方图相似性度量,当图像中的特征并不能取遍所有可取值时，统计直方图中会出现一些零值。 这些零值的出现会对相似性度量的计算带来影响，从而使得相似性度量并不能正确反映图像之间的颜色差别。 图像特征统计的累加直方图也是一个一维的离散函数： = =0 ，=0,1,1 。 累加直方图也可以根据直方图 得出 = =0 ()，=0,1,1 。,数字图像处理,25,Bin-by-bin相似性度量,Minkowski距离 , = =0 1 () 1 ， 直方图求交 , =1 =0 1 min( , () =0 1 () 。 Kullback-Leibler散度和Jeffrey散度 , =

12、 =0 1 log () () 。 , = =0 1 log () () + log () () ， 统计 2 , = =0 1 () 2 () ，,数字图像处理,26,Cross-bin相似性度量,二次型距离 , = ( ) ，一维匹配距离 , = =0 1 () ，Kolmogorov-Smirnov统计 , = max 01 () ，,数字图像处理,27,直方图均衡化,直方图均衡化的实现可以分为如下五个步骤： 统计图像的直方图 x ； 进行直方图归一化，就是使得=0 1 x =1； 计算累加直方图 ； 进行累加直方图调整，即 =round 256 ， 其中round为取整函数，为新直方图

13、的特征可取值个数； 进行直方图再映射，即 = = 。,数字图像处理,28,数字图像处理,29,CTMatrix CImageProcessing:Histogram_equalization( const CTMatrix ,直方图均衡化,数字图像处理,30,=256,=4,原始图像,直方图高斯模型,可以对图像直方图进行建模，然后根据所建立的模型进行指定模式的检测。 将像素灰度值看作是一种随机变量，若其服从一个数学期望为、标准方差为 2 的高斯分布，那么就可以记为 N , 2 ， 其概率密度函数为 = 1 2 2 2 2 。 高斯分布的期望值决定了其位置，其标准差决定了分布的幅度。,数字图像处

14、理,31,直方图高斯模型,数字图像处理,32,直方图高斯模型,在得到直方图高斯分布模型之后，可以进行指定模式信息的检测，如肤色检测。 有了高斯分布模型 ，那么指定模式信息的检测可以转化为像素灰度值的再映射，得到新的灰度值，即 = () max() 255。 再映射后的新图像就可以突出指定模式信息，通过简单的阈值分割便可以实现诸如肤色检测等功能。,数字图像处理,33,直方图高斯模型,数字图像处理,34,投影直方图,对于一个二值图像(,)，其垂直和水平投影直方图可以分别记为 ()和 ()，其中 = x=0 , ， = y=0 () , ， 和()分别为(,)的像素宽度和高度。,数字图像处理,35,

15、形状特征提取,基于图像内物体形状的检索是基于内容检索当中一个最具挑战性的问题之一，因为寻找符合人眼感知特性的形状特征不是一件简单的工作。 首要的困难是要将不同物体从图像中分割出来，这是计算机视觉的困难问题之一。 形状的描述也是困难的问题，常用的方法有傅立叶描述子、矩不变量、各种简单的形状因子（如面积、圆度、偏心度、主轴方向）等。 除了这些全局特征以外，有时也用一些局部特征（如直线段、圆弧、角点、高曲率点等），以解决遮挡问题。,数字图像处理,36,形状特征提取,数字图像处理,37,Hu不变矩,傅里叶描述子,Hough变换,Zernike不变矩,Radon变换,Hu不变矩,矩是一种完备的数学表示，

16、其优点是能够直接用于包含感兴趣目标的区域而不需事先把目标分离出来。 区域的矩是用所有属于区域内的点计算出来的，因而不太受噪声等的影响。 由于低阶矩对噪声和量化误差不敏感，所以矩为描述区域提供了一种虽不完备但却有用的总体表示。 矩在图像检索中，特别是在商标图像检索中，得到了广泛的应用。 Hu不变矩具有良好的尺度、平移和旋转不变性，在基于形状的商标图像检索中取得了非常好的检索性能。,数字图像处理,38,Hu不变矩,(,)的+阶矩定义为： = + + , ， (,)的+阶中心规格矩定义为： = 1 00 + 2 +1 + + , ， 其中 = 10 00 ， = 01 00 ，+=2,3,4,。 中

17、心规格矩同时具有位置无关性和大小无关性。 使得二阶中心矩 11 为最小的旋转角可以由如下公式得出 tan2= 2 11 20 02 。 相对于主轴计算的中心规格矩，在物体缩放、平移和旋转时保持不变。,数字图像处理,39,Hu不变矩, 1 = 20 + 02 2 = ( 20 02 ) 2 +4 11 2 3 = ( 30 3 12 ) 2 + (3 21 03 ) 2 4 = ( 30 + 12 ) 2 + ( 21 + 03 ) 2 5 = 30 3 12 30 + 12 ( 30 + 12 ) 2 3 ( 21 + 03 ) 2 + 3 21 03 21 + 03 3 30 + 12 2

18、( 21 + 03 ) 2 6 = 20 02 ( 30 + 12 ) 2 ( 21 + 03 ) 2 +4 11 30 + 12 21 + 03 7 = 3 21 03 30 + 12 ( 30 + 12 ) 2 3 ( 21 + 03 ) 2 + 30 3 12 21 + 03 3 30 + 12 2 ( 21 + 03 ) 2 ,数字图像处理,40,Hu不变矩,数字图像处理,41,Zernike不变矩,Zernike不变矩是来自数学领域的概念，其定义是一组多项式序列，每个多项式在单位圆上是正交的。 存在奇数和偶数Zernike多项式，其中偶数多项式可以定义为 , = cos ， 而奇数多

19、项式则定义为 , = sin ， 其中，和为非负整数，且，是以弧度为单位的方位角，为规范化的径向距离，径向多项式 则定义为 = =0 () 2 1 ! ! + 2 ! 2 ! 2 。,数字图像处理,42,Zernike不变矩,在Zernike不变矩的基础上，伪Zernike不变矩被提出，并具有更好的鲁棒性和对图像噪声的不敏感性。 寻找目标像素所占据的外接矩形区域； 根据所设定的阶数，进行重复次数的计算，从而进一步得到所需计算的不变矩系数的个数； 针对每一对阶数和重复次数，进行如下四个子步骤的计算： 将步骤1所得到的外接矩形区域归一化为一个单位圆； 将所有图像像素从笛卡尔坐标系转换至以单位圆圆心

20、为原点的极坐标系中； 在极坐标系下计算每一个像素离开原点的径向距离； 统计所有像素的径向距离得到在当前阶数和重复次数下的不变矩系数； 将所有的不变矩系数组合起来得到一个系数序列，便是一幅二值图像所对应的伪Zernike不变矩的计算结果。,数字图像处理,43,伪Zernike不变矩计算,数字图像处理,44,Hough变换,经典的Hough变换主要涉及图像中的直线检测，但是后来Hough变换得到了扩展，被用于任意形状位置的检测，其中最常用的是圆形或者椭圆。 Hough变换最简单的实例就是用于直线检测的线性变换。 使用参数空间(,)，直线公式可以重写为 = cos sin + sin ， 这也就等价

21、于公式 = cos+ sin。,数字图像处理,45,Hough变换,数字图像处理,46,Hough变换,数字图像处理,47,Hough变换,数字图像处理,48,Radon变换,二维Radon变换属于一种积分变换，是由众多直线函数上的积分组成。 Radon变换被广泛的应用于断层摄影术。 如果表示一个未知的密度函数，那么Radon变换表示一种发散数据，可用于断层摄影术的输出。 因此，Radon逆变换可以用于从发散数据中重构原始密度函数，从而形成了断层摄影术重构技术的数学基础。 Radon变换数据通常被称为正弦图，因为Dirac三角函数的Radon变换结果看上去是呈一个正弦波的分布。 许多小物体的R

22、adon变换在显示上都会呈现出模糊正弦波的样子，而这些正弦波具有不同的振幅和相位。,数字图像处理,49,Radon变换,Radon变换的数学公式可以描述为 , = , cossin ， 其中=cos+sin表示一条直线，(.)为Dirac三角函数。 Dirac三角函数大致可以认为是一种在原点无穷大而其余地方为零的函数，即 = + =0 0 0 ， 并且满足如下条件 =1 。 Radon变换实际上是从笛卡尔直角坐标(,)到极坐标 , 的映射,数字图像处理,50,Radon变换,Radon变换的具体实现，大致可以分为四个步骤 将坐标原点移至图像中心 直线参数计算 直线坐标的最大最小值计算 根据角度

23、进行分区讨论,数字图像处理,51,Radon变换,数字图像处理,52,傅里叶描述子,傅里叶描述子，就是对封闭曲线进行傅里叶变换，将变换后得到的傅里叶系数作为表示图像形状的特征。 可以将形状表示为具有个顶点的集合 :, ，那么傅里叶描述子 := 2 +1, 2 就是集合的傅里叶变换系数集合，即 i = = 2 +1 2 2 ， 而 与 之间的逆变换为 = 1 =1 2 。 为了进行傅里叶描述子的计算，就需要两步操作: 一是从二值图像中得到一维复数数组，用以作为一维傅里叶变换的输入 二是进行一维傅里叶正变换。,数字图像处理,53,傅里叶描述子,为了验证所得到的傅里叶描述子是否正确，可以对傅里叶描述

24、子进行傅里叶逆变换，然后从所得到的一维复数数组中恢复二值图像，通过比较新旧图像就可以看出所得到的傅里叶描述子是否正确。,数字图像处理,54,从二值图像得到一维傅里叶正变换输入的源码实现,数字图像处理,55,CTArray CImageProcessing:Position_from_binary_image( const CTMatrix ,从一维傅里叶逆变换的输出恢复二值图像的源码实现,数字图像处理,56,CTMatrix CImageProcessing:Binary_image_from_position( const CTArray ,纹理特征提取,通常认为纹理是在图像上表现为灰度或颜

25、色分布的某种规律性，这种规律性在不同类别的纹理中有其不同特点。 纹理大致可分为两类： 一类是规则纹理，它由明确的纹理基本元素（简称纹理基元）经有规则排列而成，常被称为人工纹理。 另一类是准规则纹理，它们的纹理基元没有明确的形状，而是某种灰度或颜色的分布。 常用的三种纹理分析方法是： 统计分析方法 例如使用直方图的各阶矩或区域灰度共生矩阵； 结构分析方法 例如利用纹理基元及其排列规律； 频谱分析方法 例如选取纹理模式的主方向和基本周期。,数字图像处理,57,统计分析方法,常用的统计分析方法基于区域灰度共生矩阵。 设为目标区域中具有特定空间联系的像素对的集合，则共生矩阵可定义为： 1 , 2 =

26、# 1 , 1 , 2 , 2 | 1 , 1 = 1 & 2 , 2 = 2 # 。 基于共生矩阵可定义和计算几个常用的纹理描述符，如纹理二阶矩 、熵 、对比度 和均匀性 ： = 1 2 1 , 2 2 ， = 1 2 1 , 2 log 1 , 2 ， = 1 2 1 2 1 , 2 ， = 1 2 1 , 2 + 1 2 ，,数字图像处理,58,用于纹理分析的频域变换,用于纹理分析的频域变换方法，主要包括傅里叶变换、Gabor变换和小波变换。 对于一个二维图像 (,) ，=0,1,1，=0,1,1（为了简化起见，不失一般性，假设=），其离散二维傅里叶变换可以定义为 , = 1 =0 1

27、=0 1 (,) 2(+) ，,=0,1,1。 而傅里叶逆变换的数学公式则可以定义为 , = 1 =0 1 =0 1 (,) 2(+) 。,数字图像处理,59,Gabor变换,Gabor变换是根据模拟人类视觉系统而产生的。 通过模拟人类视觉系统，可以将视网膜成像分解成一组滤波图像，每个分解的图像能够反映频率和方向在局部范围内的强度变化。 通过一组多通道Gabor滤波器，可以获得纹理特征。 Gabor变换的根本就是Gabor滤波器的设计，而滤波器的设计又是其频率函数和高斯函数参数的设计。 通过频率参数和高斯函数参数的选取，Gabor变换可以选取很多纹理特征，但是Gabor是非正交的，不同特征分量

28、之间有冗余，所以在对纹理图像的分析中效率不太高。,数字图像处理,60,Gabor变换,对于二维图像来说，Gabor核函数可以定义如下 , = 1 2 1 2 2 2 + 2 2 2 cos+sin ， 参数 和 表示核函数的空间尺度， 和表示频域中的频率位移，表示坐标的旋转角度。 对上述Gabor核函数进行傅里叶变换，得到 , = 1 2 cos 2 2 + sin 2 2 ， 其中 = 1 2 ， = 1 2 =cos+sin =sin+cos 。,数字图像处理,61,Gabor变换,数字图像处理,62,小波变换,连续小波变换，用于将一个时间上连续的函数划分为多个小波。 在数学上，一个平方可

29、积的连续函数()的连续小波变换可以使用如下的积分公式来表示 , = 1 () ， 其中0表示尺度，为平移量值，()为时间域和频率域上的连续函数，称为母小波，表示复数共轭操作。 为了恢复原始信号()，连续小波逆变换可以描述为 = 0 1 2 , 1 ， 其中()为()的对偶函数，其满足如下条件0 1 3 1 = 1 。,数字图像处理,63,离散小波变换所使用的滤波器银行,数字图像处理,64,离散小波变换系数分解（总分解层数为n=1,2,3）,离散小波变换系数分解（总分解层数为n=5）,数字图像处理,65,对应于人眼视觉感受的纹理特征,Tamura等人研究了一系列的对应于人眼视觉感受的纹理特征，分

30、别为 粗糙度（coarseness） 对比度（contrast） 方向性（directionality） 线状性（line-likeness） 规整度（regularity） 平滑度（roughness） 从人的感知经验可知，粗糙度、对比度和方向性是人们区分纹理时所用的三个最主要特征，其中粗糙度是最基本、最重要的纹理特征。,数字图像处理,66,粗糙度,对每一个像素，计算多尺寸邻域均值。 , = = 2 1 + 2 1 = 2 1 + 2 1 (,) 2 +1 2 ， 对每一个像素，计算在水平方向上（和在垂直方向上）关于当前像素对称的两个邻域边缘像素的邻域均值差值。 , =max , , , ,

31、 , 。 对每一个像素，从多邻域尺寸中确定一个最佳尺寸： , = 2 +1， 计算最佳尺寸 的平均值，作为灰度图像纹理粗糙度： = 1 (,) ，,数字图像处理,67,粗糙度,数字图像处理,68, =26, =12, =7, =4, =3,对比度,对比度也是一个重要的纹理特征。对于对比度的数学描述，Tamura等人给出了基于图像灰度分布方差的数学描述，其数学公式如下： = 4 ， 4 = 4 4 ， 其中为标准方差， 4 为四阶均值，取值为8，4，2，1，1/2，1/4或1/8。 Haralick等人给出了基于灰度共生矩阵的数学描述，其数学公式如下 = =0 1 2 =1 =1 (,) = ，

32、 其中(,) 为图像灰度共生矩阵中坐标为(,) 的元素， 为图像最大灰度级。,数字图像处理,69,对比度,数字图像处理,70, =424, =208, =96, =17, =0,方向性,Tamura方法的核心就是构建方向角局部边缘概率直方图，其大致步骤如下： 对灰度图像的每一个像素计算梯度矢量，梯度矢量的模记为 ，水平夹角记为。在离散情况下， 和近似如下： = + 2 ， = tan 1 + 2 ， 其中 和 分别为水平差分和垂直差分。 根据梯度矢量构建方向角局部边缘概率直方图： = () =0 1 () ,=0,1,1， 其中 () 为满足下列两条件的像素个数： +1 和 （为阈值）。,数字

33、图像处理,71,方向性,数字图像处理,72,方向性,确定如何根据方向角局部边缘概率直方图来定量地描述纹理方向性。 最直观的方法就是计算直方图波峰尖锐程度。 Tamura等人采用二阶矩累加方法，其数学公式如下： =1 2 ， 其中 为直方图波峰个数， 为波峰中心位置， 为波峰两侧谷底距离，为直方图规一化系数，为量化后的方向角，为直方图。 更为简洁的数学公式： = =0 2 (+1) 2 ， 其中为方向角量化精度，为量化后的方向角。,数字图像处理,73,方向性,数字图像处理,74, =1, =1, =0.61, =0.47, =0.21,本章小结,对于图像色彩与灰度信息统计，首先介绍了各种色彩空间

34、，包括RGB、HSV、YUV、XYZ和Lab等色彩空间，然后讲述了基于灰度信息的直方图处理。 关于直方图处理，主要涉及直方图相似性度量、直方图均衡化、直方图高斯模型和投影直方图。 对于形状特征提取，给出了五种具体的计算方法，包括Hu不变矩、Zernike不变矩、Hough变换、Radon变换和傅里叶描述子，其中傅里叶描述子与傅里叶变换是紧密相连的。 对于纹理特征提取，本章介绍了三种纹理分析方法，分别为统计分析方法、结构分析方法和频谱分析方法。 进一步讨论了三种用于纹理分析的频域变换，包括傅里叶变换、Gabor变换和小波变换。 介绍了对应于人眼视觉感受的纹理特征，包括粗糙度、对比度和方向性。,数字图像处理,75,