1、第八讲 图像信息检索,多媒体数据包括图形、图像、音频及视频。相应地就有图形检索、图像检索、音频检索和视频检索问题。正如文本一样，真正的检索是基于语义的，因此真正的多媒体检索也应该是基于内容（语义）的。,关于图形非常利于检索。其基本图元是点、线、面。它们均由坐标来定义和描述。线是点坐标的序列，面是封闭的点坐标序列。这些坐标数据完全可以存储到数据库中，因此，图形的检索本质上是数据库技术与图形处理技术的结合。例如各种GIS应用均可视为图形检索系统。左图为Google地图。,GIS数据组织示例,id x y 图标类型 ,点图元数据,id 起点 长度 线型 ,线图元数据,x y,id 起点 长度 填充色
2、 ,面图元数据,x y,id 名称 地址 邮编 ,点属性数据,相对地，每一个线图元和面图元都有自己的属性数据。可见，可采用数据库的关系模型表达GIS数据。结合图形处理技术来实现图形界面显示、坐标变换、图形移动和缩放等操作。,图像数据,该图为谷歌卫星照片与部分图形数据的叠加结果。卫星照片是一种图像数据。本质上是像素点矩阵，每个像素点一般是一个颜色值。,图像数据示例,图像的存储可视为二维矩阵（也可视为按列或按列存储的一维数组）。每一个像素点为一种颜色值。如用一个字节存储一个像素值，则称256色图像，用两个字节存储一个像素值，则称16位彩色图像，用三个字节存储一个像素值，则24位真彩色图像（人眼是区
3、分不出这么多种颜色的）。,m,n,像素,R,G,B,RGB颜色系统：即利用三原色值来表示一个像素值。,灰度图像：一般解释为像素值是最暗的黑色到最亮的白色之间的某个等级值。该等级一般称为亮度等级，即用像素点明亮程度的不同来体现一幅图像内容，如黑白电视。,彩色图像向灰度图像的转换：Y = 0.299R+0.687G+0.114B 转换算法很多，这只是其中的一种。,图像的其它色彩空间,除了RGB颜色系统外，还有HSL色彩空间（即色相、饱和度和亮度）、HSV色彩空间（即色相、饱和度和色调）等其它的色彩空间。,HSL色彩空间,HSV把颜色描述在圆柱体内的点，圆柱的中心轴取值为自底部的黑色到顶部的白色，而
4、中间为灰色；绕这个轴的角度对应于是色相；到中心轴的距离对应于饱和度；而沿着中心轴的距离对应于色调。在HSL把颜色描述为双圆锥体和圆球体，沿着中心轴的距离对应于亮度。,HSV色彩空间,RGB值向HSL值或HSV值的转换,RGB、HSL、HSV虽然是不同色彩空间的表达方式，但可相互转换。其转换算法也较多，下面是其中的一种。,RGB向HSL的转换,RGB向HSV的转换,其中 h 值的计算与左侧相同。,式中的 r、g、b 值要求在 01 之间，max 表示三者中的最大者，min 表示三者中的最小者。h 在 03600 ；s、l 与 v 均在 01 之间。,图像检索,图像检索：一般是指给定一个等查询的图
5、像示例，从众多的图像集合中检索与待查询相似的图像作为检索结果。,查询要求的表达也可考虑采用自然语言，这不但机器理解难度大，而且人的精确描述也较困难，同时图像内容的提取也是问题的瓶颈。,问题：从检索的角度看，图像的特征是什么？如何表达？如何计算图像之间的相似度？,图像的灰度直方图特征,图像的灰度直方图：即按灰度图像（彩色图像可转换为灰度图像）的灰度级统计出每个灰度级下的像素点个数，形成一张直方图。以256级灰度为例，某图像 P 的灰度直方图如下所示。,0 1 2 3 4 255,灰度级,78,156,113,42,95,89,P：（78, 156, 113, 42, 95, , 89）,即图像表
6、示成以灰度等级为分量的向量。图像的集合则表示成相同灰度等级下的矩阵。,P1：（78, 156, 113, , 89 ） P2：（12, 34, 147, , 137） P3：（98, 578, 985, , 56 ） ,可见，图像的相似性度量可通过向量之间的相似性度量来实现。如向量的内积、夹角余弦等。另外，该矩阵也可进行归一化处理。,图像的其它直方图特征,除灰度直方图外，图像的许多特征均可以直方图的方式体现。 1、颜色直方图即直方图的横坐标为颜色值。显然，对于16位彩色图像，则对应的向量将达到65536维。24位彩色图像将达到16777216维。当然可考虑一些降维方法，比如对颜色值进行抽样统计
7、等。,2、HSL空间或HSV空间的直方图灰度或颜色直方图是在RGB空间下的统计。可将图像转换为 HSL 空间或HSV 空间，从而可以统计出相应的色相直方图、饱和度直方图、亮度直方图或色调直方图。,3、变换域空间的直方图可利用信号与系统、数字图像处理中的知识，将图像视为信号，可求出多种变换域特征。如离散傅里叶变换、离散沃尔什变换、离散余弦变换、小波变换等各种信号处理技术。若采用离散傅氏变换，可统计出图像在频域下的频率直方图，从而得到频域意义下的向量表示。,图像的颜色相干矢量特征,以灰度直方图为例。在上述的灰度直方图统计中没有考虑某灰度级像素点周围相邻像素点灰度分布的情况。,相干像素数：即针对每一
8、个灰度等级，若该灰度等级的某像素点周围的相邻像素为同一灰度等级，且该区域的像素点个数大于事先指定的阈值（如该阈值规定为整幅图像像素点个数的1%），则该区域内的像素点个数称为相干像素数；否则称为不相干像素数。,这样，在统计某灰度等级的像素点个数时，会得到两个数，一个是相干像素数，另一个是不相干像素数。图示如下：,23,34,57,129,32,0 1 2 255,78,78,134,47,（23, 78, 34, 135, 57, 129, , 32, 47）,不相干像素数,相干像素数,显然，该方法增加了向量的维数。但包含了图像中灰度等级相同的区域性质的特征。另外，该方法不仅针对灰度直方图，也可
9、考虑应用于其他直方图。,图像的颜色矩特征,图像的颜色矩：是指图像中每个像素点同一颜色分量的 1 阶矩、2 阶矩、3阶矩、n 阶矩、 。,R,G,B,R,G,B,R,G,B,R,G,B,p1,p2,p3,p4,以RGB图像为例，p1、p2、p3、 是像素点编号。一阶矩二阶矩三阶矩,式中 N 为像素点个数。若只用以上 13 阶矩，则一幅图像可用一个 9 维向量表达，即,图像的颜色矩反映了颜色的分布特征。1 阶矩为颜色均值、2 阶矩为颜色方差、3 阶矩为颜色的偏移性。一般情况下，图像的颜色分布特征仅由低阶矩即可表达。,图像的多特征融合,图像的多特征融合：是指将图像的多个特征向量合并为一个向量，以试图
10、提高检索精度。,例如，将图像的灰度直方图向量与颜色矩特征进行融合，得到一个向量来描述该图像。,1、优点是向量中包含了大量的图像信息，检索特征更加全面； 2、缺点是增加了向量的维数，使检索计算工作是变大； 3、图像的许多特征均可考虑进行融合； 4、在相似性度量时可考虑为不同的特征分量分配不同的权值，以突出不同特征在检索时的不同贡献。,256个灰度级向量的分量 颜色矩特征分量,图像特征向量的相似性度量,1、基于内积的度量借鉴文本相似性度量方法，如向量的内积、向量夹角的余弦、Jaccard Coefficient 度量等等。如内积度量方法如下：,式中 M 是向量的维数，wi 是第 i 维的权重，ai
11、、bi 分别是图像 A、B 的第 i 维分量值。,2、基于距离的度量即借助 M 维空间的各种“距离”的定义来进行相似性度量。 明氏距离 当 p = 2 时为欧氏距离。 直方图相交距离 二次型距离 其中 C 为颜色的相似度矩阵。,图像的纹理,通过以上的学习，图像检索的关键之一是图像特征的提取问题。前面方法所提取的特征与人对图像特征的理解差距是很大的。,上面的三幅图分别是什么？你是如何识别的？,左边的两幅图都是一面墙，你认为哪一个更有真实感？,图像的纹理特征,关于纹理的定义，目前还没有一个统一的说法。下面列出三个不同说法： 1、纹理是一种反映像素的空间分布属性的图像特征，通常表现为局部不规则而宏观
12、有规律的特性； 2、若图像内的局域统计特征变化缓慢或呈近似周期性变化，则可称为纹理； 3、纹理是指在图像中反复出现的局部模式和它们的排列规则。,从不同的认知角度，有许多纹理特征的提取算法，但基本上都是在特定领域图像范围内有一定效果（如针对服装的面料纹理提取）。目前还没有一种算法能够适应千差万别的各种图像内容。,下面简要介绍灰度共生矩阵特征和Tamura纹理特征。,灰度共生矩阵,将图像转换为灰度图像（如 256 灰度级），则灰度共生矩阵 M(a,b) 为 256 256 矩阵。矩阵元素 M(a,b)(i, j) 表示灰度级为 i 和 j 的两个相距为 (a,b) 的像素对出现的次数。,a,b,a
13、 = 3、b = 2 时的像素对,1 2 3 4 2561 26 392 47 78 34 256,灰 度 共 生 矩 阵,M(3,2),矩阵元素 M(3,2)(1, 2) = 39 表示按 位置关系遍历整个图像统计所有满足该位置关系的像素对所对应的灰度级为 的像素对个数共计 39 对。其它矩阵元素值含义与此类同。,可见，灰度共生矩阵在某种程度上反映了像素的灰度级在空间上的分布信息。对越细小的纹理，a、b 的取值应越小，如 M(1,0)、M(0,1)、M(1,1)、M(2,-1) 等,灰度共生矩阵示例,3 3 3 3 3 7 7 7 7 7 3 3 3 3 3 7 7 7 7 7, 3 7 2
14、56 3 8 7 4 256,M(1,1), 3 7 256 3 8 7 8 256,M(1,0), 3 7 256 3 10 7 5 256,M(0,1),矩阵中其它元素均为0,灰度共生矩阵的四个纹理参数,令 Mij 表示灰度共生矩阵的第 i 行第 j 列元素值。将矩阵元素归一化，方法为：,即每个元素值除以灰度共生矩阵中包含的总像素对数。,1、二阶矩,也称为能量。,反映了图像中灰度分布的均匀性。该值越大，灰度分布越均匀。,2、惯性矩,也称为反差、对比度。,反映了图像中灰度等级的差别程度，即视觉上的纹理“深浅”程度。 该值越大，图像中的灰度等级差别越大。,3、熵,反映了图像纹理分布的复杂程度。
15、 灰度共生矩阵元素分布越分散，即纹理越复杂，S 值越大。,灰度共生矩阵的四个纹理参数（续）,4、相关性,反映了灰度共生矩阵元素在行或列方向上的相似程度。 灰度共生矩阵元素值越均匀，C 值越大。,以上四个参数即可构成描述图像与纹理有关的向量，即（J, G, S, C）。也称为灰度共生矩阵的纹理参数特征。它们当然也可以和图像的其他特征向量进行融合作用。据报道，有人利用这四个纹理参数特征进行图像检索，效果还不错。,Tamura纹理参数特征,Tamura 纹理特征是基于人类对纹理的视觉感知心理学研究，提出了 6 种参数特征：粗糙度、对比度、方向度、线像度、规整度和粗略度。下面简要介绍前 3 个参数特征
16、。,1、粗糙度：计算方法如下。, 对图像 P 的每个像素点（x , y）在窗口 2k2k 内计算其相邻像素的平均值（为减少数据量可在灰度图像上运算）。令 k = 1, 2, , K 。从而形成 K个像素窗口均值矩阵 Pk。,P,P1,PK,(x, y),2k,(x, y),(x, y),对应窗口内像素均值。,Tamura纹理粗糙度计算,由于 k = 1, 2, , K，因此，每一个像素点会对应 K 个水平方向的差值和 K 个垂直方向的差值。在这 2K 个差值中选出最大的差值所对应的 k ，该 k 值记为 maxk 。, 针对每个像素点，在水平和垂直方向分别计算相邻的非覆盖窗口区域平均值之差。即
17、,水平方向,垂直方向,Pk,Pk,2k-1,2k-1,a,b,Pk,Pk,2k-1,2k-1,a,b, 所有像素点的 Sbest(x, y) 取均值定义为图像的粗糙度。即,由此，每个像素点对应一个值，即 Sbest(x, y) = 2maxk 。,Tamura纹理对比度与方向性特征计算,2、对比度：,为均值的 4 阶矩,为方差,3、方向度：即计算每一个像素点灰度等级（或颜色值）变化的梯度方向，从而形成梯度方向矩阵。,式中，分子和分母分别表示相邻像素点的水平和垂直方向灰度差（或颜色值）。注意，当分母为零时按分子的正负，梯度取值为,对 至 进行均匀采样，按值相近原则将梯度矩阵中的值统计成直方图。可见，若图像中有明显条纹时，在梯度直方图中将出现明显的峰值。,23,16,94,21,该直方图即可构成一个向量，用于描述图像方向性纹理特征。向量维数由角度值的采样间隔决定。,图像检索小结,1、本讲所介绍的图像特征都是图像的底层特征； 2、图像的高层特征，诸如图像中物体的边缘检测与提取，采用面积、周长、偏心率、角点、链码、兴趣点、傅里叶描述子、矩描述子等参数描述； 3、还有各种变换域特征，以及空间位置关系的特征等等。 4、以上内容涉及到许多数字图像处理中的相关知识及新技术、新方法。 5、图像检索的相关反馈问题。 6、另外，还有音频、视频信息检索问题。,
