1、第四章 特征的提取与匹配,特征的提取和匹配,对于左图像中的每一个特征,左图像,特征的提取和匹配,在右图像中寻找相似度最大的特征,右图像,基于特征的计算机视觉处理的一般流程,特征提取 确定显著性图像特征（点、线、面）的位置 特征描述 对特征进行紧凑、唯一、可理解的描述 特征匹配 在其它图像中寻找相似度最大的特征 特征跟踪（可选，一般用于视频处理） 仅在原有特征的很小的邻域范围内寻找特征,主要内容,点特征的处理 面特征的处理 边缘特征的处理 线特征的处理,点特征提取算法,点特征主要指明显点，提取点特征的算子称为兴趣算子或有利算子,点特征的灰度特征,Moravec算子,Moravec于1977年提出
2、利用灰度方差提取点特征的算子,r,c,w,（1）计算各像素的兴趣值 IV,K=int(w/2),（2）给定一经验阈值，将兴趣值大于阈值的点作为候选点。,（3）选取候选点中的极值点作为 特征点。,综上所述，Moravec算子是在四个主要方向上，选择具有最大最小灰度方差的点作为特征点。,Forstner算子,计算各像素的Roberts梯度和像素（c，r）为中心的一个窗口的灰度自方差矩阵，在图像中寻找具有尽可能小而接近圆的误差椭圆的点作为特征点。,Roberts梯度,c,r,l,（l）计算各像素的Roberts梯度,Forstner算子步骤,（2）计算ll（如55或更大）窗口中灰度的自方差矩阵,哪个
3、图像块更容易被定位？,Aperture problems for different image patches:,判断两幅图像的相似度,由于无法得到另一幅图像，只能在当前图像内寻找,根据泰勒级数展开，,可得，,图像自相关函数分析,矩阵A与信号处理中的自相关函数密切相关. 设，为矩阵A的特征值，则，与局部自相关函数的主曲率成比例. 当两个曲率都低时，局部自相关函数是平坦的，那么窗口图像区域的灰度值近似为常量；当只有一个曲率高而另一个曲率低时，局部自相关函数呈脊形，那么E只有当沿山脊移动时变化小，这就表示是边缘；当两个曲率都高时，局部自相关函数是尖峰，那么E在任意方向上移动都会增加，这就表示是角
4、点. 因此我们可以由，的值判断是否是角点。为了不对M进行分解求特征值，可以采用Tr(A)和Det(A)来代替，,（3）计算兴趣值q与w,DetN代表矩阵N之行列式,trN代表矩阵N之迹,(4）确定待选点,当 同时 ，该像素为待选点,（5）选取极值点,即在一个适当窗口中选择最大的待选点,Harris算子,角点是景物轮廓线上曲率的局部极大点，对掌握景物的轮廓特征具有决定作用。一旦找到了景物的轮廓特征点也就大致掌握了景物的形状。直观的讲，角点就是图像上所显示的物体边缘拐角所在的位置点。 Harris角点检测法是一种基于图像灰度的检测方法，这类方法主要通过计算点的曲率及梯度来检测角点。该方法是由Har
5、ris和Stephen于1988年提出来的，也叫Plessey角点检测法。其基本思想与Moravec角点算子相似，但对其作了许多改进。,Moravec角点算子,计算各像素沿同方向的平均灰度变化，选取最小值作为对应像素点的角点响应函数。定义在一定范围内具有最大角点响应的像素点为角点。,Moravec角点算子简单快速，但是它存在一些缺点:各向异性,只考虑四个方向对强边界敏感,只考虑了兴趣值的最小值,Harris角点算子,这里一阶微分可以由下面的式子近似,因此,E可以表现成:,Harris角点算子,为消除噪声,进行高斯平滑:,在平移方向(x，y)上的E可以表示如下:,M为 22的矩阵:,Harris
6、角点算子,兴趣值的计算公式为:,Harris算法认为，特征点是局部范围内的极大兴趣值对应的像素。因此，在计算完各点的兴趣值后，要提取出原始图像中的所有局部兴趣值最大的点。 实际操作中，可以依次取出每个像素的8邻域中的8个像素，从中心像素和这8个像素中提出最大值，如果中心点像素的兴趣值就是最大值，则该点就是特征点。 在提取特征点时，凡满足大于某一阈值的像素点均可被认为是特征点。 阈值选取的方法：通过确定图像中所能提取的最大可能的特征点数目N来选择值最大的若干像素点作为特征点。局部极值点的数目往往很多，根据I值进行排序，取其前N个为特征点。,SUSAN算子,SUSAN算法由Smith S M在19
7、97年提出,是一种基于结构元的点特征提取算子.SUSAN是“Smallest Univalue Segment Assimilating Nucleus”的缩写,即同化核分割最小值。,假设有一个圆形的区域,称其为掩模。它的中心有一个核,假设这个核的灰度值与黑色区域的灰度值相近。,SUSAN算子,SUSAN算子,在整个区域内移动这个掩模,它与黑色区域将有不同的接触情况。不失一般性,在图中表示了其中的四种情况：在掩模所处的区域内,这些点与掩模核的灰度值如果相近的话,就称这些点构成的区域是USAN(Univalue Segment Assimilating Nucleus),即同化核分割相同值区域。
8、根据这一定义可知上图各种情况下，由设定的掩模所确定的USAN如下图所示:,SUSAN算子,图2是图1中相应掩模位置的USAN标识图,图中黑色区域即为USAN,可以看到USAN包含了图像结构的重要信息。掩模核及掩模完全包含在图像（黑色区域）中时，USAN的值最大；掩模核处在图像的一条直线边缘附近时，USAN值接近其最大值的一半；掩模核若在图像的一个角点处，则USAN值接近最大值的四分之一。在一幅图像中搜索图像角点或边缘点，就是搜索USAN最小（小于一定值）的点，即搜索最小化同化核分割相同值。这样可得到特征点检测的SUSAN算法。,SUSAN算子,构造一个（圆形）掩模，遍历图像的每一个点。判断掩模
9、所掩盖的区域内的点与掩模的相似程度，采用以下相似比较函数:,掩模区域的USAN值为:,n为USAN中像素个数，它给出了USAN值。,SUSAN算子,将与某固定阈值相比较，得到SUSAN算法对图像角点的响应函数如下式所示：,为n的最大值,为提高抗噪声干扰能力，在利用USAN值进行阈值比较时，不仅设定一个上限g，有时还设定一个下限d.下限的设定是为了排除孤立噪声点的干扰，通常情况下取210个像素。同时，利用USAN重心与核心点连线上的像素点的边缘初始值要相近的条件来消除错误的角点。,几种算子性能的比较,图像质量较好时 Forstner算子在纹理丰富地区特征点也丰富，在纹理匮乏地区几乎没有； Sus
10、an算子适合提取大量密集的特征点，速度很快； Harris算子提取的特征点分布较为均匀，且速度精度适中；,几种算子性能的比较,图像中噪声较多时 利用Harris算子不需设置阈值，整个过程的自动化程度高，可以根据匹配结果，定量调整提取的特征点数。同时它抗干扰强、精度高。 SUSAN算子提取特征点分布合理，较适合提取图像边缘上的拐点，由于它不需对图像求导数，所以也有较强的抗噪声能力，利用SUSAN算法提取图像拐点，阈值的选取是关键。它没有自适应算法，也不象Harris算法可根据需要提出一定数目的特征点。但该算法编程容易，易于硬件实现。,SIFT算法,SIFT算法由加拿大University of
11、British Columbia的D.G.Lowe 1999年提出，2004年完善总结。 Object Recognition from Local Scale-Invariant Features(ICCV,1999)Distinctive Image Features from Scale-Invariant Keypoints(IJCV,2004),SIFT 主要思想,SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点,并确定关键点(Key points)的位置和关键点所处的尺度; 然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。,SIFT算法的
12、主要特点,a) SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。 b) 独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 c) 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 d) 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。 e) 可扩展性，可以很方便的与其他形式的特征向量进行联合。,SIFT算法步骤,检测尺度空间极值点精确定位极值点为每个关键点指定方向参数关键点描述子的生成特征匹配,1.检测尺度空间极值点,在对有噪声的图像求取边缘点时，可以先
13、用平滑滤波器对图像平滑，然后再对平滑后的图像求两阶微分，并检测局部极值点. 高斯卷积核是实现尺度变换的唯一线性核，所以SIFT算法中使用了高斯滤波器对图像进行平滑处理.（x，y）是空间坐标， 是尺度参数。,尺度空间的生成,尺度空间理论是通过对原始图像进行尺度变换, 获得图像多尺度下的尺度空间表示序列, 对这些序列进行尺度空间主轮廓的提取, 并以该主轮廓作为一种特征向量, 实现边缘、角点检测和不同分辨率上的特征提取等。一副二维图像的尺度空间定义为：对原始图像做多次的高斯平滑处理,也就得到了一个多尺度图像金字塔图像金字塔能够很好的显示图像多尺度空间的特征，SIFT算法中的图像金字塔共有o组，每组有
14、S层，下一组的图像由上一组图像降采样得到.,多尺度图像金字塔,DOG图像金字塔,对平滑后的图像求两阶微分，并检测局部极值点.对于高斯函数而言，其两阶微分可以用两个不同尺度高斯函数的差近似表示.根据这一原理可以得到DOG图像金字塔,DOG图像金字塔,检测极值点,构建DOG尺度空间需确定的参数,尺度空间坐标; Ooctave坐标; S sub-level 坐标 和O、S的关系为基准层尺度空间坐标x是组octave的函数，设是o组的空间坐标，则如果 是基础组o=0的分辨率，则其他组的分辨率由下式获得：Lowe使用的参数,2.极值点定位,在某个像素点被确定为尺度空间的极值点以后，下一步的任务就是确定它
15、的位置、尺度及主曲率，同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，增强匹配稳定性、提高抗噪声能力,极值点位置的确定,Lowe99年的文章中极值点被简单定位在中间采样点上。 在2004的论文中对此进行了改进。通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度）。 这个改进减少了提取特征的数量,增强了匹配的鲁棒性,边缘响应的去除,其主要思想是一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。 主曲率通过一个2x2 的Hessian矩阵H求出，矩阵中的导数可以由采样点相邻差估计得到。,D的主曲率和H
16、的特征值成正比，令为最大特征值， 为最小的 特征值，则,(r + 1)2/r的值在两个特征值相等的时候最小，随着r的增大而增大， 因此，为了检测主曲率是否在某阈值r下，只需检测,在Lowe的文章中，取r0.46。,3.关键点朝向,主要思想利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。 (x,y)处的梯度值和梯度方向公式其中L所用的尺度为每个关键点各自所在的尺度,确定关键点朝向,在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。 在梯度方向直方图中，当存
17、在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向（一个主方向，一个以上辅方向），这可以增强匹配的鲁棒性。,4.关键点描述子的生成,至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。 由此可以确定一个SIFT特征区域,用箭头表示,关键点描述子的生成,接下来以关键点为中心取88的窗口。图左部分的中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在每44的小块上计
18、算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，,关键点描述子的生成,首先将坐标轴旋转为关键点的方向，以确保旋转不变性。 此图中一个关键点由22共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。 实际计算过程中，为了增强匹配的稳健性，Lowe建议对每个关键点使用44共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。 此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。,5.特征匹配,当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。,SIFT的应用,SIFT的应用,
