1、数字图像处理与分析基础,第八章 图像分割与描述,ISBN 7-5084-2930,黄爱民 安向京 骆力,中国水利水电出版社,新世纪电子信息与自动化系列课程改革教材,数字图像处理与分析基础,第八章 图像分析基础Image Analysis theory,1、图像分割2、图像描述,数字图像处理与分析基础,8.1 图像分割 Image Segmentation,1、概述和分类2、基于灰度的分割技术3、基于梯度的分割技术4、彩色图像分割技术5、分割评价,数字图像处理与分析基础,7.1.1 概述与分类General Introduction and Classification,图像分量以及相互关系图像
2、分析与理解、自动景物分析、模式识别机器抽取信息,数字图像处理与分析基础,图像分割,定义：把图像中有意义的区域与背景分离开，并按其不同的内涵将它们分割开。“区域”是图像中相邻的具有类似性质的点组成的集合。同一区域（region）中的像素是相邻的，就是说区域是像素的连通集。“连通”（connectedness）：在连通集的任意两个像素间，存在一个完全由这个集合中的元素构成的路径。同一区域中的任意两个像素间至少存在一条连通路径。,数字图像处理与分析基础,。,连通性有两种度量准则，如果只依据四邻域（上下左右）确定连通，就称为4连通（four-connectivity），物体也被称为是4连通的。如果依据
3、八邻域（加上四个对角像素）确定连通，就称为8连通（eight-connectivity）。在同一类问题的处理中，应当采用一致的准则。通常8连通的结果误差小，与人的感觉更相近。 “同质”分割依据：灰度、颜色、纹理、灰度变化分割结果 以区域的边界坐标表示,数字图像处理与分析基础,分割方法分类,从分割依据出发“相似性分割”就是将具有同一灰度级或纹理的像素聚集在一起，形成图像中的不同区域。这种基于相似性原理的方法常称为“基于区域相关的分割技术”“非连续性分割”需要先检测图像的局部不连续性，然后将它们连接起来形成边界，这些边界将图像分割成不同的区域。这种基于不连续原理检测图像中物体边缘的方法也称为“基于
4、点相关的分割技术”。这两种方法具有互补性，一般来说在不同的场合需要不同的方法，有时也将它们的处理结果相结合，以获得更好的效果。根据分割算法本身阈值法、边缘检测法、匹配法等,数字图像处理与分析基础,分割结果,图像与分割结果的表示,数字图像处理与分析基础,数字图像处理与分析基础,8.1.2基于灰度的分割（区域相关技术）,两大类基于阈值分割的技术基于灰度均匀性的区域分裂合并算法。阈值分割算法实施时各像素间无相关性，原图像可以分成几部分同时进行分割，又称为并行区域技术（Region-Based Parallel Techniques）。区域分裂合并算法实施时，要利用像素间的相关性，是一种串行区域技术。
5、,数字图像处理与分析基础,并行区域技术,1、原理和分类2、依赖像素的阈值选取3、依赖区域的阈值选取,Region-Based Parallel Techniques,数字图像处理与分析基础,图像阈值分割（Image Segmentation ：Thresholding）,最常用的图像分割技术主要利用图像中背景与对象之间的灰度差异。理想状态下图像的灰度直方图上呈明显的双峰分布，两类物体灰度级间无交叠。在直方图中处于谷底的区域选取一个灰度值作为阈值，根据灰度与阈值的关系将像素判定为对象点或背景点，这个过程称为图像二值化。对二值图像进行进一步的分析就可以获得图像的分割结果。,数字图像处理与分析基础,
6、二值化,设f(x,y)表示原图像，g(x,y)表示分割后的图像，T为选定的灰度阈值，分割算法表示为,或,其中：“1”表示物体（对象、目标）， “0”表示背景。,数字图像处理与分析基础,多阈值二值化,有时对象的灰度分布相对集中，而背景的灰度分布很散，就需要设置两个灰度阈值T1、T2, T1T2，这两个阈值间的灰度范围都对应于对象，即：,数字图像处理与分析基础,1 1 1 1 1 1 1 1 1 4 5 6 5 6 5 1 1 5 7 8 8 8 6 1 1 6 8 8 8 7 6 1 1 5 7 8 8 8 6 1 1 4 8 7 7 7 6 1 1 6 5 4 5 6 5 1 1 1 1 1
7、1 1 1 1,(a),(b),灰度取域法，阈值对分割结果影响很大（a）数字图像 （b）直方图（c）取阈结果Th=4,Th=7,数字图像处理与分析基础,1、极小值点阈值,h(z)直方图,“直方图双峰法”：如果灰度直方图呈现明显的双峰状，则选取两峰之间的谷底对应的灰度级作为阈值。谷底就是直方图的极小值。将各端点相连，形成直方图的包络线h(z)，这是一条曲线，它的极小值满足,数字图像处理与分析基础,T=120,（a）原图 （b）直方图 （c）二值化结果图8-2 Rice图像双峰法分割,数字图像处理与分析基础,2、最优阈值算法,设图像由两类对象1、 2组成，它们的条件概率分别为：P(x/ 1)、P(
8、x/ 2 ),其中x是灰度级，T是阈值二值化判断： xT,x 2； x2sfk 是fk周围的象素灰度。,搜索循环 核心坐标 核平均值 接受象素fk区域 1 G 9 C,F,K C-F-G-K 2 C-F-G-K 8.25 H C-F-G-K-H 3 C-F-G-K-H 8.0 C-F-G-K-Hx,y两方向进行，核心不变时完成。,人机交互,数字图像处理与分析基础,讨论,1、该算法由于利用了区域的灰度均值，算法的抗干扰性能好，尤其对白噪声图像分割效果改善明显。2、如果区域间边缘的灰度变化很平缓，或者两个区域对比度弱，会将不同的区域合并。改善的方法是增加区域的均匀性测度度量。,式中T为一阈值。本例
9、中应当要求T2。 3、区域增长的两个决定性因素是区域的核心（代表区域的起始点或点集），区域的均匀性测度以及阈值。,数字图像处理与分析基础,图8-6 增长核心不同、阈值不同，区域增长的结果就不同,数字图像处理与分析基础,2 分裂、混合算法,数字图像处理与分析基础,图8-7（a）金字塔数据结构,在金字塔数据结构中，对于2N2N的数字图像若用n表示其层次，则第n层上图像的大小为2N-n2N-n，因此最底层，即第0层就是原始图像，最顶层就是第N层，只有一个点。四叉树第n层上共有4n个节点。,数字图像处理与分析基础,区域的分裂合并算法,1）确定区域同质准则H；2）将原始图像按照四份一级等分，至一个合理的
10、中间层次n（不必要将图像分成N级）；3）做所有区域R的均匀性检验，如果H(R)=false，则将该区域分裂成四个大小相等的子区域，若任一子区域Ri满足H(Ri)=false，则继续分裂此子区域，直至这一分枝上树结构到达它的底层树叶，分裂不能继续为止；如果H(Ri)=true，则该区域不需要再分裂，进入树结构上下一个区域的分析。4）回溯合并环节：对相邻的两个区域Ri和Rj，若满足H(RiRj)=true，说明这两个区域同质，则合并这两个区域。Ri和Rj不要求大小相同，但要求它们相邻,数字图像处理与分析基础,分裂合并算法,5）回溯结束后，分析面积很小的零星区域与相邻大区域的相似程度，将它们归于相似
11、性大的区域。6）在5）完成后可以得到近似的边界，由于是在各种方块组合的基础上得到的，是一条锯齿形的线，还需要经过曲线拟合得到光滑的分界线,数字图像处理与分析基础,数字图像处理与分析基础,8.1.2基于梯度的分割（点相关技术）,根据灰度梯度的变化规律检测出物体的边缘，将边缘闭合形成物体的边界，进而分割区域。此类技术属于并行边界技术(Boundary-Based Parallel Technique),图8-9 边缘检测划分区域,数字图像处理与分析基础,主要内容,1、边缘检测2、微分算子3、边界闭合4、Hough变换5、模板匹配,数字图像处理与分析基础,1、边缘检测,相邻区域灰度值不同,图像,灰度
12、剖面,一阶导数,数字图像处理与分析基础,微分算子,1、梯度算子,梯度算子：Gf(x,y)=f/ x, f/ yT,数字图像处理与分析基础,/,数字图像处理与分析基础,典型算子,Roberts,Prewitt,Sobel,两种常用的Laplacian算子,数字图像处理与分析基础,综合正交算子的模板,数字图像处理与分析基础,提取边缘策略,应当先对图像去噪声。若先对图像平滑处理，抑制噪声，再求微分，则为Marr、Canny等算子；若对图像进行局部线形拟合，再用拟合得到的光滑函数的导数代替直接的数值导数，则为Facet模型检测边缘算子。,数字图像处理与分析基础,MARR算子,fs(x,y)= f(x,
13、y)* G(x,y,) 取高斯滤波器作平滑滤波，可以使频域具有通带窄、空域方差小的最佳特点。,马尔和希尔德雷斯（Hildreth）提出的最佳边缘检测算子（简称M-H算子，常称为Marr算子）。连接零交叉点的轨迹，就可以得到图像的边缘。,数字图像处理与分析基础,M-H算子具有明显的优点,（1）该滤波器中的高斯函数部分可以对图像进行平滑，消除图像中尺度变化小于滤波参数的噪声或不必要的细节。而高斯函数在空域与频域具有相同的形式与性质，都是平滑的、定域的，基本上不会引入在原始图像中未出现的变化。（2）采用拉普拉斯算子不仅减少了计算量，而且保证了各向同性。（3）滤波参数可调，能够在任何需要的尺度上工作。
14、大的滤波器可以用来检测图像的模糊边缘，小的滤波器可以用来检测聚焦良好的图像细节。,数字图像处理与分析基础,如何评价边缘算子的性能呢,Canny（坎尼）提出了三个指标：（1）好的性噪比，即将非边缘点判为边缘点的概率要低，将边缘点判为非边缘点的概率也要低；（2）好的定位能力，即检测的边缘点要尽可能在实际边缘的中心；（3）对单一的边缘仅有唯一的响应，即单个边缘产生多个相应的概率要低，并且虚假边缘要得到最大的抑制。,数字图像处理与分析基础,Canny算子设计过程,二维高斯函数为,数字图像处理与分析基础,可见 h1(x)=xh2(x), h1(y)=yh2(y), k为常数,将偏微分方程分别与图像f(x
15、,y)进行卷积，得到方向微分输出,A(i,j)是灰度梯度模值，反映了图像上点（i,j）处的灰度变化强度， 是梯度方向，反映了该点处的灰度变化最快的方向，即该点的法向矢量（正交于边缘方向的方向）。,数字图像处理与分析基础,1、该点的A(i,j)大于位于该点梯度方向的两个相邻像素的梯度值；2、与该点梯度方向一致的相邻两点的梯度方向差小于45。3、以该点为中心的33邻域中的的极大值小于某个阈值。如果条件（1）、（2）同时满足，那么在梯度方向上的两个相邻像素就从候选边缘点集合中取消，这样可以减少运算量。条件（3）相当于用区域梯度最大值组成的阈值图像与边缘点进行匹配，这一过程可以消除虚假的边缘点。,根据
16、Canny的定义，当一个像素满足下面三个条件时就被认为是图像的边缘像素,数字图像处理与分析基础,图8-12 Canny算子与Marr算子比较,（a）原图 （b）Marr算子结果 （c）Canny算子结果,数字图像处理与分析基础,边界闭合局部处理,相邻的两个像素(s,t)与(x,y)，若它们的梯度的幅度与方向分别满足下列2条件：,数字图像处理与分析基础,边缘连接Hough变换,检测直线的经典方法。设图像空间（x,y）中的一条直线的方程为：y=u0x+v0式中u0为斜率，v0为截距。那么对于直线上的任意一点pi(xi,yi)，它在由斜率和截距组成的变换空间（u,v）中将满足方程式：v=-xiu+y
17、i,数字图像处理与分析基础,图8-13 直线的Hough变换,数字图像处理与分析基础,直线的极坐标方程为：=xcos+ysin表示图像坐标原点到直线的距离，是该直线的法线与x轴的交角。由、可以唯一地确定一条直线。对于（x,y）空间的任意一点（xi,yi），采用极坐标（,）作为变换空间，其变换方程为：=xicos+yisin (8-71)这表明图像空间的一点（xi,yi）对应于（,）空间的一条正弦曲线，其相位和幅值由xi、yi决定。,数字图像处理与分析基础,（x,y）空间的同一条直线上的点在（,）空间的正弦曲线都会相交于点（0, 0），0为这条直线到原点的距离， 0为直线的法线与轴的夹角，,数字
18、图像处理与分析基础,算法,1）将（,）空间量化，得到二维矩阵M(,)，M(,)是一个累加器，初始值为0，M(,)=0。2）对边界上的每一个点（xi,yi），将 的所有量化值代入式（8-71），计算相应的，并且将累加器加1，M(,)=M(,)+1。3）将全部（xi,yi）处理后，分析M(,)，如果M(,)T，就认为存在一条有意义的线段，是该线段的拟合参数。T是一个非负整数，由图像中景物的先验知识决定。4）由(,)和（xi,yi）共同确定图像中的线段，并将断裂部分连接,数字图像处理与分析基础,图像分割小结,、图像分割是将一幅数字图像划分为不交叠的、连通的像素集的过程，其中一个对应于背景，其他的则对
19、应于图像中的各个物体。、图像分割可以通过为物体指定其像素或找出物体之间的（或物体和背景之间的）边界的方法来实现。、灰度级阈值处理是一种总能产生闭合的连通边界的简单分割技术。、在分割之前进行背景的平滑和噪声消除，常常能改善分割的性能。,数字图像处理与分析基础,、阈值的大小应当根据图像的内容变化，除非背景灰度级和物体的对比度相对恒定。、具有简单物体以及与背景对比度明显的图像，将阈值置于双峰直方图的低谷可使物体面积对阈值变化的敏感度最小。、物体分割可以通过在梯度图像中进行边界跟踪或阈值处理来实现。、对一幅图像的分割可以用隶属关系图、边界链码、或线段编码来实现。,数字图像处理与分析基础,分割评价简介
20、Introduction to Segmentation Evaluation,1、评价方法及分类2、最终测量精度3、实用分割评价框架,数字图像处理与分析基础,分割方法及分类,优化分割,（1）掌握各算法在不同分割情况中的表现，以通过选择算法参数来适应分割具有不同内容的图像和分割在不同条件下采集到的图像的需要。（2）比较多个算法分割给定图像的性能，以帮助在具体分割应用中选取合适的算法。,数字图像处理与分析基础,评价方法的基本要求,（1）应具有通用性（2）应采用定量和客观的性能评价准则（3）应选取通用的图像进行测试，以使评价结果具有可比性，图像应尽可能反映客观世界的真实情况和实际应用的共同特点。,
21、直接法：分析法间接法：实验法,数字图像处理与分析基础,图像分割评价方法分类,数字图像处理与分析基础,8.2 图像描述Image Description,1、概述和分类2、链码描绘子3、傅立叶描绘子4、矩,数字图像处理与分析基础,8.2.1、概述和分类,通常将描述区域性质的算子称为描述子。描述图像子区域的方法主要有两类：（1）用区域的外部特征，如边界来表示区域，常用的有链码与Fourier描述子。（2）用区域的内部特征，如组成区域的像素表示区域，常用的有矩描述子。区域的描述方法应当由计算机模式识别时需要的特征来决定，如若需要识别图像的形状，就应当采用外部特征法，因为在边界轮廓的基础上可以很容易获
22、得区域的面积、周长、区域的最大外接矩形的长宽比等特征。而要利用纹理、颜色等特征时，需要利用选择内部表示法。在有些情况下，可能两种表达都需要,数字图像处理与分析基础,8.2.2 链码表示,数字图像处理与分析基础,正确的链码应当满足封闭性原则，即：n1+ n2+ n3= n5+ n6+ n7,n5+ n4+ n3= n7+ n0+ n1, 式中ni为出现方位码i的次数。上面两个条件的物理意义是，链码向上移动的步数应当等于向下移动的步数；向左移动的步数应当等于向右移动的步数。,数字图像处理与分析基础,链码与几何特征,周长,2.面积,根据几何学上的定理，对于封闭折线形成的多边形，其各顶点A1,A2,，
23、An的相应坐标为：(x1,y1)，(x2,y2) ，(xn,yn)则该多边形的面积为：,Sn是一个有向面积，当顶点A1,A2,，An逆时针方向排列时（正向链码），Sn0,数字图像处理与分析基础,数字图像处理与分析基础,图8-19中的八边形,数字图像处理与分析基础,8.2.2傅立叶描述子,区域的边界都被确认后，利用这些点可以识别目标的形状,数字图像处理与分析基础,从目标边界上的任意点（x0,y0）开始，沿逆时针方向搜索边界一周，得到坐标对序列（xi,yi）(i=0,1,.,N-1)。将坐标对用复数形式表述为：s(i)=x(i)+jy(i), i=0,1,2,N-1 (x(i)= xi, y(i)
24、 =yi ),数字图像处理与分析基础,一维离散序列s(i)的Fourier变换的定义为,式中u=0,1,2,N-1。复系数a(u)称为边界的Fourier描述子FD（Fourier description）。根据Fourier变换的性质可知，Fourier描述子具有对平移、旋转和比例缩放（简称为RST）等的变化不敏感性，因此是一种很理想的可描述区域特征的描述子,数字图像处理与分析基础,对给定的任意轮廓的FD进行归一化，可以使该轮廓具有标准的大小、方向和起始点。为减少噪声和量化误差带来的扰动，应选择最大幅度系数作为归一化系数。在实际应用中应满足两个条件：（1）应采用均匀间隔取样；（2）FFT算法要求序列的长度为2的整数次幂，这样在采用FFT之前，应该重采样，满足长度限制条件。具体方法是，首先计算出轮廓的周长，然后用希望的长度（大于序列长度的最小的2的整数次幂）去除，再从任意一个起点重新搜索边界。,
