1、computer vision,1,第三章 区域分析,3.1 区域和边缘的关系 3.2 自动阈值分割 3.3 区域表示 3.4 区域分裂与合并,computer vision,2,内容概述,1 为什么研究区域以及区域和边缘的关系？ 研究区域的原因：图像的不同区域可能对应着不同的物体（目标）；对于同一个物体的不同部分可能也对应着不同的区域。（如图 ）。所以区域的检测对于图像是十分重要的。,computer vision,3,内容概述,1 为什么研究区域以及区域和边缘的关系？ 图像划分有两种方法： 基于区域的方法 基于边缘检测的轮廓方法区域与边缘关系： 检测到的边缘如果是一个封闭的曲线，则此曲线内
2、包围的部分就是区域。 区域的边界必须是封闭的。,computer vision,4,2 如何获得区域？ 最简单的方法是：通过自动阈值分割获取灰度值聚类的部分得到区域。 直方图及直方图变换 最优阈值方法 最大熵阈值分割 最大类间方差阈值分割 区域阈值方法 变量阈值化方法 双阈值方法,内容概述,computer vision,5,3 如何表示区域？ 区域表示方法： 阵列表示 层级表示 金字塔型 四叉树型 特征区域表示,内容概述,computer vision,6,内容概述,4 区域分割的后处理？ 区域分裂与合并 存在问题：经过阈值分割后得到的区域划分可能存在误分割； 可能将本属于同一物体的划分成了
3、两个区域； 可能将不属于同一物体的合成了一个区域； 解决办法：通过区域的分裂与合并重新划分，将具有相似特征的区域合并，将具有不同特征的区域分裂。,computer vision,7,3.1 区域和边缘,1 区域与边缘图像划分有两种方法：基于区域的方法基于边缘检测的轮廓方法,computer vision,8,3.1 区域和边缘,2 区域区域：图像中相互连接的具有灰度和空间相似性的一组像素。区域获取方法分割分割的依据：数值相似性测度：两个像素的灰度差值或区域灰度分布；空间接近性测度：两个像素的欧几里德距离或区域的致密性；,computer vision,9,3.1 区域和边缘,2 区域数值相似性
4、和空间接近性的有其物理依据；同一个物体表面上的点集投影到图像平面上，所得到的像素点集可以有如下的假设：此点集中的点在空间上十分靠近；此点集中的点在灰度上十分相似。若不满足假设，则通过域的方法匹配物体模型和区域：阈值法和连通成分标记法。,computer vision,10,3.1 区域和边缘,3 边缘边缘：图像中局部亮度变化最显著的部分边缘获取方法边缘检测边缘检测的依据检测邻近像素的变化区域的分割也可以通过边缘检测方法获得区域的轮廓或边界得到。但实际应用场合中，检测到的边缘很难保证其封闭性。Snake算法检测边界,computer vision,11,3.1 区域和边缘,4 区域和边缘之间的关
5、系 在理想图像中，一个区域是由一条封闭的轮廓线包围着，由此，区域分割和边缘检测应产生相同的结果； 边界跟踪算法：从区域中得到边界（或封闭的轮廓） 区域填充算法：从封闭轮廓得到区域 实际中的图像很少能够从区域中得到正确的边缘（原因：噪声或图像区域的灰度分布）,computer vision,12,3.2 自动阈值分割,3.2.1 分割的概念 分割是把像素聚合成区域的过程，使得：=整幅图像（ 是一个完备分割） （ 是一个完备分割） 每个区域 满足一个谓词，即区域内的所有点有某种共同的性质； 不同区域的图像，满足不同的谓词。,computer vision,13,3.2 自动阈值分割,3.2.2 自
6、动阈值分割的提出为了在各种变化的场景中都能得到鲁棒的图像分割，提出了能够根据图像灰度分布来自动选择合适阈值自动阈值分割原因：自动阈值化方法比基于固定阈值算法跟具有普遍性，能够基于物体、环境和应用领域等知识自动选取。,computer vision,14,3.2 自动阈值分割,3.2.2 自动阈值分割的提出自动阈值分割选取的知识依据：物体图像灰度特性（直方图）；物体图像的尺寸；物体在图像中所占比例；图像中不同类型物体的数量。假设一幅图像中包含有n个物体 ，并且不同区域 的灰度有不同的分布概率,computer vision,15,3.2 自动阈值分割,3.2.3 直方图方法和直方图变换法 上世纪
7、60年代中期，Prewitt提出了直方图双峰法。 基本思想是：假定一幅图像中的背景是浅色的，其中一个目标是深色的，那么统计得到的这幅图像的灰度直方图中目标像素产生了直方图上的左峰（具有正态分布 ），而背景中大量的灰度级产生了直方图上的右峰（具有正态分布 ）如图。,computer vision,16,3.2 自动阈值分割,3.2.3 直方图方法和直方图变换法 图像直方图会出现两个分离峰值，那么直方图中分割阈值的选择在两个波峰之间的波谷。,目标区域直方图正态分布,背景区域直方图正态分布,computer vision,17,3.2 自动阈值分割,3.2.3 直方图方法和直方图变换法 双峰直方图可
8、以推广到具有不同灰度值的多个物体图像中。 图像中有多个物体且有不同的灰度分布，如图：,物体1,物体2,物体3,背景,computer vision,18,3.2 自动阈值分割,3.2.3 直方图方法和直方图变换法 直方图变换：如果目标区域和背景区域之间的谷不够深，以至于无法选择一个合适的阈值，则就要对直方图进行变换。 常用的方法是将像素的梯度值作为直方图加权的方法,computer vision,19,3.2 自动阈值分割,3.2.4 最优阈值分割 最优阈值提出的原因： 一般情况下使用一个全局阈值分割出的目标和背景灰度会有部分的交错，从而产生的分割总会有一定的误差。实际中常希望尽可能减小误分割
9、（包括把目标分成背景和把背景分成目标两类）的概率，而选取最优阈值是一种常用的方法。,computer vision,20,3.2 自动阈值分割,3.2.4 最优阈值分割最优阈值算法：设有一幅含有加性高斯噪声的图像，背景和目标的概率分别是 和 ，整幅图像的混合概率密度是 ：其中 和 分别是背景和目标区域的平均灰度值， 和 分别是关于均值的均方差， 和 分别是背景和目标区域灰度值的先验概率。,computer vision,21,3.2 自动阈值分割,3.2.4 最优阈值分割 如图所示：,T,computer vision,22,3.2 自动阈值分割,3.2.4 最优阈值分割误将目标像素划分为背景
10、的概率和将背景像素错误的划分为目标的概率分别是：总的误差概率是： 为求得使该误差最小的阈值可将E(T)对T求导并令导数为零，得到:,computer vision,23,3.2 自动阈值分割,3.2.4 最优阈值分割如果目标和背景两个区域的方差相等，即表示整个图像的噪声来自同一个源， ，则只有一个最优阈值：实际中，先验概率Po和Pb在做分割之前很难得到。,computer vision,24,3.2 自动阈值分割,3.2.5 最大熵阈值分割熵是平均信息量的表征，在数字图像处理和模式识别上有很多应用。 熵的定义是： 其中p(x)是随机变量x的概率密度函数。对于数字图像，随机变量x可以是灰度级值、
11、区域灰度、梯度等特征。灰度级的最大熵就是选择一个阈值，使图像使用这个阈值分割出的两部分的一阶统计的信息量最大。,computer vision,25,3.2 自动阈值分割,3.2.5 最大熵阈值分割最早把信息论中“熵”的概念用于图像分割是由Pun提出来的，Kapur对Pun的方法进行了改进，目前使用最多的是Kapur熵法。 设分割阈值为t，则目标O与背景B的概率分布为： 目标区域和背景区域的熵的定义分别为：,computer vision,26,3.2 自动阈值分割,3.2.5 最大熵阈值分割 目标区域和背景区域的熵的定义分别为：Kapur定义的准则函数为 ，H(O) 与H(B)之和：使 最大
12、的灰度级t即是所求出的最优阈值t*，即,computer vision,27,3.2 自动阈值分割,3.2.6 最大类间方差 最大类间方差法是由Ostu提出的，是在最小二乘法原理的基础上推到得出的，算法比较简单，使用范围较广，是一种受到普遍欢迎的阈值选取方法。在Ostu方法中，阈值t把图像的像素分为 和 两类（分别代表目标与背景）。,computer vision,28,3.2 自动阈值分割,3.2.6 最大类间方差 C0和C1类出现概率及均值分别为：C0和C1类的方差：,computer vision,29,3.2 自动阈值分割,3.2.6 最大类间方差类内方差为：类间方差为：总体方差为：
13、最优阈值t*通过等价判决准则的最大值得到：,computer vision,30,3.2 自动阈值分割,3.2.7 单阈值自动分割结果比较,原始图像,最优阈值分割,最大熵分割,最大类间方差分割,computer vision,31,3.2 自动阈值分割,3.2.8 区域阈值方法遇到问题：如果场景中的照明不均匀，那么图像中不同的区域具有不同的光照环境，使用单阈值方法就不能适应所有的区域要求。处理方法：要依据一定的模型将图像分成一组子图像，然后分析每一个子图像并求出子图像的阈值，最后按照每个子图像阈值将原始图像分割。,computer vision,32,3.2 自动阈值分割,3.2.8 区域阈值
14、方法,computer vision,33,3.2 自动阈值分割,3.2.5 变量阈值化方法 变量阈值化：是在不均匀照明条件下的另一种实用的阈值化方法； 具体方法：使用简单的函数，如平面、二次曲面等，逼近不均匀照明下的物体图像与背景图像之间的分界面，此分界面很大程度上是由背景灰度值确定的。 依据：目标上一部分点的灰度值大于背景点的灰度值，而目标的另一部分点的灰度值则小于背景点的灰度值。,computer vision,34,3.2 自动阈值分割,3.2.6 双阈值方法此方法是处理一些灰度值或者属于物体或者属于背景的这种情况。处理方法：先选择一个保守的阈值T1来分离物体得到物体图像核，再使用有关
15、的算法增长图像。一种简单的区域增长方法是吸收低于第二个阈值T2且与原先物体图像点相连的所有点。,computer vision,35,3.2 自动阈值分割,3.2.6 双阈值方法区域增长的双阈值算法步骤：选择两个阈值T1和T2把图像分成三个区域：R1（IT2)查看区域R2中的每一个像素，如果某一像素邻接区域R1，则把这一像素重新分配给R1重复第3步直到没有像素被重新分配把区域R2中剩下的所有像素重新分配给R3,computer vision,36,3.2 自动阈值分割,3.2.6 双阈值方法 双阈值方法图示：,R1,R2,R3,与R1相邻点,相邻点合并到R1,其余点合并到R2,computer
16、 vision,37,3.2 自动阈值分割,3.2.7 直方图方法的局限性如果场景中不同部分有不同的照明，那么即使图像中仅包含有一个物体也无法用一个阈值来分割图像。基于直方图的阈值分割方法没有利用图像强度的空间信息，在本质上存在局限性。,computer vision,38,3.2 自动阈值分割,参考文献： 韩思奇,王蕾. “图像分割的阈值法综述” . 系统工程与电子技术. 2002,6(24)：91-102,computer vision,39,3.3 区域表示,3.3.1 阵列表示区域表示的基本形式是一个与原始图像一样大小的阵列，阵列元素表示像素所属的区域。如果阵列元i，j具有标记a，那么
17、对应的图像像素就属于区域a。这种表示最简单的情况是二值图像，只用0或1表示。,computer vision,40,3.3 区域表示,3.3.1 阵列表示另一种是使用模板，如果要判断图像中那一个像素属于某区域，只要使用此区域的二值模板重叠在原图上即可。,computer vision,41,3.3 区域表示,3.3.2 层级表示层次表示的原因：图像可以在不同分辨率下表示，低分辨率的图像尺寸小、数据量小，可以提高计算速度、减少存储容量；但是会丢失信息。层级表示的方法：在不同分辨率表示图像，首先在低分辨率下计算图像基本特性，然后再高分辨率下对图像某一区域在进行精细计算。JPEG2000,compu
18、ter vision,42,3.3 区域表示,3.3.2 层级表示 1 金字塔型（Pyramid） 如右图： n*n图像包含原图像和原图像的k个递减分辨率图像。 右中图： 是通过在2*2的邻域范围内求均值得到的。,computer vision,43,3.3 区域表示,3.3.2 层级表示 1 金字塔型（Pyramid）如果n是2的指数幂，则将图像用金字塔表示后分别是 的阵列；整个金字塔图像满足维数为2的线性阵列（22*级数）；顶层（或0层）表示单一像素，底层（或L层）表示原始图像或未被递减图像。K层的图像是通过对K+1层的若干像素组合得到的。,computer vision,44,3.3 区
19、域表示,3.3.2 层级表示 2 四叉树（Quad Tree）四叉树是二值图像金字塔表示的扩展，提包含了三种类型的节点，分别是：白、黑和灰度。四叉树是通过不断分裂图像得到的，即一个区域可以分裂成大小一样的四个子区域。,computer vision,45,3.3 区域表示,3.3.2 层级表示 2 四叉树（Quad Tree）对于每一个子区域，如果所有点或者全是黑或者全是白，则此区域不再分裂，认为是树的节点；如果同时在区域内包含有黑白两种点，则认为该区域是灰度区域，要求进一步分裂成四个子区域；这种不断分裂得到的图像区域表示用树型结构表示，树中每个节点或者是一个树叶，或者包含四个节点，称为四叉树
20、。,computer vision,46,3.3 区域表示,3.3.2 层级表示 2 四叉树 （Quad Tree） 如图：,灰,黑,computer vision,47,3.3 区域表示,3.3.3 基于特征的区域表示概念：一个区域可以使用其特征来表示，常用的特征有：最小外接矩形、几何中心、矩、欧拉数、灰度均值、方差。矩特征：对于数字图像灰度函数f(x,y)，如果它分段连续且只在XY平面上的有限个点为零，则区域的各阶矩存在。 区域的矩使用属于此区域的所有点计算的，所以有较好的抗噪声性。,computer vision,48,3.3 区域表示,3.3.3 基于特征的区域表示图像f(x,y)的p
21、+q阶矩定义为：mpq唯一的被f(x,y)确定，反之， f(x,y)唯一的确定了mpq。图像f(x,y)的p+q阶中心矩定义为：其中 ，即区域重心坐标,computer vision,49,3.3 区域表示,3.3.3 基于特征的区域表示归一化中心矩定义为：其中 ，即区域重心坐标。一般情况下，一阶矩相当于均值，二阶矩相当于与均值偏离程度（方差），三阶矩相当于分布的对称性。,computer vision,50,3.3 区域表示,3.3.4 图像分割数据结构目的：为了对图像分割的区域进行合并和分裂运算，区域必须表示成某种数据结构保存。原因：区域的分裂和合并要利用到区域之间的边界信息以及区域的总体
22、特性。 1 区域邻接图（RAG）区域邻接图表示图像中区域与区域之间的关系，它主要强调由区域构成的图像的划分和每一个划分的特性，区域的不同特性可以贮存在不同的节点数据结构中。,computer vision,51,3.3 区域表示,3.3.4 图像分割数据结构 1 区域邻接图图示：表示方式：RAG中的节点表示区域，节点与节点之间的弧线表示区域的公共边界，RAG强调的是区域之间的邻接性。RAG形成的过程：在进行给予灰度值的基元特性的初始分割后，将分割结果表示为RAG，然后可以在组合区域以得到更好的分割。,computer vision,52,3.3 区域表示,3.3.4 图像分割数据结构 1 区域
23、邻接图图示：,computer vision,53,3.3 区域表示,3.3.3 基于特征的区域表示 1 区域邻接图 区域邻接图生成算法：扫描阵列a并在每一个像素角标i,j完成下列各步；让r1=ai,j；查看像素在i,j的邻接像素k,l，对每一个邻近像素，进行下一步；让r2=ak,l，如果r1不等于r2，在区域邻接图的节点r1和r2之间增加一条弧线。,computer vision,54,3.3 区域表示,3.3.3 基于特征的区域表示 2 超级网格要求：如果要把区域分割信息（边界）存储在图像阵列中。通常：边界位于两个像素之间（亚像素），图像阵列中边界只能用实际像素表示，从而不准确。解决：将原
24、始图像扩大，即每一个像素被8个位于超级网格上的非像素点包围。nn的图像，超级网格为(2n+1)(2n+1)。从而使用超级网格中的非像素点表示边界。,computer vision,55,3.3 区域表示,3.3.3 基于特征的区域表示 2 超级网格,原始图像,阵列边界,超级网格边界,computer vision,56,3.4 区域分裂与合并,3.4.1 区域分裂与合并的目标由于高频噪声和不同区域灰度值的缓变，使阈值分割后的输出常包含有许多额外的区域。对区域的初始分割结果，要进一步细化分割，一种方法是由人通过计算机界面交互进行，另一种是计算机根据物体的特性和图像的特性自动完成。通过合并属于同一
25、物体的邻接区域来消除错误边界和虚假区域；通过分裂属于不同物体的区域来补偿边界。,computer vision,57,3.4 区域分裂与合并,3.4.2 区域合并区域合并算法： 使用阈值法进行图像的初始区域分割，然后进行连通性标记； 建立图像的RAG； 对于图像中的每一个区域，完成下步骤： 查看是否与邻接区域相似； 合并相似的区域，并修改RAG； 重复第三步，知道没有区域可以合并；,computer vision,58,3.4 区域分裂与合并,3.4.2 区域合并,区域A，与B相似,区域C，与B相似,区域B ，与A、C相似,computer vision,59,3.4 区域分裂与合并,3.4.
26、3 区域合并的相似性 评价区域相似性： 基于区域的灰度值 基于区域边界的强弱性 灰度相似性：比较区域之间的灰度值，如果灰度均值无法用预先设置的灰度标准区分，则可以认为它们相似，并确定为合并的候选区域。使用曲面拟合。假设灰度值服从一定的概率分布，根据相邻区域是否有相同的概率分布函数来考虑。,computer vision,60,3.4 区域分裂与合并,3.4.3 区域合并的相似性 统计意义下的相似性： 假设图像区域具有恒定灰度值，且有独立的加性噪声，所以图像区域服从正态分布。两个区域R1，R2包含的像素数m1，m2。 两种假设： H0：两个区域属于同一物体，则两个区域灰度值服从单一高斯分布 ；
27、H1：属于不同物体的区域，则两个区域灰度值服从不同的高斯分布 和 ；,computer vision,61,3.4 区域分裂与合并,3.4.3 区域合并的相似性 抽取区域n个样本像素，每个像素灰度值gi，服从正态分布：其中参数最大似然估计：假设H0下联合概率密度：,computer vision,62,3.4 区域分裂与合并,3.4.3 区域合并的相似性 假设H1下联合概率密度：两种假设下的似然比（概率密度比）：选择一个阈值t，如果似然比L小于t，则合并为一个区域。,computer vision,63,3.4 区域分裂与合并,3.4.4 区域分裂如果区域的某些特性不恒定，则区域要进行分裂。两
28、个问题：确定什么情况下区域的特性不恒定；如何分裂这样的区域，使得分裂后的自区域特性值恒定；,computer vision,64,3.4 区域分裂与合并,3.4.4 区域分裂 区域分裂算法： 形成初始区域； 对图像的每一个区域，连续执行下面两步： 计算区域灰度值方差 如果方差大于某一阈值，则沿着某一合适的边界分裂区域。,computer vision,65,3.4 区域分裂与合并,3.4.5 分裂和合并 区域分割的分裂与合并算法：设整幅图像为初始区域；选一个区域R，如果P(R)错误(0)，则把该区域分裂成四个子区域；考虑图像中任意两个或更多的邻接子区域R1,R2,Rn;如果 正确(1)，则把这n个区域合并成一个区域；重复上面各步，直至不能分裂与合并；,computer vision,66,思考与练习,计算机练习： 任意选取一种课堂中将的Ostu自动阈值分割算法编写程序。（计算机语言任选）,
