1、1标准化切割和图像分割石剑波，基特马利克，会员摘要：本文提出了一种解决视野知觉组织问题的新途径。此方案旨在提取图像的总体影像，而不是将重点集中在图像数据的局部特征及其一致性上。我们视图像分割为图像划分问题，并且提出了一种新的国际分割标准，即图像的规范分割。规范分割的标准可用于测量不同组内的相异性和相似性。同时还发现，基于广义特征问题的高效计算机技术有助于优化此标准。此分割方法已用于分割静态图像和动态图像，其结果令人欣慰。关键词：分组，图像分割。一、介绍近 75 年前，韦特海默24指出了视觉组织的几个关键因素，诸如相似、近似、良好的延续性，这些是视觉分组的基础。然而至今，对于视觉组织计算的许多问
2、题依旧悬而未决。本篇，我们提出了这个问题的总体框架，主要侧重于具体案例的图像分割。既然分割一幅图像有多种可能性，那么怎样选择正确的那一个呢？有两个方面需要考虑：其一，没有正确的答案存在。贝叶斯的观点近似这个解释联系世界领先知识会有很多可能的方法。困难就是事先确定这些知识范围。他们可能是基础知识，例如亮度、颜色、纹理、运动的连贯性，但是同样重要的还有中级或者高难度的知识，比如对称物体或者对象模型。其二，图像分割的本质是分层和分区。因此，对于正确的分割方法而言，更适合返回一个对应的树状结构层次划分，而非单纯的平面分区。这表明，基于低级线索的图像分割不能也不该产生完全“正确”的分割。应该使用非较低水
3、平的知识，如亮度、颜色、纹理或者运动属性，以达到分层分区。中级或者高级难度的知识可被用来确定分组或者进一步选择需重视的区域。这种区域将用以进一步重新分组和分区。重要的一点是，图像分割完成的是从一幅大的图像向下分割，而非如一个画家一样首先标出重要区域然后填充细节。此前有许多关于图像分组、集群和分割问题的文献。集群社区12为我们提供了凝聚算法和分裂算法。在图像分割中，还有基于区域的合并和分割算法。层次划分方法主张首先产生一个“树” ，即树状图。这些方法主要来源于 20 世纪 70 年代或者更早时期的思想，80 年代 Markov 随机场（MRF）10的使用还引入了变分公式17，2 ，14。MRF
4、和变分公式的引进暴露了两个基本问题：（1） 、希望优化的具体标准是什么？（2） 、是否有一个有效的贯彻优化的算法？许多貌似可行的标准已经注定无法找到一个有效的算法来获得最小梯度，或者梯度下降类型方法无法得到高维非线性问题的全局最优解。我们的做法与图像理论公式的分组相关。任意特征空间里的一组点被表示为一个加权2无向图 G=(V，E)，图中的节点即为特征空间内的点，每对节点之间形成一个边缘。每条边缘线的权重 w(i，j)是与节点 i 和 j 相似性的函数。在分组方面，我们试图将其分为不相交的点集合 V1，V2Vm；测试组间相似特性发现，Vi 相似度高，且对于不同的 Vi 来说 Vj相似度低。为了划
5、分图像，首先要回答以下问题：（1） 、完美分割的精确区分标准是什么？（2） 、这样的分区方法是否高效？在图像分割和数据集群方面，之前有过很多工作，使用的方法有最小生成树的方法或者限制集合邻域方法。尽管这些方法使用了高效计算机技术，但是大部分的分割标准都基于图像的局部特性。因为知觉组织是关于场景的整体印象，正如我们前面所述的，这种划分标准往往不能达到预期的目标。在本文中，我们提出了一种新的图像分割理论来检测一幅图像分割的优劣。本文第二章将进行介绍和论证。这种分割归结起来是广义特征值问题。特征值用于合理构建图像分区，根据需要这个过程还可以继续下去（2.1） 。第三章是分组算法步骤的详细解释。第四章
6、为实验结果。分割标准的建立和总结来源于光谱图理论（第五章） 。计算机视野工作的关系将在第六章讨论，6.1 节比较基于分割理论的相关特征向量。第七章是结论。本文首先提出了所得的重要结果20。二、图的分割分组通过简单地去除连接两个部分的边缘，一幅图 G=(V，E) 能被分解成两个不相交的集合A 和 B，A B=V，A B= 。两个部分的相异程度等于去除的边界的总重量。在图像理论术语中这被称为分割：Cut(A，B)= w(u，v) (1)BvAu,一幅图像的最佳分割是指分割阈值足够小。尽管存在这样一个分割指数数值，找到一幅图像的最小分割阈值却是一个值得研究的问题，而且还有有效算法亟待解决。吴和莱西2
7、5提出了基于最小阈值分割的聚集理论。特别要指出的是，他们努力将一幅图像分为 k-子图，这样子图像分割阈值最大时，整体阈值就最小。通过递归计算能找到已经对分的图像的最小阈值。正如吴和莱西的工作所展示的那样，为了得到较好的图像分割，可以使用这种全球最优分割方法。但是最小阈值分割较适合分割图像中的小的孤立节点集合，这一点吴和莱西也注意到了。这并不奇怪，因为第一章定义的分割阈值会随着两个分割部分边缘数的增加而增加。图一所示就是这种情况。假设边缘重量与两个节点之间的距离成反比，我们能看到分割节点 n1 或 n2 的阈值很小。事实上，在右半边分割孤立节点的任意阈值都比把节点分割成左右两半的阈值要小。为了避
8、免这种分割出较小节点集合的不自然的情况发生，我们提出了两组之间的新的解离措施。不计算连接两个部分的边缘重量总值，我们以阈值作为图像中所有节点连接边缘重量总值的分母。我们称这种解离测量为归一分割（Ncut）：Ncut（A ，B ）= （2）),(),(VBasocAutasocut3式中 assoc(A,V)= w(u,t)为图像中从节点 A 到所有节点的边缘总长，assoc(B,V)定义相VtAu,似。有了这两组解离的定义，分割小孤立节点的归一分割阈值将不再很小，因为分割阈值本身占小节点与其他节点连接总量的一大部分。图一所示的案例可看出，n1 节点处分割阈值占该点所有连接的 100%。本着同样
9、的精神，我们可以定义一个已分割图像的组内归一联系：Nassoc（A ，B ）= (3),(),(VBasocAasoc式中 assoc(A，A)和 assoc(B， B)分别是节点 A 和 B 的连接边缘的总重量。我们再次看到这是一个不带偏移的措施，它反映了组内节点是如何紧紧地联结在一起的。图像定义的另一个重要的相关和非相关特性是他们自然相关：Ncut（A，B）= ),(),(Vasocutasocut= +),(),(A),(),(VBasocasoc=2-( ),(),(VBsasoc=2-Nassoc(A，B)因此，我们在分组计算中寻找的两种标准分割最大限度的减少了组间非相关性，同时增加
10、了组内相关性，事实上两者两者是相同的，可以同时满足。在算法中，我们使用归一分割作为标准分割方式。不幸的是，不可能完全降低归一分割阈值，即便是格子图这种特殊案例也不行。在附录 A 中可以找到 Papadimitriou 的证据。但是我们将证明，当把归一分割问题嵌入真值区域时，可以有效地发现一种近似离散的解决方案。2.1 计算最优分割给定一张分割成两部分（A,B）的节点图，设 x 是 N=|V|的二维向量，i 点属于集合 A则 x =1，否则为-1。设 d(i)= w(i，j)是节点 i 到其所有节点的总连线。有了这两个定i j义，我们重新写式 Ncut(A， B)为：Ncut（A，B）= ),(
11、),(VBasocAutasocut= +0),(ijixjidw0),(ijixjidw设 D 是一个 N*N 的对角矩阵，d 为对角线，W 是一个 N*N 的对称矩阵且 W(i，j)=w ， ij4K= ，且 1 是 N*1 的单位阵。利用（1+x）/2 和(1-x)/2 代替 0 和 2k2，并且 a 更小，且取值为 0 a 1/n。我们提出了这个问题。22图 16 图 a 中的实线是有适中下降速率的权重函数 ，虚线代表图 14 和图 15 的权重函数。图 b 展现了相应图表的权重矩阵 W。下面的(c)和(d)两图标明了标准化切合（第一排） 、平均切割（第二排）和平均组合（第三排）的第一
12、、第二极端特征向量。在这种情况下这三种算法都给出了正确的划分，而标准化切割提供了比其他两种切割方法更清晰的解决方法。有没有一个标准化分割值少于 值的划分，此时的c值是表中的表决权重总和的一半，c=2M(n+1)+k+3a*n。我们将看到这个图的一个好的标准化分割必须分为左右两栏。特别是，当且仅当存在一个子集S1=X1，Xn增加到k中，通过将中间栏相应的边界值代入划分的一边，正如图18b中呈现的，我们可以得到一个标准化切割值少于 的值。对于所有的其他划分，这个标准化切割值以 为下界的。首先，让我们展示以下在图18b中所表达的切割值，这里的每一边都有一个中间栏边界值子集 x1，x2，Xn加入到 k
13、中，这样就可以得到小于 的标准化切割值。将标准化切割子值代入这次切割的标准化切割值中。通过用标准化切割公式(2.2)，我们可以得到如下此公式中的c是图中的边界权重总和的一半，c=2M(n+1)+k+3a*n，并且 和 是划分图中两边的中间边界值的个数，且 。 这一项可以解释为标准化切割公式中的两项的分母不平衡个数和在-1和+1 之间的不平衡个数( 因为 )。23简化公式后，我们可以得到如下公式为了使证据更完备，我们必须呈现所有的其他划分结果可能导致标准化切割值大于或等于 。非正式地讲，可能发生的是标准化分割公式的项目的其中一个分子可能太大，或者分母很不平衡，从而进一步增加了标准化切割值。我们需
14、要考虑以下三种情况： 从图1(b)中得到的切割通过改组一些Xi的边界值以便这些在每个划分图中的子集中的Xi的总和是不相等的。对于这些切割，作为结果的标准化切割值最好是如下式取值：但是因为 ，我们可以得到如下 一个在权重矩阵 M中的得到的边界切割。即使在两边完全平衡的分母上，标准化切割值将比 更大。这些可以保证了按我们的选择构建 。我们呈现如下这是正比关系，因为构建 时an1(用 )。24图17 标准化切割和平均组合都应用在图10的斑马图像。子图a表现了 的第二大特征向量，其与标准化切割向量相近。子图b-e表现了 的第一大到第四大特征向量，它们与平均组合向量相近，并且都用了相同的图权重函数。在这
15、个图中，斑马身体的像素点平均没有背景的像素点的连贯性低。可以发现逼近紧得簇的趋势的平均组合与背景的唯一的小簇区分开来。标准化切割算法，可以平衡划分和组合去发现这种情况下的最好的划分。 一个作为一组的中间的一些节点的划分的切割。我们可以看见得到的 的之一的任何切割值可以提高它的标准化切割值通过得到权重a的边界值。因此，我们将关注这种情况，而这种情况的切割值之可以由权重a的边界值得到。设想 的m边界值分成一组，将全部的权重加入到x中，那里 。相应的标准化切割值如下这里的下界是 。而且 的进一步扩展如下这里 ，故检查可以发现 是一个不递减函数，并且具有当m=1时有最小值 。为了证明不等式 ，我们需要
16、建立不等式25或或或因为c=B+2k，代入，由于an1，如果以下不等式成立则证明成立或由于nk， ，我们只需证明 或者 。这是因为c=2M(n+1)+k+3a并且 。图18 (a)图为有规律栅格的权重函数。网格缺失的边缘权重为0。与整数 相比，M是多位数 ，并且a是一个非常小的数 。(b)图为标准化切割值小于 的切割。这个切割的权重为 a或na，并且每一边的划分值 的总和为k。26鸣谢感谢这个研究的支持单位(ARO)DAAH04-96-1-0341和国家科学基金与研究生奖学金。我们要感谢克里斯托给我们提供了栅格中的标准化切割的无法解决的问题的证据。另外，我们要感谢沃兹内尼和阿里斯特关于图表理论
17、算法的研究，与艾登杰特和马克阿达姆斯的数值程序包的指针使用方法。感谢托马斯梁，比娄吉，耶尔外斯和伯克利大学的计算机视觉研究组的其他同仁在算法反馈方面给予的帮助。27参考2829石剑波，1994年获得康奈尔大学的硕士学位，且本科主修计算机科学与数学。他1998年获得伯克利市的加利福尼亚大学的计算机科学的博士学位。1999年之后，他成为卡内基梅隆大学机器人研究所的一名教员，在那里他的主要研究方向为图像分割、分组、目标识别、运动和形状分析和机器学习。基特马利克，1980年获得印度理工学院的电气工程专业的硕士学位，并且于1986年获得斯坦福大学的计算机科学专业的博士学位。在1986年1月，他成为贝克利
18、市的加利福尼亚大学的电子工程与计算机科学的计算机科学划分组的教员，而现在他是那里的一个教授。在1995-1998年之间，他也担任了研究生事务处的副主席。他是伯克利大学的认知科学与视觉科学团体的一员。他的研究兴趣是电脑视觉和人类视觉的计算机建模。它的工作范围很广，包括图像分割和分组、纹理、影像学建模和渲染、基于内容的图像查询、智能车辆高速公路系统。他已经发表或合著了超过80篇的关于这些主题的论文。在1980年，他获得了电子工程专业的优秀应届毕业生的金牌。在1989年，他获得了一个总统年轻调查员奖。在1993年，他称为了剑桥大学的牛顿数学科学学院的计算机视觉联盟的一个成员。他是一个国际化计算机视觉杂志的主编。他也是IEEE的会员。
