1、 22基于粒子群优化的高斯核函数聚类算法 于 进，钱 锋 (华东理工大学化工过程先进控制和优化技术教育部重点实验室，上海 200237) 摘 要： 针对视频帧数据在时间轴上的高斯分布特征，提出基于样本和高斯核相似性度量的聚类算法，采用度量方法考虑概率分布密度因素，同时利用改进的粒子群优化算法加速聚类过程。实验结果表明，与基于 C 均值聚类算法相比，该算法具有较强的全局搜索能力和聚类精度，在视频数据聚类分析中具有更高的效率和更佳的聚类效果。 关键词： 聚类；粒子群优化；高斯核函数；视频帧数据 Gauss Kernel Function Clustering Algorithm Based on
2、Particle Swarm Optimization YU Jin, QIAN Feng (Key Laboratory of Advanced Control and Optimization for Chemical Processes, Ministry of Education, East China University of Science and Technology, Shanghai 200237) 【 Abstract】 In view of video frequency frame data in time axis which has Gaussian distri
3、bution characteristic, a clustering algorithm based on themeasure of Gauss kernel function similarity and an Improved Particle Swarm Optimization(IPSO) is presented. The proposed algorithm can realizeaccuracy clustering by Gauss kernel function similarity measure, and speed up the clustering process
4、 by the IPSO. Experimental results show that theproposed algorithm has greater searching capability and clustering accuracy, which is superior to the C-Mean in analysis of video frequency framedata clustering. 【 Key words】 clustering; Particle Swarm Optimization(PSO); Gauss kernel function; video fr
5、equency frame data 计 算 机 工 程Computer Engineering第 36 卷 第 14 期Vol.36 No.14 2010 年 7 月July 2010博士论文 文章编号： 1000 3428(2010)14 0022 02 文献标识码： A 中图分类号： TP301.61 概述 聚类分析是根据数据属性的特征相似性，按照特定的准则作模式分类的过程。作为一种无监督的学习方法，它在数据挖掘、图像处理、模式识别、空间遥感技术 和特征提取等诸多领域中都有着广泛的应用，并取得了令人满意的效果1。 C 均值算法是解决聚类分析问题的一种经典算法，而模糊 C 均值算法 (FC
6、M)使用隶属度来描述数据对象隶属各个集合的不确定性，能够比较客观地反映现实世界。但是 FCM 存在一些缺点：对初始值敏感，对噪声数据敏感，容易陷入局部最优2。在相似性度量函数的选取上， C 均值算法一般选定数据样本与聚类中心的欧式距离作为数据对象的相似性度量。然而，实际研究对象的数据聚类集合往往符合某种概率分布，所以数据之间的相似性不一定都是点与点之间的欧式距离度量。对于视频数据，每一帧中的所有像素在时间序列中符合高斯分布3，采用数据样本与高斯核函数相似性度量的聚类算法，能使样本数据聚类在像素概率密度大的区域。另外，根据算法迭代容易陷入局部最优的情况，提出一种改进的粒子群算法，其以聚类中心作为
7、问题的解来进行优化，把聚类问题变成连续优化问题。 2 基于粒子群优化的高斯核函数聚类算法 2.1 高斯核函数相似性度量设计 对于许多在低维特征空间线性不可分的样本，引入核方法，可将低维特征空间的样本通过核函数映射到高维特征空间，增加对特征的优化，使其特征在高维特征空间线性可分，更易聚类。经实验研究表明，视频帧数据是符合高斯分布特征的。一般来说，离聚类中心 越近的样本点对聚类中心周围的统计特性越有效， 因此引进高斯概率分布函数作为核函数： ()()T1/2 1/211(, ) exp2(2)| |jj jj jdjGX Xc Xc=(1) 其中，参数集(, )jjjc = ；jc 代表第 j 个
8、聚类中心；j 代表第 j 个聚类的方差。每次迭代的参数估计可用样本均值和样本方差求法得到。根据拉格 朗日乘数法，可以得到样本数据与高斯核函数的相似性度量公式如下： T111(, ) ( ) ( ) lg| |22j jj j jXG Xc Xc =+(2) 结合 FCM 关于隶属度的概念，其目标函数定义如下： T111(, ) ( ) ( ) lg| |22nkij i j j i j jijJ G xc xc= =+ (3) 其中，ij 表示每个粒子与聚类中心的隶属度，计算聚类中心11/nnmmjijiijiicx =。 采用高斯核函数是针对数据对象具有高斯分布的特征，基金项目： 国家“ 8
9、63”计划基金资助项目 (2007AA04Z193, 2007AA041402)；国家自然科学基金资助面上项目 (60704028)；国家杰出青年科学基金资助项目 (60625302)； 长江学者和创新团队发展计划基金资助项目 (IRT0721)；高等学校学科创新引智计划基金资助项目 (B08021)；上海市基础研究基金资助重点项目 (07JC14016)；上海市重点学科建设基金资助项目 (B504) 作者简介： 于 进 (1977 )，男，博士研究生，主研方向：智能计算，模式识别；钱 锋，教授、博士 收稿日期： 2010-02-25 E-mail： 23把样本和高斯核函数相似性度量作为聚类
10、准则。相比基于欧式距离的相似性度量，该度量算法考虑了概率密度的因素，即分布密度与样本方差成反比。分布密度大时，相似性度量的权值也随之提高，在迭代过程中保证了聚类中心收敛趋向于密度最大的区域，从而提高了聚类的精确度。但是，基于样本和高斯核函数相似性度量聚类算法存在与 FCM 同样的一些缺点。因此，本文介绍一种效率高、速度快的改进粒子群算法对聚类问题进行优化求解。 2.2 改进的粒子群优化算法 粒子群优化算法 (Particle Swarm Optimization, PSO)是近年来发展最快、应用最广的智能优化算法之一。在每一次迭代中，粒子通过跟踪 2 个“极值”来更新自己的速度和新的位置： 1
11、1 2 2( 1) () ( () ( ()igvt vt cr p xt cr p xt+= + + (4) (1) () (1)xt xt vt+= + + (5) 其中， 是惯性权重；ip 代表个体极值；gp 代表全局极值；1c 和2c 分别是个体和全局的加速系数；1r 和2r 分别是 0 和 1之间的随机数；同时满足max|()|t ，max 是每次迭代的最高限速。 为了使 PSO 收敛到全局最优同时保证收敛速度，本文采用文献 4中的继承机制改进粒子群优化算法。 (1)设计继承机制加快收敛速度 设置111cr = ,222cr = ，设计惯性权重与加速系数关系为 111ifitptic
12、rpti = +,222gip tcrp ti = (6) 其中， ipti表示粒子 i 在第 t 代的个体极值； gpt表示第 t 代的全体极值； fitpti表示粒子 i 在第 t 代的适应度值。公式设计的物理意义是每次迭代中表现优秀的粒子得到的加速系数越高，越容易被别的粒子学习。这样学习的目的是去掉1r 和2r 带来的随机学习能力，加快整个群体的收敛速度。 (2)设计惯性权重 的取值保证全局收敛性 将 设置如下： 0.5 () / 2.0rand =+ (7) 其中， ()rand 表示 0,1之间的随机值。经文献 4中的实验仿真表明，式 (7)的引入增大了粒子的搜索范围，使复杂问题的解
13、能快速达到全局最优。 对 d 维的样本空间12,inX xx x x= “进行聚类， 即要找到各个聚类中心，按照各样本与该聚类中心的度量来计算隶属度。以粒子群中一个微粒代表一个类中心的集合12, , jjj jdCcc c= “ ，其中， 1, 2, ,jk= “ 表示类的个数；粒子的速度也表示成 kd 维向量；聚类中心由最近邻法则确定，若 X 满足式 (3)，则 X 属于第 j 类。使用改进的粒子群算法，粒子通过改变每一代不同的取值 (即聚类中心 )的取值从而产生多种聚类结果，直到找到可接受的聚类中心，即适应度函数达到终止条件。 2.3 算法步骤及应用 本文提出基于高斯核函数相似性度量的粒子
14、群聚类算法对图像序列中每一个像素的灰度值进行在线聚类。该方法基于以下考虑：在视频数据帧序列中，沿着时间轴的每个像素的取值成多峰分布形式，每个峰对应一个子类，每个子类代表在某时间段出现频率最大的像素集合。该算法改进了文 献 5中运算复杂、占大量内存空间等的缺点，具有较快的收敛速度和建模质量。 本文结合基于高斯核函数相似性度量的粒子群聚类算法提出的背景建模步骤如下： (1)选取视频序列中连续的 l50 帧数据。对每个像素，令聚类数目 k 为最大可能子类数 (35)， d 维数据表现为 YUV 三维格式。 (2)设定群体规模kn (本文设为 30 个 )，根据式 (6)、式 (7)分别设置学习因子与
15、惯性权重，初始化迭代的最大次数。 (3)初始化聚类中心12, , , iii idCcc c= “ ， 并对其进行编码，形成kn 个第一代粒子；计算每个粒子的个体极值ip ，和当 前种群中所有粒子中的最好位置为gp 。 (4)对每个聚类中心按式 (2)计算隶属度。 (5)按式 (3)计算每个粒子的适应度值，比较以前最优位置对应的目标函数值与当前目标函数值。如果当前值更好 (如更小 )，则用当前值取代gp ；否则，gp 保持不变。 (6)利用式 (4)更新速度并限制其最大范围， 利用式 (5)更新粒子位置并限制其范围，产生下一代的粒子群。 (7)重复步骤 (3)步骤 (6)，直到满足终止条件或者
16、达到最大迭代次数。 (8)对后续的视频帧数据与背景模型进行高斯核隶属度比较，如果不属于背景所在的类，判断为运动目标，否则判断为背景像素。 3 实验结果与分析 本实验用 FCM 方法和新提出的基于粒子群的高斯核函数聚类算法 (G-IPSO)分别对视频运动目标进行检测研究。在一般情况下，视频帧中的像素集合可简单划分为背景类和有运动目标类。实验的最终目的是找到 2 大类的聚类中心，并将 2 类图像实时进行分割操作。实验设备是 P4 2.4 GHz 和 512 MB 内存的主机，彩色 1/3“ Sony Super CCD 420 线监控摄像机，海康威视 DS-4000HC 型视音频压缩卡，采集图像分
17、辨率为 704576(YUV422 格式 )，编程环境是 Visual C+6.0。截取背景视频帧如图 1(a)所示。图 1(b)表示有运动目标出现的视频帧。该实验环境的特点是：光线变化强烈，在运动目标前有透明和不透明遮挡物，背景与运动目标的颜色相似。分别用 FCM 算法和 G-IPSO 算法对图 1(a)场景的视频中每个像素进行背景建模， 选取每个像素的 150 帧做背景聚类操作。对后续的含有运动目标的视频帧 (例如图 1(b)场景 )对这 2 个背景模型进行减法操作，属于背景模型的像素设置为黑色，运动目标的像素设置为白色，分别得到如图 1(c)和图 1(d)所示的运动目标。 (a)背景视频
18、帧 (b)有运动目标出现的视频帧 (c)处理后的运动目标 1 (d)处理后的运动目标 2 图 1 视频数据聚类效果对比 (下转第 28 页 ) 28压缩流程如下：首先，通过 VTD-XML 解析 GML 空间数据，高效的识别出结构数据和内容数据，然后对 GML 数据做 GBW 变换，再对 GBW 变换后的数据采用主流的文本压缩算法 GZip 压缩并输出。其中， VTD-XML 是一种非提取模式的 XML 解析模型， 它不仅解决了 DOM 占用内存过大的缺点，并且具有快速的解析与遍历功能，是目前遍历 XML文件速度最快的解析技术。解压缩正好是压缩的逆过程：首先对压缩的文件采用 GZip 解压缩，
19、然后做 GBW 反变换，即可得到完整的解压缩文件。 4 实验与分析 为了验证本文设计的压缩方法的性能，将其与著名的通用压缩算法 GZip 和 LZMA 在压缩率、压缩时间和解压缩时间 3 个方面作对比实验。 实验软硬件环境： Intel(R) Core(TM)2 Duo P84002.26 GHz， 2 GB RAM， VTD-XML V2.5， GZip V1.2.4， LZMA V4.65。实验数据采用广东省地理空间基础信息，涵盖了河流、公路 、铁路、湖泊 和行政边界等数十个各种真实 GML 空间数据文档。实验结果如表 3表 5 所示，这里仅列出 5 组数据，其中， GBWZip 表示本文
20、的压缩算法，LZMA 算法的字典大小设为较小的 3 KB，时间单位为 s，文件大小单位为 KB。可以看出， GBWZip 的压缩率比 GZip 高出平均约 10 个百分点， 与 LZMA 基本一致； GBWZip 与 GZip的压缩和解压缩时间差不多 (最多高 2 倍 )，而 LZMA 的压缩和解压缩时间是它们的 5 倍 10 倍。这说明 GBWZip 在提高压缩率的同时并不需要耗费大量的时间，具有一定优势。 表 3 压缩率对比 原文件大小 /KB GBWZip/(%) LZMA/(%) GZip/(%)1 244.43 79.06 78.05 62.21 3 890.86 82.28 81.
21、86 74.07 17 351.88 87.37 86.98 75.94 21 054.83 85.21 84.85 71.44 130 877.80 91.46 88.61 85.45 表 4 压缩时间对比 原文件大小 /KB GBWZip/s LZMA/s GZip/s 1 244.43 0.28 1.91 0.22 3 890.86 0.74 7.41 0.39 17 351.88 3.45 33.08 1.11 21 054.83 3.69 33.72 1.48 130 877.80 20.20 259.03 9.80 表 5 解压缩时间对比 原文件大小 /KB GBWZip/s LZ
22、MA/s GZip/s 1 244.43 0.05 0.22 0.03 3 890.86 0.10 0.56 0.06 17 351.88 0.42 2.56 0.34 21 054.83 1.00 3.19 0.36 130 877.80 2.94 10.91 1.61 5 结束语 本文构造了一种将 GML 文档的模式和数据分离的 GBW变换，并且提出一种 GML 空间数据压缩方法。实验结果表明，该方法具有较高的压缩和解压缩效率。如何进一步提高压缩率并且缩短压缩与解压缩时间是今后研究的方向。 参考文献 1 Guan Jihong, Zhou Shuigeng. GPress Towards
23、Effective GML Documents CompressionC/Proc. of the IEEE Intl Conference on Data Engineering. S. l.: IEEE Press, 2007. 2 杜成龙 , 关佶红 , 王 治 . GML 空间数据流压缩算法研究 J. 计算机工程 , 2007, 33(1): 98-100. 3 Paolo F, Fabrizio L, Giovanni M. Structuring Labeled Trees for Optimal Succinctness and BeyondC/Proceedings of th
24、e 46th IEEE Symposium on Foundations of Computer Science. S. l.: IEEE Press, 2005. 4 胡智飞 , 杨路明 , 刘 波 . 基于 XBW 变换的 XML 数据压缩查询方法 J. 计算机工程 , 2008, 34(19): 67-69. 编辑 陈 文 (上接第 23 页 ) 从图 1(c)和图 1(d)的比较中可以看出，图 1(c)得到的运动目标比图 1(d)模糊，而且含有很多噪声像素点。图 1(d)边界光滑，目标边界内外基本无噪声像素。视频帧在时间轴上自动分为 2 个聚类中心， 分别是背景类和运动目标类。 用 F
25、CM聚类算法产生的聚类中心落在样本间距离中心，而且容易收敛到局部最优，得不到精确的聚类中心，因此，对运动目标的归属判断力弱，容易出现如图 1(c)所示的误判现象。利用G-IPSO 算法是基于高斯核函数相似性度量的聚类， 聚类目标在概率分布密度最大的区域，符合视频帧数据分布的特点。 每个视频帧含有 704576=405 504 个像素，每个像素是具有 YUV422 格式的三维数据，连续取 150 帧，则需要处理的数据达到 405 5043150=182 476 800 个， 这是个非常庞大的数据， 如果选择基于梯度迭代的 FCM 算法来对视频背景建模，将耗费巨量时间。随机选取其中含有运动目标的
26、5 个像素，对此 2 种算法聚类操作所耗费的时间进行比较，如表 1所示。 表 1 聚类操作耗费时间比较 ms 聚类算法 Pixel 1 Pixel 2 Pixel 3 Pixel 4 Pixel 5FCM 13.23 12.45 12.86 13.14 12.27 G-PSO 8.87 8.36 7.25 7.16 8.93 G-IPSO 2.24 2.66 2.42 3.38 3.48 4 结束语 本文提出了基于粒子群优化的高斯核函数聚类算法。实验表明，在不考虑动态背景、遮挡等特殊情况下，该算法在机器视觉领域具有广泛的应用空间。进一步的研究将考虑改进该算法应用于室外的视频背景模型的聚类。 参
27、考文献 1 Jain A K, Murty M N, Flynn P J. Data Clustering: A SurveyJ. ACM Computer Survey, 1999, 3l(3): 264-323. 2 唐贤伦 , 庄 陵 , 李银国 , 等 . 基于粒子群优化和模糊 C 均值聚类的入侵检测 J. 计算机工程 , 2008, 34(4): 13-15. 3 Spagnolo P, Orazio T, Leo M, et al. Moving Object Segmentation by Background Subtraction and Temporal AnalysisJ
28、. Image and Vision Computing, 2006, 24(5): 4l1-423. 4 Yu Jin, Qian Feng, Qi Rongbin. Improvement of Stochastic Particle Swarm Optimization by Succession StrategyJ. Communications of the Systemics and Informatics World Network, 2008, 3: 155-159. 5 Cheng Jian, Yang Jie, Zhou Yue, et al. Flexible Background Mixture Models for Foreground SegmentationJ. Image and Vision Computing, 2006, 24(5): 473-482. 编辑 顾逸斐
