1、群 体 智 能,粒子群优化,粒子群优化,粒子群优化（Particle Swarm Optimization, 简称PSO）1，又称为微粒群算法，是由美国的心理学家J. Kennedy和电气工程师R. Eberhart于1995年提出的一种算法。 1 J. Kennedy and R. Eberhart. “Particle Swarm Optimization,” Proceedings of IEEE International Conference on Neural Networks, Perth, WA, 1995, pp. 1942-1948.,PSO是模拟鸟群飞行觅食行为的一种随机
2、优化算法。,Kennedy和Eberhart的初衷是研究鸟的觅食行为，建立一个模型来模拟鸟群寻找食源的现象。,Kennedy和Eberhart在实验中发现，这个模型有很强的优化能力。,将问题的搜索空间类比于鸟类的飞行空间。 将每一只鸟抽象为一个无质量无体积的微粒（Particle)，用于表征每个候选解。优化寻求最优解等同于鸟群寻找食物。 PSO为每个微粒制定了类似于鸟类运动的简单行为规则，从而使整个微粒群的运动表现出与鸟类觅食类似的特性，用于求解复杂优化问题。,PSO原理,PSO是对鸟群寻找食物这种群体行为的模拟,PSO算法,每个粒子有一个位置和一个速度。粒子通过跟踪两个“极值”来更新自己。第
3、一个就是粒子本身所找到的最优解，即pBest；另一个是整个种群的最优解，即gBest。,鸟群怎样尽量快的找到食物？,一个有效的方法就是搜寻目前离食物最近同伴的位置。,PSO算法,假设搜索空间为d维，群体（Swarm）中的粒子数为n。 在第t次迭代中，群体中第i个粒子的位置表示为：第i个粒子在飞行中所经过的最佳位置为：群体中所有粒子的 中最佳位置为：第i个粒子的位置变化速度为：,PSO算法,每个粒子的位置按如下公式变化：其中 和 为0,1间的随机数； 和 为加速系数，用来控制和 对粒子飞行方向的影响。 若粒子i的位置的第j维超过范围 ，则取边界值。 若粒子i的速度的第j维超过范围 ，则取边界值。
4、,PSO算法,速度冲量,认知项,社会项,微粒速度更新公式包括三项:,速度冲量：指引微粒继续飞行的先前微粒速度。 认知项：微粒重新返回其所经过的最好位置的趋势，既微粒本身记忆的影响。 社会项：微粒被当前最好位置吸引的趋势，既群体信息的影响。 在三部分的共同作用下，微粒根据历史经验并利用全局信息，不断 调整自己的位置，以期找到最优解。,1. 在搜索空间中随机生成n个微粒，组成微粒群; 2. 重复下列步骤：for (i=1 to n)计算微粒i的适应值 ；if then for ( j=1 to d ) / d为决策变量维数 按公式更新微粒i的第j个分量；endend 3. 如果满足终止条件，那么终
5、止算法，并输出结果.,取值为适应值最高的 ; /更新微粒全局最优点,PSO算法,PSO算法,惯性权重,速度冲量导致微粒按照先前速度方向继续移动。Yuhui Shi1提出一个惯性权重w来控制先前微粒速度的影响。1 Y. Shi, R. Eberhart. “A modified particle swarm optimizer,” Proceedings of IEEE World Congress on Computational Intelligence, Anchorage, AK, 1998, pp. 69-73.,惯性权重,PSO算法,通过调节w值，可以控制PSO的全局探索和局部开发能
6、力：,w1：微粒速度随迭代次数的增加而增加，微粒发散。0w1 ：微粒减速，算法的收敛性依靠惯性权重 和 。w0：微粒速度随迭代次数的增加而减小，最后趋近0，算法收敛。,实验表明，w=0.7298和 时算法具有较好的收敛性能。,自适应或动态惯性权重值：,Eberhart和Shi：w的线性递减策略；Shi和Eberhart：以当前惯性权重值和当前算法最优值为模糊系统的输入，给出一种惯性权重的模糊控制方法。,加速度系数,加速度系数，又称学习因子，用来控制 和 对微粒飞行方向的影响。,加速度系数,加速度系数,PSO算法,PSO中粒子的位置更新,压缩因子,Clerc和Kennedy 1 建议把压缩因子引
7、入微粒速度更新公式：,压缩因子,其中，,通常， ，压缩因子 。,1 M. Clerc and J. Kennedy, “The particle swarmexplosion, stability, and convergence in a multidimensional complex space,” IEEE Transactions on Evolutionary Computation, 2002, vol. 6, no. 1, pp. 58-73.,PSO的拓扑结构,全局PSO：群体中每个微粒跟踪的两个极值为自身最佳位置（pbest与群体最佳位置gbest。局部PSO：每个微粒跟踪
8、自身最佳位置pbest ，不跟踪群体的最佳位置，而是跟踪其拓扑邻域中所有K个微粒的最佳位置lbest，其速度更新如下：为局部邻域最佳位置。,有两类PSO：,拓扑结构：,全连接拓扑，即受gbest影响,环形拓扑，K=2, 仅受与其紧邻的两个粒子的影响,拓扑结构：,星状拓扑(star),Von Neumann 拓扑,锥形拓扑(pyramid),四聚类拓扑(clusters),全连接拓扑信息传输速度快，相应地，PSO算法收敛速度快，但是易于早熟收敛。环形拓扑信息传输速度最慢，相应地，PSO算法收敛速度慢，但是微粒有更多的机会发现最优解。,Mendes和Kennedy(2002)在对比不同拓扑结构时发
9、现：Von Neumann拓扑优于其它拓扑。,Suganthan (1999)在PSO算法初期采用局部PSO, 后期采用全局版PSO;Hu和Eberhart (2002)提出了动态拓扑结构的概念。每次迭代时选择与当前微粒最近的m个微粒作为它的新邻域。,PSO的收敛性,Van den Bergh(2002)、Trelea(2003)以及Bergh和Engelbrecht (2006) 已经证明PSO能够收敛到一个平衡状态。,那么，,对于全局版PSO 算法，如果,这意味着随着迭代次数的增加所有微粒将收敛到一个点。但是，这不意味着微粒个体最优点和全局最优点的加权和就是问题的最优解。,PSO的收敛性,
10、如果式中 ，那么，微粒仅依靠 更新其位置。,进一步，如果上述状态持续足够代数后, 那么,因此，有,进一步解释：,事实上，存在微粒群收敛到局部稳定点的可能。该局部稳定点不是问题的全局最优点，甚至不是问题的局部最优点。,PSO的收敛性,部分典型方法: Dissipative PSO (Xie, et al., 2002)-增加微粒群的多样性; PSO with mutation (Stacey, et al., 2004)-重新初始化已经收敛的微粒; PSO with passive congregation (He et al.,2004)-提高微粒群的多样性; Speciation-based
11、 PSO (Li et al., 2006 )-根据微粒之间相似程度，把整个微 粒群划分为若干类。 Self-organizing PSO (Ratnaweera, et al. 2004) -改进算法的控制参数; Multi-swarm parallel PSO, MPPSO (Belal M et al.,2004)-利用多种群思想。,防止所有或者部分微粒长期接近微粒的全局最优点，即,PSO的收敛性,一些方法： 差分算法(Differential Evolution, DE) (Zhang and Xie, 2003) 遗传算法 (Genetic algorithm, GA) (Matth
12、ew et al., 2005); 爬山法; 模拟退火(Simulated annealing, SA )(Nasser Sadati et al., 2006); 单纯形法 (Simplex method, SM) (Fan S K et al., 2007).,利用具有较强局部搜索能力的算法进一步细化/开发PSO所得结果。,二进制PSO,最初的PSO算法是从处理连续优化问题中发展起来的。Kennedy和Eberhart1首次将实数PSO扩展为二进制PSO。微粒位置为二进制向量，微粒速度仍为浮点向量； 微粒速度被逻辑函数s(v)转化为判断位置项选择0还是1的概率。1 J. Kennedy,
13、R. C. Eberhart. “A discrete binary version of the particle swarm algorithm,” Proceedings of International Conference on System, Man, and Cybernetics, 1997, Orlando, FL, pp. 4104-4109.,二进制PSO,为了防止s(v)饱和，Kennedy等建议将 限制在-4,4之间。,其中,更新公式如下：,PSO与遗传算法的区别,遗传算法强调“适者生存”，不好的个体在竞争中被淘汰；PSO强调“协同合作”，不好的个体通过学习向好的方向
14、转变。遗传算法中最好的个体通过产生更多的后代来传播基因；PSO中的最好个体通过吸引其它个体向它靠近来施加影响。遗传算法的选择概率只与上一代群体相关，而与历史无关，群体的信息变化过程是一个Markov链过程；而PSO中的个体除了有位置和速度外，还有着过去的历史信息（pBest、gBest）。,PSO的优点和缺点,优点： 易于实现； 可调参数较少； 所需种群或微粒群规模较小； 计算效率高，收敛速度快。,缺点： 基本PSO虽然收敛速度快，但有时会陷入局部最优。,PSO改进研究,位置和速度更新公式 多种群PSO 种群拓扑结构 与其他智能优化算法的混合 拓展PSO算法用于：多目标优化约束优化离散优化动态
15、优化,所用的测试函数（几个例子）,Schaffer,Griewank,Ackley,Rastrigin,函数优化数值函数优化，动态、多峰值、多目标优化 组合优化旅行商问题、车辆路由问题、布局优化问题等 生产调度工件加工问题 自动控制智能控制器优化、最优控制器的设计 机器人学路径规划、协调控制 机器学习分类、聚类、数据挖掘 图像处理图像识别、检测 机械设计形状、结构、参数的设计 神经网络训练 系统参数辨识等,PSO应用研究,PSO用于交通事故分析,提出一种基于K-mean聚类全局引导的多目标PSO用于交通事故分析。用该PSO来发现关联规则，以此寻求与交通事故严重程度相关联的因素。,文献：Chen
16、ye Qiu, Chunlu Wang, Binxing Fang, Xingquan Zuo. A multi-objective particle swarm optimization based partial classification for accident severity analysis. Applied Artificial Intelligence, 2014, 28(6): 555-576.,基于K-mean聚类的全局引导粒子选择方法,交通事故数据,交通事故数据,获得的关联规则,PSO用于云资源分配,针对在需求峰值时云资源不足的问题，提出一种基于PSO的资源分配方法，
17、将用户任务合理地分配给私有云和公有云。 构造一种自适应PSO来解决这一问题。,文献：Xingquan Zuo, Guoxiang Zhang, Wei Tan. Self-adaptive Learning PSO based Deadline Constrained Task Scheduling for Hybrid IaaS Cloud, IEEE Transactions on Automation Science and Engineering, 2014, 11(2): 564-573.,云资源分配框架,问题的定义,采用的算法,采用的算法,获得的结果,获得的结果,获得的结果,获得的结果,
