1、现代优化方法综述,主讲: 王茂芝 副教授,目录,数学建模过程（补充）TSP问题及其求解蚂蚁算法遗传算法模拟退火算法神经网络方法,0 数学建模过程,读题分析建模求解后期工作,读题,目标:理清两个问题已知什么要我们做什么,分析与建模,第二是分析和解决问题以及数学建模的能力。也就是说，对于一个给定的复杂问题背景，要学会理清两个问题：一是透过问题背景告诉了我们什么已知信息；二是要求我们做什么，解决什么问题。然后紧密联系上面两个问题，实现两个量化：一是对已知条件的符号化和量化；二是对需解决问题的转化和量化。最后，再联系自己对数学知识的把握、对数学建模方法的领悟，借助一系列数学工具（方程、函数、矩阵、向量
2、等）把量化后的符号（变量）沟通起来建立数学模型。,求解与结果分析,软件求解得到初步结果结果分析结果的实际解释以及合理性检查变量(或参数)取值发生变化时对结果的影响(图示说明)自编程序求解得到更精确和完善的结果结果分析(同上)总之,针对各种不同的复杂问题背景,会实现两个转化:实际问题的数学量化和描述（数学模型的建立）数学模型求解和求解结果的实际解释和反馈（模型求解和检验）,后期工作,这些工作是重要的,也是容易被大家忽视的性能分析参数扰动、初值变化、变量(个数和取值等)改变、算法调整等等的影响分析模型的改进根据前面的分析,提出改进方向以及建立更加完善的模型模型的推广模型还能应用于哪些范围算法(求解
3、方法)的推广,1 蚂蚁算法(AC)与TSP问题,见WORD文档程序演示问题,2 遗传算法(GA),遗传算法的5要素,参数编码初始群体的设计适应度函数的设计遗传操作设计选择、交叉和变异控制参数设定主要是指初始群体大小和使用遗传操作的概率,示例,用遗传算法求解f(x)=x2的最大值,x 0,31.,编码,由于遗传算法不能直接处理解空间的解数据,因此我们必须通过编码将它们表示成遗传空间的基因型串结构数据.把变量X编码为5位长的二进制无符号整数表示形式,初始群体的生成,初始群体的数目4个初始群体的生成方式随机方式生成,适应度评估检测,遗传算法的搜索进化过程一般不需要外部信息,仅用评估函数值来评估个体或
4、解的优劣,并作为以后遗传操作的基础.评估函数值又称为适应度.这里,我们利用f(x)=x2来评估群体中的个体.为了利用适应度函数,要把基因型个体译码成表现型个体,即搜索空间中的解.,选择,选择或复制的目的是为了从当前群体中选出优良的个体,使它们有机会作为父代为下一代繁殖子孙.判断个体优良与否的准则就是各自的适应度值.这符合达尔文的理论.采用和适应度值成比例的概率方法来进行选择.具体就是首先计算群体中所有个体适应度的总和,再计算每个个体的适应度所占的比例,并以此作为相应的选择概率,由此概率可计算出每个个体被选择的次数.也可以用赌轮方式来决定.由此得到的4份复制送到配对库,以备配对繁殖.,交叉,简单
5、的交叉(一点交叉)可分两步进行首先对配对库中的个体进行随机配对其次,在配对个体中随机设定交叉处,配对个体彼此交换部分信息.需要注意的是,交叉操作是遗传算法中最主要的操作.新旧群体比较:新群体中个体适应度的平均值和最大值都有了明显的提高.遗传算法能不依靠任何搜索空间的外部知识而仅用适应度函数来指导和优化搜索的方向.,变异,变异操作是按位(bit)进行的,即把某一位的内容进行变异.一般变异概率都取值很小.变异操作是十分微妙的操作,它需要和交叉操作妥善配合使用,目的是挖掘群体中个体的多样性,克服有可能限于局部解的弊病.,遗传算法求f(x)=x2极值计算流程,SGA的特点,采用赌轮选择方法随机配对采用
6、一点交叉并生成两个子个体群体内允许相同的个体存在,问题,5个关键环节及参数设定TSP问题的遗传算法求解,3 模拟退火算法,物理背景算法描述注意事项应用实例,物理背景,在物理学中,对固体物质进行退火处理时,通常先将它加温溶化,使其中的粒子可自由运动,然后随着物质温度的下降,粒子也形成了低能态的晶格.若在凝结点附近的温度下降速度足够慢,则固体物质一定会形成最低能量的基态.对于组合优化问题来说,它也又类似的过程,也就是说物体中固体物质的退火过程与组合优化问题具有相似性.组合优化问题也是在解空间寻求花费函数最小(或最大)的解.,算法描述,我们将物理学中的退火过程引入神经网络计算中,相应的算法称之为模拟
7、退火算法(simulated annealing:sa).考察能量函数曲线.一个比较好的办法是:先让系统剧烈振动,使小球脱离A,然后轻轻摇,使小球逐步到达B,这样就寻找到了能量函数的全局极小值.,模拟退火算法描述,在神经网络系统中,设系统所有可能状态为V=v1,v2,vN,与系统相对应有一能量E,它是系统状态的函数,即E(V).设控制参数为温度T,我们的目标是找到某一个系统状态v*,使E(v*)=min(vi,viV).模拟退火思想是:让T从一个足够高的值慢慢下降,对每个T,用Metropolis抽样法在计算机上模拟该系统在此T下的热平衡状态,即对当前状态vi经过随机扰动产生一个新状态vj,计
8、算系统的能量增加E=E(vj)-E(vi),并以概率 e(-E/kT)接受vj作为当前状态.,续,初始化.任给一初始状态v0,vi=v0,计算E(v0),将参数T置一初始温度值.产生一随机扰动v,按下式计算E: E=E(vi+v)-E(vi).若E0,则转(5),否则在(0,1)区间上产生一个均匀分布的随机数若e(-E/kT) ,则转(2)用vi+v来取代原来的vi,并令E=E+ E在该T下,检验系统是否稳定,若不稳定则转(2)以某一方式取TT退火过程是否结束,否则转(2),注意事项,在上述过程中,模拟退火过程是否达到能量E的最小值,取决于T0是否足够高和T下降得是否充分慢,以及对每个T时系统是否稳定.T0初始选取均匀地随机抽样v,取E(v)的方差为T0在所有可能状态中,选取两个状态vi和vj,使差| vE|=|E(vi)-E(vj)|最大,T0为该值的某一倍数由经验给出,续,检验系统是否稳定的方法检验E的均值是否稳定检查是否连续若干步中E的变化都比较小.按一固定步长抽样T减小方式令T=aT,a0.8,0.99算法终止方式取T小于某一阈值检验系统的熵是否已达最小.,4 神经网络,连续Hopfield神经网络的理论与应用(略)问题(略),5 其它优化方法,禁忌搜索算法广义邻域搜索算法混合优化策略,
