1、第二章 禁忌搜索算法,智能优化计算,华东理工大学自动化系 2007年,2.1 局部搜索2.1.1 邻域的概念2.1.2 局部搜索算法 2.1.3 局部搜索示例 2.2 禁忌搜索2.2.1 算法的主要思路2.2.2 禁忌搜索示例 2.3 禁忌搜索的关键参数和操作2.3.1 变化因素2.3.2 禁忌表2.3.3 其他 2.4 禁忌搜索的实现与应用2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）2.4.2 基于禁忌搜索算法的系统辨识,智能优化计算,华东理工大学自动化系 2007年,2.1 局部搜索,智能优化计算,华东理工大学自动化系 2007年,函数优化问题中在距离空
2、间中，通常的邻域定义是以一点为中心的一个球体； 组合优化问题中,2.1.1 邻域的概念,2.1 局部搜索,智能优化计算,华东理工大学自动化系 2007年,例TSP问题解的一种表示方法为D=x=(i1,i2,in)| i1,i2,in是1,2,n的排列，定义它的邻域映射为2opt，即x中的两个元素进行对换，N(x)中共包含x的Cn2=n(n-1)/2个邻居和x本身。例如：x=(1,2,3,4)，则C42=6，N(x)=(1,2,3,4), (2,1,3,4), (3,2,1,4), (4,2,3,1), (1,3,2,4), (1,4,3,2), (1,2,4,3),2.1.1 邻域的概念,2.
3、1 局部搜索,智能优化计算,华东理工大学自动化系 2007年,例TSP问题解的邻域映射可由2opt，推广到kopt。 邻域概念的重要性邻域的构造依赖于决策变量的表示，邻域的结构在现代优化算法中起重要的作用。,2.1.1 邻域的概念,2.1 局部搜索,智能优化计算,华东理工大学自动化系 2007年,STEP 1选定一个初始可行解x0，记录当前最优解xbest:=x0, T=N(xbest)； STEP 2当Txbest=时，或满足其他停止运算准则时，输出计算结果，停止运算；否则，从T中选一集合S，得到S中的最好解xnow；若f (xnow)f(xbest)，则xbest := xnow ，T=N
4、(xbest)；否则T:=TS；重复SETP 2。,2.1.2 局部搜索算法,2.1 局部搜索,智能优化计算,华东理工大学自动化系 2007年,五个城市的对称TSP问题初始解为xbest=(ABCDE)，f(xbest)=45，定义邻域映射为对换两个城市位置的2-opt，选定A城市为起点。,2.1.3 局部搜索示例,2.1 局部搜索,智能优化计算,华东理工大学自动化系 2007年,五个城市的对称TSP问题方法1：全邻域搜索第1步N(xbest)=(ABCDE)，(ACBDE)，(ADCBE)，(AECDB)，(ABDCE)，(ABEDC)，(ABCED)，对应目标函数为f(x)=45, 43,
5、 45, 60, 60, 59, 44xbest:=xnow=(ACBDE),2.1.3 局部搜索示例,A B C D E,2.1 局部搜索,智能优化计算,华东理工大学自动化系 2007年,五个城市的对称TSP问题方法1：全邻域搜索第2步N(xbest)=(ACBDE)，(ABCDE)，(ADBCE)，(AEBDC)，(ACDBE)，(ACEDB)，(ACBED)，对应目标函数为f(x)=43, 45, 44, 59, 59, 58, 43xbest:=xnow=(ACBDE),2.1.3 局部搜索示例,2.1 局部搜索,智能优化计算,华东理工大学自动化系 2007年,五个城市的对称TSP问题
6、方法2：一步随机搜索第1步从N(xbest)中随机选一点，如xnow=(ACBDE)，对应目标函数为f(xnow)=43 45xbest:=xnow=(ACBDE),2.1.3 局部搜索示例,2.1 局部搜索,智能优化计算,华东理工大学自动化系 2007年,五个城市的对称TSP问题方法2：一步随机搜索第2步从N(xbest)中又随机选一点，如xnow=(ADBCE)，对应目标函数为f(xnow)=44 43xbest:=xnow=(ACBDE),2.1.3 局部搜索示例,2.1 局部搜索,智能优化计算,华东理工大学自动化系 2007年,五个城市的对称TSP问题简单易行，但无法保证全局最优性；局
7、部搜索主要依赖起点的选取和邻域的结构；为了得到好的解，可以比较不同的邻域结构和不同的初始点；如果初始点的选择足够多，总可以计算出全局最优解。,2.1.3 局部搜索示例,2.2 禁忌搜索,智能优化计算,华东理工大学自动化系 2007年,算法的提出禁忌搜索（Tabu search）是局部邻域搜索算法的推广，Fred Glover在1986年提出这个概念，进而形成一套完整算法。 算法的特点禁忌禁止重复前面的工作。跳出局部最优点。,2.2.1 算法的主要思路,http:/spot.colorado.edu/glover/,2.2 禁忌搜索,智能优化计算,华东理工大学自动化系 2007年,四城市非对称T
8、SP问题初始解x0=(ABCD)，f(x0)=4，邻域映射为两个城市顺序对换的2opt，始、终点都是A城市。,2.2.2 禁忌搜索示例,2.2 禁忌搜索,智能优化计算,华东理工大学自动化系 2007年,四城市非对称TSP问题第1步解的形式 禁忌对象及长度 候选解f(x0)=4,2.2.2 禁忌搜索示例,2.2 禁忌搜索,智能优化计算,华东理工大学自动化系 2007年,四城市非对称TSP问题第2步解的形式 禁忌对象及长度 候选解f(x1)=4.5,2.2.2 禁忌搜索示例,T,2.2 禁忌搜索,智能优化计算,华东理工大学自动化系 2007年,四城市非对称TSP问题第3步解的形式 禁忌对象及长度
9、候选解f(x2)=3.5,2.2.2 禁忌搜索示例,T,T,2.2 禁忌搜索,智能优化计算,华东理工大学自动化系 2007年,四城市非对称TSP问题第4步解的形式 禁忌对象及长度 候选解f(x3)=7.5禁忌长度的选取,2.2.2 禁忌搜索示例,T,T,T,2.2 禁忌搜索,智能优化计算,华东理工大学自动化系 2007年,四城市非对称TSP问题第4步（如果减小禁忌长度）解的形式 禁忌对象及长度 候选解f(x3)=7.5,2.2.2 禁忌搜索示例,T,T,2.2 禁忌搜索,智能优化计算,华东理工大学自动化系 2007年,四城市非对称TSP问题第5步解的形式 禁忌对象及长度 候选解f(x4)=4.
10、5,2.2.2 禁忌搜索示例,T,T,2.2 禁忌搜索,智能优化计算,华东理工大学自动化系 2007年,四城市非对称TSP问题第6步解的形式 禁忌对象及长度 候选解f(x5)=8,2.2.2 禁忌搜索示例,T,T,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌表的主要指标（两项指标）禁忌对象：禁忌表中被禁的那些变化元素禁忌长度：禁忌的步数 状态变化（三种变化）解的简单变化解向量分量的变化目标值变化,2.3.1 变化因素,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,解的简单变化,2.3.1 变化因素,2.3 禁忌搜索的
11、关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,向量分量的变化设原有的解向量为(x1, , xi-1, xi, xi+1, , xn)，向量分量的最基本变化为(x1, , xi-1, xi, xi+1, xn)(x1, , xi-1, yi, xi+1, xn)即只有第i个分量发生变化。也包含多个分量变化的情形。,2.3.1 变化因素,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,目标值的变化目标值的变化隐含着解集合的变化。,2.3.1 变化因素,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取
12、情况1：禁忌对象为简单的解变化禁忌长度为4，从2opt邻域中选出最佳的5个解组成候选集Can_N(xnow)，初始解xnow=x0=(ABCDE)，f(x0)=45，H=(ABCDE;45)。,2.3.2 禁忌表,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况1：禁忌对象为简单的解变化第1步xnow=(ABCDE)，f(xnow)=45，H=(ABCDE;45)Can_N(xnow)=(ACBDE;43)，(ABCDE;45)，(ADCBE;45)，(ABEDC;59)，(ABCED;44)。,2.3.2 禁忌表,xnext=(ACBDE)
13、,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况1：禁忌对象为简单的解变化第2步xnow=(ACBDE)，f(xnow)=43，H=(ABCDE;45)，(ACBDE;43)Can_N(xnow)=(ACBDE;43)，(ACBED;43)，(ADBCE;44)，(ABCDE;45)，(ACEDB;58)。,2.3.2 禁忌表,xnext=(ACBED),2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况1：禁忌对象为简单的解变化第3步xnow=(ACBED)，f(xnow)=43，H=(A
14、BCDE;45)，(ACBDE;43) ，(ACBED;43)Can_N(xnow)=(ACBED;43)，(ACBDE;43)，(ABCED;44)，(AEBCD;45)，(ADBEC;58)。,2.3.2 禁忌表,xnext=(ABCED),2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况1：禁忌对象为简单的解变化第4步xnow=(ABCED)，f(xnow)=44，H=(ABCDE;45)，(ACBDE;43) ，(ACBED;43) ，(ABCED;44)Can_N(xnow)=(ACBED;43)，(AECBD;44)，(ABCDE
15、;45)，(ABCED;44)，(ABDEC;58)。,2.3.2 禁忌表,xnext=(AECBD),2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况1：禁忌对象为简单的解变化第5步xnow=(AECBD)，f(xnow)=44，H=(ACBDE;43) ，(ACBED;43) ，(ABCED;44) ，(AECBD;44)Can_N(xnow)=(AEDBC;43)，(ABCED;44)，(AECBD;44)，(AECDB;44)，(AEBCD;45)。,2.3.2 禁忌表,xnext=(AEDBC),2.3 禁忌搜索的关键参数和操作,智
16、能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况2：禁忌对象为分量变化禁忌长度为3，从2opt邻域中选出最佳的5个解组成候选集Can_N(xnow)，初始解xnow=x0=(ABCDE)，f(x0)=45。,2.3.2 禁忌表,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况2：禁忌对象为分量变化第1步xnow=(ABCDE)，f(xnow)=45，H=Can_N(xnow)=(ACBDE;43)，(ADCBE;45)，(AECDB;60)，(ABEDC;59)，(ABCED;44)。,2.3.2 禁忌表,xnext=(ACB
17、DE),2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况2：禁忌对象为分量变化第2步xnow=(ACBDE)，f(xnow)=43，H=(B,C)Can_N(xnow)=(ACBED;43)，(ADBCE;44)，(ABCDE;45)，(ACEDB;58)，(AEBDC;59)。,2.3.2 禁忌表,xnext=(ACBED),2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况2：禁忌对象为分量变化第3步xnow=(ACBED)，f(xnow)=43，H=(B,C)，(D,E)Can_N(xn
18、ow)=(ACBDE;43)，(ABCED;44)，(AEBCD;45)，(ADBEC;58)，(ACEBD;58)。,2.3.2 禁忌表,xnext=(AEBCD),2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况3：禁忌对象为目标值变化禁忌长度为3，从2opt邻域中选出最佳的5个解组成候选集Can_N(xnow)，初始解xnow=x0=(ABCDE)，f(x0)=45。,2.3.2 禁忌表,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况3：禁忌对象为目标值变化第1步xnow=(ABCD
19、E)，f(xnow)=45，H=45Can_N(xnow)=(ABCDE;45)，(ACBDE;43)，(ADCBE;45)，(ABEDC;59)，(ABCED;44)。,2.3.2 禁忌表,xnext=(ACBDE),2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取情况3：禁忌对象为目标值变化第2步xnow=(ACBDE)，f(xnow)=43，H=45，43Can_N(xnow)=(ACBDE;43)，(ACBED;43)，(ADBCE;44)，(ABCDE;45)，(ACEDB;58)。,2.3.2 禁忌表,xnext=(ADBCE),2.
20、3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌对象的选取解的简单变化比解的分量变化和目标值变化的受禁范围要小，可能造成计算时间的增加，但也给予了较大的搜索范围；解分量的变化和目标值变化的禁忌范围大，减少了计算时间，可能导致陷在局部最优点。,2.3.2 禁忌表,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌长度的选取（1）t可以为常数，易于实现；（2） ，t是可以变化的数，tmin和tmax是确定的。tmin和tmax根据问题的规模确定，t的大小主要依据实际问题、实验和设计者的经验。（3） tmin和tmax的动态选择。
21、,2.3.2 禁忌表,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,禁忌长度的选取禁忌长度过短，一旦陷入局部最优点，出现循环无法跳出；禁忌长度过长，造成计算时间较大，也可能造成计算无法继续下去。（例）,2.3.2 禁忌表,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,特赦（藐视）原则（1）基于评价值的规则，若出现一个解的目标值好于前面任何一个最佳候选解，可特赦；（2）基于最小错误的规则，若所有对象都被禁忌，特赦一个评价值最小的解；（3）基于影响力的规则，可以特赦对目标值影响大的对象。,2.3.2 禁忌表,2.3 禁忌搜索的
22、关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,候选集合的确定（1）从邻域中选择若干目标值最佳的邻居入选；（2）在邻域中的一部分邻居中选择若干目标值最佳的状态入选；（3）随机选取。,2.3.3 其他,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,评价函数（1）直接评价函数，通过目标函数的运算得到评价函数；（2）间接评价函数，构造其他评价函数替代目标函数，应反映目标函数的特性，减少计算复杂性。,2.3.3 其他,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,记忆频率信息根据记忆的频率信息（禁忌次数等）来控制禁
23、忌参数（禁忌长度等）。例如：如果一个元素或序列重复出现或目标值变化很小，可增加禁忌长度以避开循环；如果一个最佳目标值出现频率很高，则可以终止计算认为已达到最优值。,2.3.3 其他,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,记忆频率信息可记录的信息：（1）静态频率信息：解、对换或目标值在计算中出现的频率；（2）动态频率信息：从一个解、对换或目标值到另一个解、对换或目标值的变化趋势。,2.3.3 其他,2.3 禁忌搜索的关键参数和操作,智能优化计算,华东理工大学自动化系 2007年,终止规则（1）确定步数终止，无法保证解的效果，应记录当前最优解；（2）频率
24、控制原则，当某一个解、目标值或元素序列的频率超过一个给定值时，终止计算；（3）目标控制原则，如果在一个给定步数内，当前最优值没有变化，可终止计算。,2.3.3 其他,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,TSP Benchmark 问题41 94;37 84;54 67;25 62;7 64;2 99;68 58;71 44;5462;83 69;64 60;18 54;22 60;83 46;91 38;25 38;24 42;58 69;71 71;74 78;87 76;18 40;13 40;82 7;62 32;58 35;45 21;41 2
25、6;44 35;4 50,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,算法流程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,初始条件禁忌长度为50从2opt邻域中随机选择200个邻域解，选出其中100个最佳解组成候选集终止步数2000,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理
26、工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741
27、 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动
28、化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,初始条件禁忌长度为10从2opt邻域中随机选择200个邻域解，选出其中1
29、00个最佳解组成候选集终止步数2000,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.74
30、1 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自
31、动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程,2.4.1 30城市TSP问题（d*=423.741 by
32、D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,运行过程比较禁忌长度50 禁忌长度10,2.4.1 30城市TSP问题（d*=423.741 by D B Fogel）,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,解决连续系统优化的禁忌搜索算法邻域引入超矩形来定义一个点的邻域,2.4.2 基于禁忌搜索算法的系统辨识,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,解决连续系统优化的禁忌搜索算法禁忌表将当前点及其目标函数值放入禁忌表中，作为禁忌区域的中心首先判断点 x 的目标函数值
33、 f(x)，如果 f(x) 跟禁忌表中的任一个函数值都不接近，则点 x 没被禁忌；如果 f(x) 跟禁忌表中点 x* 的函数值 f(x*) 接近，则判断点 x 跟点 x* 是否接近，如果接近，则点 x 被禁忌，否则就没被禁忌。,2.4.2 基于禁忌搜索算法的系统辨识,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,解决连续系统优化的禁忌搜索算法特赦原则若点 x 的目标函数值优于目前为止搜索到的最优点的目标函数值，则点 x 满足特赦规则。终止原则当达到最大迭代步数，或在一个给定的迭代步数内算法搜索到的最优点没有改善时，将终止迭代。,2.4.2 基于禁忌搜索算法的系统辨识,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,将系统辨识转化为优化问题待辨识模型：估计模型输出：准则函数：优化问题：,2.4.2 基于禁忌搜索算法的系统辨识,2.4 禁忌搜索的实现与应用,智能优化计算,华东理工大学自动化系 2007年,辨识结果辨识模型：统计结果：,2.4.2 基于禁忌搜索算法的系统辨识,第二章 结束,智能优化计算,华东理工大学自动化系 2007年,
