1、1,第3章 动态规划,2,学习要点: 理解动态规划算法的概念。 掌握动态规划算法的基本要素 （1）最优子结构性质 （2）重叠子问题性质 掌握设计动态规划算法的步骤。 (1)找出最优解的性质，并刻划其结构特征。 (2)递归地定义最优值。 (3)以自底向上的方式计算出最优值。 (4)根据计算最优值时得到的信息，构造最优解。,3,通过应用范例学习动态规划算法设计策略。 （1）矩阵连乘问题； （2）最长公共子序列； （3）最大子段和 （4）凸多边形最优三角剖分； （5）多边形游戏； （6）图像压缩； （7）电路布线； （8）流水作业调度； （9）背包问题； （10）最优二叉搜索树。,4,动态规划算法与
2、分治法类似，其基本思想也是将待求解问题分解成若干个子问题,算法总体思想,5,但是经分解得到的子问题往往不是互相独立的。不同子问题的数目常常只有多项式量级。在用分治法求解时，有些子问题被重复计算了许多次。,算法总体思想,6,如果能够保存已解决的子问题的答案，而在需要时再找出已求得的答案，就可以避免大量重复计算，从而得到多项式时间算法。,算法总体思想,T(n),7,动态规划基本步骤,找出最优解的性质，并刻划其结构特征。 递归地定义最优值。 以自底向上的方式计算出最优值。 根据计算最优值时得到的信息，构造最优解。,8,（1）单个矩阵是完全加括号的； （2）矩阵连乘积 是完全加括号的，则 可表示为2个
3、完全加括号的矩阵连乘积 和 的乘积并加括号，即,16000, 10500, 36000, 87500, 34500,完全加括号的矩阵连乘积可递归地定义为：设有四个矩阵 ，它们的维数分别是：总共有五中完全加括号的方式,完全加括号的矩阵连乘积,9,矩阵连乘问题,给定n个矩阵 ， 其中 与 是可乘的， 。考察这n个矩阵的连乘积 由于矩阵乘法满足结合律，所以计算矩阵的连乘可以有许多不同的计算次序。这种计算次序可以用加括号的方式来确定。 若一个矩阵连乘积的计算次序完全确定，也就是说该连乘积已完全加括号，则可以依此次序反复调用2个矩阵相乘的标准算法计算出矩阵连乘积,10,矩阵连乘问题,给定n个矩阵A1,A
4、2,An，其中Ai与Ai+1是可乘的，i=1，2，n-1。如何确定计算矩阵连乘积的计算次序，使得依此次序计算矩阵连乘积需要的数乘次数最少。,穷举法：列举出所有可能的计算次序，并计算出每一种计算次序相应需要的数乘次数，从中找出一种数乘次数最少的计算次序。,算法复杂度分析： 对于n个矩阵的连乘积，设其不同的计算次序为P(n)。 由于每种加括号方式都可以分解为两个子矩阵的加括号问题：(A1.Ak)(Ak+1An)可以得到关于P(n)的递推式如下：,11,矩阵连乘问题,穷举法 动态规划,将矩阵连乘积 简记为Ai:j ，这里ij,考察计算Ai:j的最优计算次序。设这个计算次序在矩阵 Ak和Ak+1之间将
5、矩阵链断开，ikj，则其相应完全 加括号方式为,计算量：Ai:k的计算量加上Ak+1:j的计算量，再加上 Ai:k和Ak+1:j相乘的计算量,12,特征：计算Ai:j的最优次序所包含的计算矩阵子链 Ai:k和Ak+1:j的次序也是最优的。 矩阵连乘计算次序问题的最优解包含着其子问题的最优解。这种性质称为最优子结构性质。问题的最优子结构性质是该问题可用动态规划算法求解的显著特征。,分析最优解的结构,13,建立递归关系,设计算Ai:j，1ijn，所需要的最少数乘次数mi,j，则原问题的最优值为m1,n 当i=j时，Ai:j=Ai，因此，mi,i=0，i=1,2,n 当ij时，可以递归地定义mi,j
6、为：,这里 的维数为,的位置只有 种可能,14,计算最优值,对于1ijn不同的有序对(i,j)对应于不同的子问题。因此，不同子问题的个数最多只有由此可见，在递归计算时，许多子问题被重复计算多次。这也是该问题可用动态规划算法求解的又一显著特征。 用动态规划算法解此问题，可依据其递归式以自底向上的方式进行计算。在计算过程中，保存已解决的子问题答案。每个子问题只计算一次，而在后面需要时只要简单查一下，从而避免大量的重复计算，最终得到多项式时间的算法,15,用动态规划法求最优解,void MatrixChain(int *p，int n，int *m，int *s) for (int i = 1; i
7、 = n; i+) mii = 0;for (int r = 2; r = n; r+)for (int i = 1; i = n - r+1; i+) int j=i+r-1;mij = mi+1j+ pi-1*pi*pj;sij = i;for (int k = i+1; k j; k+) int t = mik + mk+1j + pi-1*pk*pj;if (t mij) mij = t; sij = k; ,算法复杂度分析： 算法matrixChain的主要计算量取决于算法中对r，i和k的3重循环。循环体内的计算量为O(1)，而3重循环的总次数为O(n3)。因此算法的计算时间上界为O
8、(n3)。算法所占用的空间显然为O(n2)。,16,动态规划算法的基本要素,一、最优子结构,矩阵连乘计算次序问题的最优解包含着其子问题的最优解。这种性质称为最优子结构性质。 在分析问题的最优子结构性质时，所用的方法具有普遍性：首先假设由问题的最优解导出的子问题的解不是最优的，然后再设法说明在这个假设下可构造出比原问题最优解更好的解，从而导致矛盾。 利用问题的最优子结构性质，以自底向上的方式递归地从子问题的最优解逐步构造出整个问题的最优解。最优子结构是问题能用动态规划算法求解的前提。,同一个问题可以有多种方式刻划它的最优子结构，有些表示方法的求解速度更快（空间占用小，问题的维度低）,17,动态规
9、划算法的基本要素,二、重叠子问题,递归算法求解问题时，每次产生的子问题并不总是新问题，有些子问题被反复计算多次。这种性质称为子问题的重叠性质。 动态规划算法，对每一个子问题只解一次，而后将其解保存在一个表格中，当再次需要解此子问题时，只是简单地用常数时间查看一下结果。 通常不同的子问题个数随问题的大小呈多项式增长。因此用动态规划算法只需要多项式时间，从而获得较高的解题效率。,18,动态规划算法的基本要素,三、备忘录方法,备忘录方法的控制结构与直接递归方法的控制结构相同，区别在于备忘录方法为每个解过的子问题建立了备忘录以备需要时查看，避免了相同子问题的重复求解。,int LookupChain(
10、int i，int j) if (mij 0) return mij;if (i = j) return 0;int u = LookupChain(i，i) + LookupChain(i+1，j) + pi-1*pi*pj;sij = i;for (int k = i+1; k j; k+) int t = LookupChain(i，k) + LookupChain(k+1，j) + pi-1*pk*pj;if (t u) u = t; sij = k;mij = u;return u; ,19,关于动态规划算法和备忘录方法的适用条件,综上所述，矩阵连乘积的最优计算次序问题可用自顶向下的
11、备忘录方法或自底向上的动态规划算法在O(n3)计算时间内求解。 这两个算法都利用了子问题重叠性质。总共有(n2)个不同的子问题，对每个子问题两种算法都只解一次并记录答案。当再次遇到该子问题时，简单地取用已得到的答案，节省了计算量，提高了算法的效率。 适用条件：一般来说，当一个问题的所有子问题都至少要解一次时，用动态规划算法比用备忘录方法好。此时，动态规划算法没有任何多余的计算，还可以利用其规则的表格存取方式来减少在动态规划算法中的计算时间和空间需求。当子问题空间中部分子问题可以不必求解时，易用备忘录方法则较为有利，因为从其控制结构可以看出，该方法只解那些确实需要求解的子问题。,20,最长公共子
12、序列,若给定序列X=x1,x2,xm，则另一序列Z=z1,z2,zk，是X的子序列是指存在一个严格递增下标序列i1,i2,ik使得对于所有j=1,2,k有：zj=xij。例如，序列Z=B，C，D，B是序列X=A，B，C，B，D，A，B的子序列，相应的递增下标序列为2，3，5，7。 给定2个序列X和Y，当另一序列Z既是X的子序列又是Y的子序列时，称Z是序列X和Y的公共子序列。 给定2个序列X=x1,x2,xm和Y=y1,y2,yn，找出X和Y的最长公共子序列。,21,22,最长公共子序列的结构,设序列X=x1,x2,xm和Y=y1,y2,yn的最长公共子序列为Z=z1,z2,zk ，则 (1)若
13、xm=yn，则zk=xm=yn，且zk-1是xm-1和yn-1的最长公共子序列。 (2)若xmyn且zkxm，则Z是xm-1和Y的最长公共子序列。 (3)若xmyn且zkyn，则Z是X和yn-1的最长公共子序列。,由此可见，2个序列的最长公共子序列包含了这2个序列的前缀的最长公共子序列。因此，最长公共子序列问题具有最优子结构性质。,23,子问题的递归结构,由最长公共子序列问题的最优子结构性质建立子问题最优值的递归关系。用cij记录序列和的最长公共子序列的长度。其中， Xi=x1,x2,xi；Yj=y1,y2,yj。当i=0或j=0时，空序列是Xi和Yj的最长公共子序列。故此时Cij=0。其它情
14、况下，由最优子结构性质可建立递归关系如下：,24,计算最优值,由于在所考虑的子问题空间中，总共有(mn)个不同的子问题，因此，用动态规划算法自底向上地计算最优值能提高算法的效率。,void LCSLength(int m，int n，char *x，char *y，int *c，int *b) int i，j;for (i = 1; i =cij-1) cij=ci-1j; bij=2;else cij=cij-1; bij=3; ,构造最长公共子序列 void LCS(int i，int j，char *x，int *b) if (i =0 | j=0) return;if (bij= 1)
15、 LCS(i-1，j-1，x，b); coutxi; else if (bij= 2) LCS(i-1，j，x，b);else LCS(i，j-1，x，b); ,25,算法的改进,在算法lcsLength和lcs中，可进一步将数组b省去。事实上，数组元素cij的值仅由ci-1j-1，ci-1j和cij-1这3个数组元素的值所确定。对于给定的数组元素cij，可以不借助于数组b而仅借助于c本身在时间内确定cij的值是由ci-1j-1，ci-1j和cij-1中哪一个值所确定的。 如果只需要计算最长公共子序列的长度，则算法的空间需求可大大减少。事实上，在计算cij时，只用到数组c的第i行和第i-1行。
16、因此，用2行的数组空间就可以计算出最长公共子序列的长度。进一步的分析还可将空间需求减至O(min(m,n)。,26,3.4 最大子段和,问题描述： 给定由n个整数（包含负整数）组成的序列a1,a2,.,an，求该序列子段和的最大值。当所有整数均为负值时定义其最大子段和为0。 依此定义，所求的最优值为：例如，当(a1,a2, a3, a4, a5,a6)=(-2,11,-4,13,-5,-2)时，最大子段和为：,27,1. 一个简单算法,一个简单算法： int MaxSum(int n, a, 算法有3重循环，复杂性为O(n3)。,由于有： 算法可作如下改进： int MaxSum(int n,
17、 a, 改进后的算法复杂性为O(n2) 。,28,2. 分治方法求解,从问题的解的结构可以看出，它适合于用分治策略求解： 如果将所给的序列a1:n分为长度相等的两段a1:n/2和an/2+1:n，分别求出这两段的最大子段和，则a1:n的最大子段和有三种情形： a1:n的最大子段和与a1:n/2的最大子段和相同； a1:n的最大子段和与an/2+1:n的最大子段和相同； a1:n的最大子段和为下面的形式。 A、B这两种情形可递归求得。对于情形C，容易看出，an/2与an/2+1在最优子序列中。因此，我们可以在a1:n/2和an/2+1:n中分别计算出如下的s1和s2。则s1+s2即为出现情形C使
18、得最优值。从而设计出下面所示的分治算法。,int MaxSubSum(int a, int left, int right) int sum=0;if (left=right)sum=aleft0?aleft:0;elseint center=(left+right)/2;int leftsum=MaxSubSum(a,left,center);int rightsum=MaxSubSum(a,center+1,right);int s1=0;lefts=0;for (int i=center;i=left;i-) lefts+=ai;if (leftss1) s1=lefts;int s2=
19、0;rights=0;for (int i=center+1;is2) s2=rights;sum=s1+s2;if (sumleftsum) sum=leftsum;if (sumsightsum) sum=rightsum;return sum; ,29,3. 动态规划方法求解,在对上述分治算法的分析中我们注意到，由bj的定义易知，当bj-10时bj=bj-1+aj，否则bj=aj。由此可得计算bj的动态规划递归式bj=maxbj-1+aj，aj，1jn。 据此，可设计出求最大子段和的动态规划算法如下： int MaxSum(int n, int a) int sum=0; b=0; fo
20、r (i=1;i0) b+=ai; else b=ai; if (bsum) sum=b; return sum; 显然该算法的计算时间为O(n)。,30,4. 算法的推广,最大矩阵和问题，略 最大m子段和问题，略,31,0-1背包问题,给定n种物品U=u1,u2,un和一背包。物品i的重量是wi，其价值为vi，背包的容量为C。问应如何选择装入背包的物品，使得装入背包中物品的总价值最大?0-1背包问题是一个特殊的整数规划问题。,32,mi,j是下面两个量的最大值,mi-1,j:仅用最优方法取自u1,u2,ui-1的物品去装入体积为j的背包所得到的价值最大值,mi-1,j-wi:用最优方法取自u
21、1,u2,ui-1的物品去装入体积为j-wi的背包所得到的价值最大值加上vi,33,Knapsack(int v,int w,int c,int n,int m) for (i=0;in;i+) mi0=0;for (j=0;jc;j+) m0j=0;for (i=1;in;i+)for(j=1;jc;j+)mij=mi-1jif (wi=j)mij=max(mi-1j,mi-1,j-wi+vi ,34,0-1背包问题,设所给0-1背包问题的子问题,的最优值为m(i，j)，即m(i，j)是背包容量为j，可选择物品为i，i+1，n时0-1背包问题的最优值。由0-1背包问题的最优子结构性质，可以建
22、立计算m(i，j)的递归式如下。,算法复杂度分析： 从m(i，j)的递归式容易看出，算法需要O(nc)计算时间。当背包容量c很大时，算法需要的计算时间较多。例如，当c2n时，算法需要(n2n)计算时间。,35,3 算法描述,Void Knapsack(Type * v,int *w,int n, Type *n) int jmax=min(wn-1,c);for (int j=0;j1;i-)jmax=min(wi-1,c);for (j=0;j=w1)m1c=max(m1c,m2c-w1+v1),36,Void TraceBack(Type * *m,int w,int c,int n,int x) for (int i=1;in;i+)if (mic=mi+1c)xi=0;else xi=1;c-=wixn=(mnc)?1:0; ,37,所有点对的最短路径问题,设G=(V,E)是一个有向图，l(I,j)表示边（I,j）的长度。,是从i到j,并且不经过k+1,k+2,n,38,Floyd算法,输入：m*n维矩阵l1n,1n 输出：矩阵D,使得DI,j等于i到j的距离 D=L; For k=1:nfor i=1:nfor j=1:nDI,j=minDI,j,DI,k+Dk,j,
