1、第五章 动态规划,动态规划问题 动态规划的基本概念 动态规划模型的建立与求解 动态规划在物流管理中的应用举例,知识目标 了解动态规划在实际中的应用； 理解动态规划的基本思想； 掌握动态规划的建模； 掌握动态规划的顺序及逆序解法。技能目标 能够结合实际情况建立动态规划模型； 能够应用顺序及逆序解法求解动态规划模型。,第一节 动态规划问题,动态规划是把多阶段决策问题作为研究对象。 所谓多阶段决策问题，是指可将问题求解的全过程划分为若干个互相联系的阶段（即将问题划分为许多个互相联系的子问题），在它的每一阶段都需要作出决策，并且在一个阶段的决策确定以后再转移到下一个阶段。往往前一个阶段的决策要影响到后
2、一阶段的决策，从而影响整个过程。把一个问题划分成若干个相互联系的阶段选取其最优策略，这类问题就是多阶段决策问题。 多阶段决策问题很多，现举出物流管理中的几个例子。,【例5-1】（生产与存储问题）工厂在3个季度中安排某种产品的生产计划。若该季度生产此种产品 （吨），则成本为 元。若当季生产的产品未销售掉，则进库，季末需付存储费，每吨产品每季的存储费为1元。现估计3个季度对该产品的需求量 分别为100吨，110吨和120吨，又设第一季度初及第三季度末库存量为零。假设每个季度产品的生产量不受限制，试问如何安排3个季度的生产计划，使产品的生产成本和存储费总和最低？,【例5-2】（载货问题）现有载重量为
3、20吨的卡车，装载3种不同的货物。已知这3种货物的单件重量和装载收费如表5-1所示，又规定货物2和货物3都至多装两件。问如何装载这3种货物，可使该车一次运输的货物收费最多？,表5-1 货物的单件重量和装载收费表,【例5-3】（仪器置换问题）某化学工厂可用 ， 三种不同仪器中的任一套去完成一项试验，每做完一次试验后，如果下次仍用原来的仪器，则需要对该仪器进行检查整修而中断试验；如果下次换用另外一套仪器，则需拆装仪器，也要中断试验。假定一次试验时间比任何一套仪器的整修时间都长，因此一套仪器换下来隔一次再重新使用时，不会由于整修而影响试验，设 仪器换成 仪器所需中断试验的时间 如表5-2所示。现要做
4、四次试验，问应如何安排使用仪器的顺序，使总的中断试验的时间最短？,表5-2 设 仪器换成 仪器所需中断试验的时间,【例5-4】（机器负荷问题）设某机器可以在高、低两种不同的负荷下进行生产。若年初有 台机器在高负荷下进行生产，则产品年产量 ，机器的年折损率 ；若年初有 台机器在低负荷下进行生产，则产品年产量 ，机器的年折损率 。若初始时有性能正常的机器1000台，要求制定机器负荷的四年分配计划，确定每年年初分配正常机器在不同负荷下工作的台数，使四年内产品总产量最大。,第二节 动态规划的基本概念,阶段（stage）：将所给问题的过程，按时间或空间特征分解成若干相互联系的阶段，以便按次序去求每阶段的
5、解，常用 表示阶段变量。 的编号方法有两种：顺序编号法，即从初始阶段编号，往后编号逐渐增大；逆序编号法，令最后一个阶段编号为1，往前编号逐渐增大，例5-5中。从 到 可分为： 到 (有三种选择 ， ， ），从 到 （ 有两种选择 ， ），再从 到 三个阶段。因此 。,基 本 概 念,状态（state）：各阶段开始时的客观条件叫做状态。描述各阶段状态的变量称为状态变量，常用 表示第 阶段的状态变量，状态变量 的取值集合称为状态集合，用 表示。 动态规划中的状态应具有如下性质：当某阶段状态给定后，在这阶段以后过程的发展不受这阶段以前各段状态的影响。也就是说，当前的状态是过去历史的一个完整总结，过程
6、的过去历史只能通过当前状态去影响它未来的发展，这称为无后效性。如果所选定的变量不具备无后效性，就不能作为状态变量来构造动态规划模型。,决策（decision）：当各阶段的状态取定以后，就可以作出不同的决策（或选择），从而确定下一阶段的状态，这种决定称为决策。表示决策的变量，称为决策变量，常用 表示第 阶段状态为 时的决策变量。在实际问题中，决策变量的取值往往限制在一定范围内，称此范围为允许决策集合，常用 表示第 阶段从状态 出发的允许决策集合，显然有 。,策略（policy）：各阶段决策确定后，整个问题的决策序列就构成一个策略。用 表示。对每个实际问题，可供选择的策略有一定范围，称为允许策略集
7、合，记作 。使整个问题达到最优的策略就是最优策略。,状态转移方程(state transfer equation)：动态规划中本阶段的状态往往是上一阶段状态和上一阶段的决策结果。如果给定了第段的状态 ，本阶段决策为 ，则第 段的状态 也就完全确定，两者的关系可用下式表示：（5-1）由于它表示了由 段到 段的状态转移规律，所以称为状态转移方程。,指标函数：用于衡量所选定策略优劣的数量指标称为指标函数。它分为阶段指标函数和过程指标函数两种。阶段指标函数是指第 段，从状态 出发，采取决策 时的效益，用 表示。 最优指标函数记为 ，它表示从第 段状态 采用最优策略 到过程终止时的最佳效益值。,动态规划
8、的基本思想与基本原理,现将动态规划方法的基本思想总结如下： （1）将多阶段决策过程划分阶段，恰当的选取状态变量、决策变量及定义最优指标函数，从而把问题化成一族同类型的子问题，然后逐个求解。 （2）求解时从边界条件开始，逆（或顺）过程方向进行，逐段递推寻优。在每一个子问题求解时，都要使用它前面已求出的子问题的最优结果。最后一个子问题的最优解，就是整个问题的最优解。 （3）动态规划方法是既把当前一段与未来各段分开，又把当前效益和未来效益结合起来考虑的一种最优化方法，因此每段的最优决策选取是从全局考虑的，与该段的最优选择一般是不同的。,动态规划的基本方程是递推逐段求解的关系， 一般的动态规划基本方程
9、可以表示为：,式中opt可根据题意取min或max， 为状态 ，决策 对应的第 阶段的指标函数值。,动态规划方法基于贝尔曼（R.Bellman）等人 提出的最优化原理，它可表示为：“一个过程的最优策略具有这样的性质：即无论初始状态及初始决策如何，对于先前决策所形成的状态而言，其以后的所有决策应构成最优策略”。 利用这个原理，可以把多阶段决策问题求解过程表示成一个连续的递推过程，由后向前逐步计算。在求解时，前面的各状态与决策，对后面的子过程来说，只相当于初始条件，并不影响后面子过程的最优决策。,第三节 动态规划模型的建立与求解,动态规划模型的建立建立动态规划的模型，就是分析问题并建立问题的动态规
10、划基本方程。成功地应用动态规划方法的关键，在于识别问题的多阶段特征，将问题分解成为可用递推关系式联系起来的若干子问题，而正确建立基本递推关系方程的关键又在于正确选择状态变量，保证各阶段的阶段变量具有递推的状态转移关系 。,建立动态规划模型的要点,一般地，建立动态规划模型的要点为： （1）分析题意，识别问题的多阶段性，按时间或空间的先后顺序适当地划分为满足递推关系的若干阶段，对非时序的静态问题要人为的赋予“时段”概念。 （2）正确的选择状态变量，使其具备两个必要特征：可知性，即过程演变的各阶段状态变量的取值，能直接或间接的确定；能够确切地描述过程的演变且满足无后效性。即由第 阶段的状态 出发的后
11、部子过程，可以看作是一个以 为初始状态的独立过程。 （3）根据状态变量与决策变量的含义，正确写出状态转移方程或转移规则。 （4）根据题意明确指标函数 ，最优指标函数 以及 阶段指标 的含义，并正确列出最优指标函数的递推关系及边界条件（即基本方程）。以上步骤是构造动态规划数学模型的基础，所有步骤完成后，即完成了动态规划数学模型的建立。这只是一个基本方法，实际建模需要更多的经验与技巧，关键是灵活地运用最优化原理。,动态规划的求解方法,动态规划的求解有两种基本方法：逆序解法（后向动态规划方法）和顺序解法（前向动态规划方法）。 在对例5-5的求解中，寻优的方向与多阶段决策过程的实际进行方向相反，即从最
12、后一段开始计算逐步前推，从而求得全过程的最优策略，这样的解法称为逆序解法；与之相反，顺序解法的寻优方向与过程的前进方向相同，计算时从第一段开始逐段向后递推，后一阶段要用到前一阶段的求优结果，最后一段计算的结果就是全过程的最优结果。,顺序解法与逆序解法本质上并无区别，一般地说，当初始状态给定时可用逆序解法，当终止状态给定时可用顺序解法。若问题给定了一个初始状态与一个终止状态，则两种方法均可使用。但若初始状态虽已给定，终点状态有多个，需比较到达不同终点状态的各个路径及最优指标函数值，以选取总效益最佳的终点状态时，使用顺序解法比较简便。总之，针对问题的不同特点，灵活的选用这两种方法，可以使求解过程简
13、化。,第四节 动态规划在物流管理中的 应用举例,在第一节中，提到动态规划在物流管理中有许多应用，下面就结合例5-4来说明其应用。,例5-4 解法,解 该问题为一个四阶段决策过程，阶段 表示第 年度。令：第年度初正常机器台数；第年度初分配在高负荷下工作的机 器台数； 台机器在第 年的产品产量：,当第年初有台正常机器时，从第年至第4年的产品最高产量。递推方程为：用逆序解法求解该问题：第一步， ，有方程：可知：,第二步， ，有方程：于是可知：,第三步， ，有方程：于是可知：,第四步， ，有方程：于是显然,本章小结,本章结合物流管理实例，提出了多阶段决策问题以及整体最优策略的确定问题。接着重点阐述了一
14、类特殊的多阶段决策问题动态规划建模的基本思想、最优化原理以及模型的建立和求解方法（逆序解法与顺序解法）。最后，给出了动态规划在物流管理中的应用实例。 本章的重点是动态规划建模以及最优化原理；难点是实际问题中动态规划模型中状态变量、决策变量、状态转移方程的确定。,案例分析,在物流管理中，经常遇到设备（如搬运机械、仪器等）更新维护的问题。由于使用时间的增加，设备必然会发生损坏和老化，从而影响设备的工作效率，进而影响公司的运作效率，而要继续保持设备的高效率，则需要花费较多的维修费用，这样会使公司的经济效益受到损失。如果淘汰该老化的设备，更换新设备，虽然会花费较多的资金，但是可以极大的提高工作效率和经济效益。因此，在物流管理中，如何进行决策，制定一个最优的设备维护更新策略，是非常重要的。下面，运用动态规划来解决设备维护更新问题。,实训设计,【实训目标】掌握常用的动态规划模型的建立和解法。 【实训内容与要求】在企业内部根据历史数据和调研获得每季度生产安排的数据。在安排工作时，能用数学语言描述某种实际要求。建立相应的递推公式，并利用动态规划方法求解，给出最优方案。 【成果与检验】能够建立相应的动态规划问题模型，利用顺序（或逆序）方法求解，得出最优方案。,
