1、动态最优化方法 第 13讲 动态规划的经济学应用第十三讲 动态规划的经济学应用 （一）经济学的动态规划建模步骤 （ 1）根据多阶段决策的经济问题，将过程进行适当的分段（按时间或空间划分）； （ 2）正确选择状态变量 ，是它既能描述过程，又能满足无后效性。明确初始状态 （ 3）确定决策变量 以及每个阶段的允许策略集合 （ 4）写出状态转移方程：kxnk ,2,1,0 ku kk uD kkkk uxTx ,1 0x第十三讲 动态规划的经济学应用 （一）经济学的动态规划建模步骤 （ 5）明确各个阶段的一期报酬函数：确定整个阶段的目标函数： （ 6）写出多阶段决策模型 nnnkkkknn xvuxv
2、xxxV 1010,0 , kkk uxv , 给定01101,2,1,2,1,xnkuDunkuxTxTSxvuxvM a xkkkkkkknnnkkkk第十三讲 动态规划的经济学应用 （一）经济学的动态规划建模步骤 （ 7）定义值函数： （ 8）写出动态规划基本方程（贝尔曼方程）： knkknknkkkknkuukk xpxVuuuuxVM a xxfnk* ,121, ,1 *111,0,1,2,1,m a xkkkkkkkkkxDxukkuxTxnnkxfuxvxfkkkk其中：第十三讲 动态规划的经济学应用 （一）经济学的动态规划建模步骤 （ 9）求欧拉方程：把状态转移方程 代入贝尔
3、曼方程：右边式子对控制变量求取最大化一阶条件，得：贝尔曼方程对状态变量使用包络定理，得（本尼维斯特 沙因克曼公式）： kkkk uxTx ,1 0,11 kkkkkkkkkkuuxTdxdfuuxv 111111 ,kkkkkkkkkkkkxuxvdxdfxuxvdxdf kkkkkkkxDxukk uxTfuxvxfkkkk,m a x 1 第十三讲 动态规划的经济学应用 （一）经济学的动态规划建模步骤 （ 9）求欧拉方程：把由包络定理 得出的 代入：得欧拉方程：（关于某变量的差分方程，可用差分方程法求解或用迭代法模拟解的路径） 111111 ,kkkkkkxuxvdxdf 0,11 kkk
4、kkkkkkkuuxTdxdfuuxv 0,1111 kkkkkkkkkkkkuuxTxuxvuuxv第十三讲 动态规划的经济学应用 （二）贴现形式的无限期动态规划目标函数具有贴现形式：（ 1）带贴现的平稳无限期多阶段决策模型 10, kkkkkk uxvuxv 给定0101,2,1,2,1,xnkUunkuxTxTSuxvM a xkkkkkkkk 第十三讲 动态规划的经济学应用 （二）贴现形式的经济学动态规划求解（ 2）定义值函数：（ 3）贝尔曼方程： *11,0,1,2,1,m a xkkkkkkxDxukuxTxnnkxfuxvxfkkkk其中： 0,21, ,11 iikikiuuk
5、kkknkuukuxvM a xuuuxVM a xxfkkkk第十三讲 动态规划的经济学应用 （二）贴现形式的经济学动态规划求解（ 4）欧拉方程：把状态转移方程 代入贝尔曼方程：右边式子对控制变量求取最大化一阶条件，得：贝尔曼方程对状态变量使用包络定理，得： kkk uxTx ,1 0,11 kkkkkkkkuuxTdxxdfuuxv 11111 ,kkkkkkkkkkxuxvdxxdfxuxvdxxdf kkkkxDxuk uxTfuxvxfkkkk,m a x 第十三讲 动态规划的经济学应用 （二）贴现形式的经济学动态规划求解（ 4）欧拉方程：把由包络定理 得出的 代入：得欧拉方程： 1
6、1111 ,kkkkkxuxvdxxdf 0,111 kkkkkkkkkuuxTxuxvuuxv 0,11 kkkkkkkkuuxTdxxdfuuxv 第十三讲 动态规划的经济学应用 （三）确定性动态规划的经济学例子 （ 1）确定性条件下的储蓄消费者的目标：选择每期消费实现长期的效用最大化： t期初的财富； ： t期的劳动力收入；： t期储蓄利率； ： t期的消费 给定010,2,1,0AtcyARATScUM a xtttttttt tA tytR tc第十三讲 动态规划的经济学应用 （二）几个确定性例子 （ 1）确定性条件下的储蓄状态变量定义为：控制变量定义为：转移方程为：因为：一期报酬函
7、数 变为： 1, ttt RyA（储蓄）tttttt cyAARs 11ttt sRA 1 tt uxv , tttttttttt syAUARyAUcU 1111 ttttt ARyAc第十三讲 动态规划的经济学应用 （二）几个确定性例子 （ 1）确定性条件下的储蓄定义值函数：贝尔曼方程： ttttttsttt RyAfsyAUM a xRyAft, 111 0,10,11,iitititisstttiikikiuuksyAUM a xRyAfuxvM a xxfttkk得：由：第十三讲 动态规划的经济学应用 （二）几个确定性例子 （ 1）确定性条件下的储蓄把状态转移方程 代入贝尔曼方程：右
8、边式子对控制变量求取最大化一阶条件，得：ttt sRA 1 tttttttsttt RysRfsyAUM a xRyAft, 11 0,0,0,111111ttttttttttttttttttttttttttttttARysRfRcURARysRfssyAcUssRARysRfssyAU第十三讲 动态规划的经济学应用 （二）几个确定性例子 （ 1）确定性条件下的储蓄贝尔曼方程对状态变量使用包络定理，得：（本尼维斯特 沙因克曼公式） 1111111,tttttttttttttttttttttttttttttkkkkkcUARyAfcUARyAfdAsyAdsyAUARyAfAsyAUdARyAd
9、fxuxvdxxdf即：第十三讲 动态规划的经济学应用 （二）几个确定性例子 （ 1）确定性条件下的储蓄得到关于 St的欧拉方程为： 0,111111ttttttttttttARysRfRcUcUARyAf代入最大化一阶条件：沙因克曼公式：把本尼维斯特 01 ttt cURcU 和贴现率费的边际效用乘上利率等于分配到下一期的消费的边际效用：分配到这一期要的消最优的消费选择应使得规则）经济学含义：（拉姆齐欧拉方程 1: ttt cURcU 第十三讲 动态规划的经济学应用 （二）几个确定性例子 （ 2）最优增长消费者的目的是最大化效用： 给定00,2,1,0010kctkykcTScUMa xtt
10、ttttt 人均资本产出函数人均资本存量；人均消费；:tttkykc第十三讲 动态规划的经济学应用 （二）几个确定性例子 （ 2）最优增长状态变量为： 控制变量为：一期报酬函数 变为：定义值函数：贝尔曼方程：tk 1tk tt uxv , 1 tt kkyU 111 tttktkfkkyUM a xkft 01,0,211,iititikktiikikiuukkkyUM a xkfuxvM a xxfttkk得：由：第十三讲 动态规划的经济学应用 （二）几个确定性例子 （ 2）最优增长右边式子对控制变量求取最大化一阶条件： 00011111111111tttttttttttttttkfkkyU
11、kkfkkkykkyUkkfkkkyU 111 tttktkfkkyUM a xkft第十三讲 动态规划的经济学应用 （二）几个确定性例子 （ 2）最优增长贝尔曼方程对状态变量使用包络定理，得：（本尼维斯特 沙因克曼公式） 121111,tttttttttttttkkkkkkykkyUkfkykkyUkfkkkyUdkkdfxuxvdxxdf即： 111 tttktkfkkyUM a xkft第十三讲 动态规划的经济学应用 （二）几个确定性例子 （ 2）最优增长 012111 ttttttkykkyUkkyUk的欧拉方程：得关于控制变量 0111211tttttttkfkkyUkykkyUkf
12、代入最大化一阶条件：沙因克曼公式：把本尼维斯特 出和贴现率效用乘上资本的边际产剩下的消费的边际等于下一期投资的当期消费的边际效用，剩下投资使得：分配给这一期的最优投资路径的选择应经济含义：欧拉方程：211211tttttttkkkykkyUkkyU 第十三讲 动态规划的经济学应用 （三）不确定性动态规划问题 （ 1）基本形式引入不确定性：为独立同分布的随机变量序列（不确定因素）不确定因素影响着状态变量：（状态变量为随机变量）目标函数是最大化期望值：（ 表示在 t期的已知信息情况下随机变量 y的数学期望）t 11 , tttt uxgx 00 ,tttt uxrE yEt第十三讲 动态规划的经济
13、学应用 （三）不确定性动态规划问题 （ 1）基本形式不确定动态规划问题的形式：贝尔曼方程： 给定01100,2,1,0,xtuxgxTSuxrEM a xtttttttt ttttttut xuxgVEuxrxVt ,m a x 第十三讲 动态规划的经济学应用 （三）不确定性动态规划问题 （ 2）随机欧拉方程贝尔曼方程右端的一阶必要条件：贝尔曼方程应用包络定理，得：由上边两式联立得，随机欧拉方程： 0, ttttttttttt xuxgVuuxgEuuxr 1111, tttttttt xuxrxVxuxrxV 0,111 xtttttttttttxuxruuxgExuxr 第十三讲 动态规划
14、的经济学应用 （四）不确定性动态规划举例 （ 1）回报为随机时的消费消费者试图最大化： 给定0100,2,1,0AtcARATScUEMa xttttttt 第十三讲 动态规划的经济学应用 （四）不确定性动态规划举例 （ 1）回报为随机时的消费状态变量定义为：控制变量定义为：转移方程为：报酬函数为：贝尔曼方程： 1, tt RA ttt cAs tttttt sRcARA 1 ttttttstt RRsVEsAUM a xRAVt, ttt sAUcU 第十三讲 动态规划的经济学应用 （四）不确定性动态规划举例 （ 1）回报为随机时的消费贝尔曼方程右端的最大化一阶条件：对贝尔曼方程应用包络定理
15、，得：将此公式应用于一阶条件，得欧拉方程： 0, tttttt RRRsVEcU ttt cURAV 1, tttt RcUEcU 1 第十三讲 动态规划的经济学应用 （四）不确定性动态规划举例 （ 2）最优消费 资产组合模型经济中由 J种风险资产。定义：投资者的目标：投资于 j种风险资产，获得收益，实现长期消费效用的最大化。 期的效用。投资者在期的消费；投资者在期拥有的财富；投资者在时刻的总收益率；到从风险资产的货币数量；期投资于风险资产投资者在t:t:t:1ttj:jt:1,ttttjtjCUCWRN第十三讲 动态规划的经济学应用 （四）不确定性动态规划举例 （ 2）最优消费 资产组合模型问题表述为： 1,1,11,00,2,1,0tjJjtjtJjtjtttttRNWtNCWTSCUEMax第十三讲 动态规划的经济学应用 （四）不确定性动态规划举例 （ 2）最优消费 资产组合模型定义状态变量：定义控制变量：状态转移方程：定义值函数：贝尔曼方程为：tWtjN, 0kktktt CUEM a xWV 1 tttt WVECUM a xWV 1,1,1 tjJjtjt RNW
