6 1马尔可夫过程概念 6 2马尔可夫链 6 3切普曼 柯尔莫哥洛夫方程 第六章马尔可夫过程 6 4转移概率的遍历性与平稳分布 马尔可夫过程是一类重要的随机过程 它是在20世纪初由前苏联学者A A Markov在研究随机过程中得到的 在众多科学家的共同努力下 马尔可夫过程已成为内容丰富 理论严谨 应用广泛的一门随机数学分支 由于马尔可夫过程在信息理论 自动控制 数值计算 近代物理 交通运输 工程技术及生物科学等方面起到的异乎寻常的作用 使得现代科学家与工程技术人员越来越重视马尔可夫过程的理论及其应用的研究 本章只介绍马尔可夫过程和马尔可夫链的基本概念 以及转移概率的基本性质 1 理解马尔可夫性与马尔可夫过程概念 学会判别马尔可夫过程的方法 2 理解马尔可夫链与齐次马尔可夫链的概念 会求一步转移概率及一步转移概率矩阵 会画概率转移图 3 掌握n步转移概率求法及切普曼 柯尔莫哥洛夫方程 了解初始分布概率 会求绝对分布 4 理解转移概率的遍历性 会求平稳分布 第六章基本要求
