1、第一节 引言 1907年由俄罗斯数学家马尔可夫（ A.Markov）提出，并由蒙特 -卡罗 (Mote-Carlo)加以发展。 用于分析随机事件未来发展变化的趋势，即利用某一变量的现状和动向去预测该变量未来的状态及动向，以预测未来某特定时期可能发生的变化，以便采取相应的对策。 内容：马尔可夫过程、马尔可夫链第十四章 马尔可夫分析设某地居民的牛奶供应由 A、 B、 C三厂负责，每月订一次，假定牛奶固定销售给 1000户顾客，要订哪厂牛奶由顾客自己选择。因广告宣传、服务质量等原因，用户会改换厂家。假设有 6月份三个厂销售情况的市场调查记录，具体统计资料如下表所示：2904535300C490504
2、0500B2204060200A7月 1日顾客数失得6月 1日顾客数六月份顾客的变化牛奶厂例 12904535300C4905040500B2204060200A7月 1日顾客数失得6月 1日顾客数六月份顾客的变化牛奶厂得失值及其概率2006月 1日顾客数A牛奶厂7月 1日顾客数B C300500490220 290ABC160 35 2520 450 2020 15 255将上表的所得情况用概率矩阵的形式进行描述，则有AAC维持和损失BCB 维持和获得根据以上数据可做以下工作： 预测未来某时刻各销售者的市场占有率； 预测市场是否会出现市场平衡状态（稳定市场份额）； 预测将来销售者的市场份额的
3、得失比率； 按对市场份额得失分析销售者的推销活动，指导厂家促销。根据以上数据预测 8月 1日 A、 B、 C三厂的市场占有率，则 8月 1日的状态为A厂保持率 C厂转入率B厂转入率其中， 向量为各厂 7月份的市场占有份额（订户数与总订户数之比），则 8月份 A厂拥有全部顾客的 23.4%， B厂为 48.3%， C厂为 28.3%。第二节 正规随机矩阵的基本知识 概率向量 概率矩阵概率矩阵具有以下性质：性质 1：证性质 2：证 正规概率矩阵正规概率矩阵非正规概率矩阵概率矩阵具有一下性质：若 A是一个正规概率矩阵，则有例 2 试用正规随机矩阵 验证上述定理事实上，有第三节 马尔可夫链一、一般随机
4、过程1.定义：2.马氏过程：二、马尔可夫链1.定义：2.齐次马尔可夫链一步转移概率具有以下性质：把各状态之间的一步转移概率排成矩阵，称为状态矩阵每个状态 i对应状态矩阵 P的第 i行。例 3 ：（天气预报问题）三、 k步转移概率与 k步转移矩阵 k步转移概率系统从状态 i恰好经 k步转移到状态 j的概率。 k步转移矩阵例 4： 某商店对前一天来店分别购买 A、 B、 C牌号的顾客各100名的购买情况进行统计（每天都购买一包），统计结果如下表所示：今天购买情况顾客数量前次购买品牌ABCA B C202030507030301040假定一位顾客在第一天购买牌号 A的香烟，试问他在第三天购买牌号 B的概率是多少呢？ 求二步转移概率根据概率乘法公式与互斥性得更一般地，可得齐次马氏链的二步转移概率及二步转移矩阵上例中二步转移矩阵进一步，还有下式成立（切普曼 -柯尔莫哥洛夫方程）：应用切普曼 -柯尔莫哥洛夫方程易知：例 5:于是，两步转移概率矩阵为四步转移概率矩阵为初始概率分布记为第 k步转移概率记为由乘法公式得写成向量形式为：
