1、第一节 引言,1907年由俄罗斯数学家马尔可夫（A.Markov）提出，并由蒙特-卡罗(Mote-Carlo)加以发展。,用于分析随机事件未来发展变化的趋势，即利用某一变量的现状和动向去预测该变量未来的状态及动向，以预测未来某特定时期可能发生的变化，以便采取相应的对策。,内容：马尔可夫过程、马尔可夫链,第十四章 马尔可夫分析,设某地居民的牛奶供应由A、B、C三厂负责，每月订一次，假定牛奶固定销售给1000户顾客，要订哪厂牛奶由顾客自己选择。因广告宣传、服务质量等原因，用户会改换厂家。假设有6月份三个厂销售情况的市场调查记录，具体统计资料如下表所示：,例1,将上表的所得情况用概率矩阵的形式进行描
2、述，则有,根据以上数据可做以下工作：,预测未来某时刻各销售者的市场占有率；,预测市场是否会出现市场平衡状态（稳定市场份额）；,预测将来销售者的市场份额的得失比率；,按对市场份额得失分析销售者的推销活动，指导厂家促销。,根据以上数据预测8月1日A、B、C三厂的市场占有率，,则8月1日的状态为,其中， 向量为各厂7月份的市场占有份额（订户数与总订户数之比），则8月份A厂拥有全部顾客的23.4%，B厂为48.3%，C厂为28.3%。,第二节 正规随机矩阵的基本知识,概率向量,概率矩阵,概率矩阵具有以下性质：,性质1：,证,性质2：,证,正规概率矩阵,正规概率矩阵,非正规概率矩阵,概率矩阵具有一下性质
3、：,若A是一个正规概率矩阵，则有,例2 试用正规随机矩阵 验证上述定理,事实上，有,第三节 马尔可夫链,一、一般随机过程,1.定义：,2.马氏过程：,二、马尔可夫链,1.定义：,2.齐次马尔可夫链,一步转移概率具有以下性质：,把各状态之间的一步转移概率排成矩阵，称为状态矩阵,每个状态i对应状态矩阵P的第i行。,例3 ：（天气预报问题）,三、k步转移概率与k步转移矩阵,k步转移概率,系统从状态i恰好经k步转移到状态j的概率。,k步转移矩阵,例4：,某商店对前一天来店分别购买A、B、C牌号的顾客各100名的购买情况进行统计（每天都购买一包），统计结果如下表所示：,假定一位顾客在第一天购买牌号A的香
4、烟，试问他在 第三天购买牌号B的概率是多少呢？,求二步转移概率,根据概率乘法公式与互斥性得,更一般地，,可得齐次马氏链的二步转移概率及二步转移矩阵,上例中二步转移矩阵,进一步，还有下式成立（切普曼-柯尔莫哥洛夫方程）：,应用切普曼-柯尔莫哥洛夫方程易知：,例5:,于是，两步转移概率矩阵为,四步转移概率矩阵为,初始概率分布记为,第k步转移概率记为,由乘法公式得,写成向量形式为：,四、稳态概率,1.定义：,2.性质：,稳态概率分布与初始分布无关。,而随着步数的增大，有,性质2可以这样理解,由于,由上式知，,注：若转移矩阵为正规随机矩阵，则系统就必然存在平衡状态。,性质2同时给出了一个求解稳态概率向
5、量的方法,求解上述方程组，即得稳态概率向量X,例6：一步转移矩阵,综上所述，一般的齐次马尔可夫链具有如下性质：,五、马尔可夫分析应用实例,解： 上月购买A公司产品的顾客中，本月将有70%仍买A公司的产品，上月购买B公司产品的顾客中，本月将有10%转买A公司产品；上月购买C公司产品的顾客中，本月将有5%转买A公司产品。因此A公司产品本月占据市场分额为,描述下月各公司产品占据市场分额的概率向量为,描述一年后各公司产品占据市场分额的概率向量为,P是正规随机矩阵，故此概率向量近似于稳态概率，求解方程,例8：,（订货决策）某商店经营一种易腐食品，出售后一个单位可获利a5元。若当天售不出去，则每单位损失b
6、3元。该店经理统计了连续40天的需求情况（不是实际销售量）。现将所得数据列出如下：,3,3,4,2,2,4,2,3,4,4,4,3,2,4,2,3,3,4,2,2,4,3,4,3,2,3,4,2,3,2,2,3,4,2,4,4,3,2,3,3,经理想应用马尔可夫链来预测需求量，确定明天进货量。,已知当天需求量为3个单位，明日应进货多少单位？,若不知当天需求量，明日应进货多少单位？,解:,于是，此马尔可夫的转移概率矩阵,求解方程组,得稳态概率向量,用边际分析思想解决问题,用边际分析思想解决问题,第四节 吸收马尔可夫链,一、吸收马尔可夫链,吸收态,吸收马尔可夫链,例9：甲、乙两人进行比赛，每局比赛
7、中甲胜的概率是p，乙胜 的概率是q，和局的概率是r (p+q+r=1) 。每局赛后胜者记 “+1”分，负者记“-1”分,和局不记分，当有一个获得2分时,结束比赛。,其余三个非吸收态都可能经若干步转移后到达吸收态。,吸收马氏链将被吸收的概率为1，或说吸收马氏链 n步后，到达非吸收态的概率趋向于零。（被吸收：过程达到吸收态）,对于吸收马氏链，感兴趣的是如下三个问题：,过程被吸收前，在非吸收态之间转移的平均次数是多少？,过程从非吸收态出发到达吸收态的平均步数是多少？,过程从非吸收态出发最终进入吸收态的概率是多少？,对于一个有r个吸收态和s个非吸收态的吸收马氏链，经过适当排列（将吸收态集中在一起排列在
8、前面）的 一步转移概率矩阵P总可以表示为如下的标准形式：,例10：,解：该过程是一个吸收马氏链，它的转移概率矩阵,P的标准形式为,其中,于是,由N知，从状态2出发，在吸收前到达状态1、2、3的平均步数分别为1、2、1。,对于一个具有非吸收态的吸收马氏链，令c是有s（非吸收态个数）个分量为1的列向量，则向量tNc具有的各个分量是从各个相应的非吸收态出发到被吸收时的平均步数。,例11：续上例，求t,解,于是，从状态1、2、3开始到吸收的平均步数分别是 3、4、3。,写成矩阵形式为,例12 续上两例，由N及R，立即得,综上所述,矩阵N：给出了依赖开始状态的过程被吸收前到达每个非吸收态的平均次数。,向
9、量tNc：给出了依赖开始状态的吸收前的平均次数。,矩阵BNR：给出了依赖开始状态的在每个吸收态被吸收的概率。,例13,(企业经营状况分析)某地企业管理部门为掌握企业经营状况的变化规律，对有关企业作了一次跟踪调查统计，得如下统计表：,经营条件稳定，不妨假定为齐次马氏链。,由上表可得经营状况得转移矩阵如下：,由,求得,由 知现在经营状况好的企业，经过三年运营仍然保持好的概率为35.24；变为中等的概率为41.22%而转为“破产倒闭 ”的概率大约只为0.792，余类推。,由B知，若企业处于“好”的状况，则最终进入“兼并”的可能性为78.31；最终进入“倒闭”的可能性为21.69，余类推。,由N知，若
10、企业处于“好”的状况，则最终进入“吸收”状态前，将可能在“好”状态保持11.23年；在“中”状态度过13.85年；而在“差”状态维持7.23年，余类推。,最后，由tNc得（s3）,由t知，企业由“好”状况出发到“兼并”或“倒闭”为止，平均经过32.31年；由“中”出发只需30.78年；由 “差”出发只需26.92年。,二、银行不良债务分析的马尔可夫模型,1. 不良贷款状态划分,2. 不良贷款分析的Markov模型, 模型结构, 随机变量，表示第t月时贷款。, t 时间（月），t0,1,2,。, S 状态集合， ，其中为前面规定的贷款状态, P 状态转移矩阵，表示每隔1月的各种状态的转移情况,其
11、中：, 计算步骤,计算特征量（基本矩阵）,计算矩阵,计算 ，其中D为基期贷款中最终转为呆帐的数目；G为最终付清的贷款数目。,分析,各种状态转为呆帐及付清的概率,各种状态转为呆帐及付清的概率,例14,某银行当前借出贷款总额为470万，其中属于 状态 200万，属于 状态150万， 状态120万。而根据隔月帐面变化情况分析，近似得状态转移矩阵,根据以上信息对贷款状态变化和趋势进行分析。,其中， 是呆帐状态， 是付清状态。, 计算特征量,计算矩阵,计算,现有贷款470万中，最终可能有122.46万将成为呆帐。 逾期贷款200万中，有10.29可能转为呆帐；89.71可能付清 怀疑贷款150万中，有24可能转为呆帐；76可能付清 呆滞贷款120万中，有54.9%可能转为呆帐；45.1可能付清,
