1、马尔可夫过程及其应用一 马尔可夫过程的简介马尔科夫过程(MarKov Process)是一个典型的随机过程。设 X(t)是一随机过程，当过程在时刻 t0 所处的状态为已知时，时刻 t(tt0)所处的状态与过程在 t0 时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔科夫过程为马尔科夫链。马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。二 马尔可夫过程的一般概念2.1 定义设有一随机过程 X(t)，tT，若在 t1,t1,tn-1,tn(t1=02) FX(;t|x
2、0;t0)=13) FX(-;t|x0;t0)=04) FX(x;t|x0;t0)是关于 x 的单调非降、右连续的函数。5) 满足切普曼-科尔莫哥洛夫方程 011010;|;|;|,XXXFxtFtdxtdfx应用全概率公式,可以证明上式成立。2.3 转移概率密度如果 FX(x;t|x0;t0)关于 x 的导数存在,则:00;| ;|XXftFxt称之为马尔科夫过程的转移概率密度。反之，可得 0 00;| ;|;|x xXXXfutdutxxt并且还有 00;| ;|1XXfxtFt0|tx 此时，无后效性可表示为 12121;|;,;,Xnnnfxtxttt 马氏过程的转移概率密度也满足切普
3、曼-科尔莫哥洛夫方程 ;| ;|;|,XnkXnrXrkrnrkfxtfxtfxtdxtt 三 马尔可夫过程的统计特性及性质由前面的内容可知，随机过程的统计特性可由有限维联合概率分布来近似的描述。对于马尔科夫过程来说，其维概率密度可以表示为121212121211122111,;,|;,;,;|;|;|;|,XnnnXnnXnnXnn Xii nifxttxtfxttfxttfttftxftx 当取 t1 为初始时刻时，fx(x1,t1)表示初始概率分布(密度)。上式表明：马氏过程的统计特性完全由它的初始概率分布（密度）和转移概率分布（密度）所确定。上面已经介绍了马氏过程的定义及一些特征，下面
4、给出马氏过程的几个有用性质。1) 同马尔科夫序列的情况一样，逆向的马尔科夫过程仍为马尔科夫过程。对任意的整数 n 和 k，有 1212;|,;,;Xnknnknfxtxttt 2) 若马尔科夫过程的现在状态已知，则将来状态与过去状态无关。若 tntrts 则在已知Xr(过程在 t 时刻的条件下) ，随机变量 Xn 和 Xs 是独立的，满足,;|;|;|XnsrXnrXsrfxxtfxtfxt3) 若对每个 t=t1t2，X(t2)-X(t1)与 X(t)皆是独立的，则过程 X(t)是马氏过程。4) 由转移概率密度的无后效性可推出 11 1|, |nn nnEtttEtt 四马尔可夫过程的应用4
5、.1 马尔可夫应用概述马尔可夫随机过程的发展史说明了理论与实际之间的密切关系。许多研究方向的提出，归根到底是有其实际背景的。反过来，当这些方向被深入研究后，又可指导实践，进一步扩大和深化应用范围。下面简略介绍一下马尔可夫随机过程本身在各方面的应用情况。在物理学方面，高能电子或核子穿过吸收体时，产生级联（或倍增）现象,在研究电了-光子级联过程的起伏问题时，要用到随机过程，常以泊松过程、弗瑞过程或波伊亚过程作为实际级联的近似，有时还要用到更新过程（见点过程）的概念。当核子穿到吸收体的某一深度时，则可用扩散方程来计算核子的概率分布。物理学中的放射性衰变，粒子计数器，原子核照相乳胶中的径迹理论和原子核
6、反应堆中的问题等的研究，都要用到泊松过程和更新理论。湍流理论以及天文学中的星云密度起伏、辐射传递等研究要用到随机场的理论。探讨太阳黑子的规律及其预测时，时间序列方法非常有用。 化学反应动力学中，研究化学反应的时变率及影响这些时变率的因素问题,自动催化反应，单分子反应,双分子反应及一些连锁反应的动力学模型等，都要以生灭过程（见马尔可夫过程）来描述。 随机过程理论所提供的方法对于生物数学具有很大的重要性，许多研究工作者以此来构造生物现象的模型。研究群体的增长问题时，提出了生灭型随机模型，两性增长模型，群体间竞争与生尅模型，群体迁移模型，增长过程的扩散模型等等。有些生物现象还可以利用时间序列模型来进
7、行预报。传染病流行问题要用到具有有限个状态的多变量非线性生灭过程。在遗传问题中，着重研究群体经过多少代遗传后，进入某一固定类和首次进入此固定类的时间，以及最大基因频率的分布等。 许多服务系统，如电话通信，船舶装卸，机器损修，病人候诊，红绿灯交换，存货控制，水库调度，购货排队，等等，都可用一类概率模型来描述。这类概率模型涉及的过程叫排队过程，它是点过程的特例。排队过程一般不是马尔可夫型的。当把顾客到达和服务所需时间的统计规律研究清楚后，就可以合理安排服务点。 在通信、雷达探测、地震探测等领域中，都有传递信号与接收信号的问题。传递信号时会受到噪声的干扰，为了准确地传递和接收信号，就要把干扰的性质分
8、析清楚，然后采取办法消除干扰。这是信息论的主要目的。噪声本身是随机的，所以概率论是信息论研究中必不可少的工具。信息论中的滤波问题就是研究在接收信号时如何最大限度地消除噪声的干扰，而编码问题则是研究采取什么样的手段发射信号，能最大限度地抵抗干扰。在空间科学和工业生产的自动化技术中需要用到信息论和控制理论，而研究带随机干扰的控制问题，也要用到马尔可夫随机过程。4.2 马尔可夫应用举例假定西安电子科技大学有 1 万学生，每人每月用 1 支牙膏，并且只使用 “中华”牙膏与“黑妹”牙膏两者之一。根据本月（12 月）调查，有 3000 人使用黑妹牙膏，7000 人使用中华牙膏。又据调查,使用黑妹牙膏的 3
9、000 人中，有 60的人下月将继续使用黑妹牙膏，40的人将改用中华牙膏；使用中华牙膏的 7000 人中，有 70的人下月将继续使用中华牙膏，30的人将改用黑妹牙膏。据此，可以得到如表 1 所示的统计表。表1 两种牙膏之间的转移概率拟用现用 黑妹牙膏 中华牙膏黑妹牙膏 60 40中华牙膏 30 70上表中的 4 个概率就称为状态的转移概率，而这四个转移概率组成的矩阵称为转移概率矩阵。可以看出，转移概率矩阵的一个特点是其各行元素之和为。在本例中，其经济意义是：现在使用某种牙膏的人中，将来使用各种品牌牙膏的人数百分比之和为 1。2用转移概率矩阵预测市场占有率 的变化有了转移概率矩阵，就可以预测，到
10、下个月（月份）使用黑妹牙膏和中华牙膏的人数，计算过程如下：即：1 月份使用黑妹牙膏的人数将为 3900，而使用中华牙膏的人数将为 6100。假定转移概率矩阵不变，还可以继续预测到 2 月份的情况为：这里 称为二步转移矩阵，也即由 12 月份的情况通过 2 步转移到 2 月份的情况。二步转移概率矩阵正好是一步转移概率矩阵的平方。一般地， k 步转移概率矩阵正好是一步转移概率矩阵的 k 次方。可以证明，k 步转移概率矩阵中 ,各行元素之和也都为 1。转移概率矩阵案例分析案例一: 用转移概率矩阵预测市场占有率的变化1有了转移概率矩阵，就可以预测，到下个月（月份）使用黑妹牙膏和中华牙膏的人数，计算过程
11、如下：即：1 月份使用黑妹牙膏的人数将为 3900，而使用中华牙膏的人数将为 6100。假定转移概率矩阵不变，还可以继续预测到 2 月份的情况为：=(4170,5830)这里称为二步转移矩阵，也即由月份的情况通过步转移到 2 月份的情况。二步转移概率矩阵正好是一步转移概率矩阵的平方。一般地， k 步转移概率矩阵正好是一步转移概率矩阵的 k 次方。可以证明，k 步转移概率矩阵中 ,各行元素之和也都为 1。四 结语马尔可夫过程的理论模型在实际问题中具有广泛的的应用。许多问题都能简化为马尔可夫模型来研究，特别是在随机服务系统、系统的可靠性和资产定价和管理中，研究的问题大都是马尔可夫模型的原型，由此可见，它是描述随机运动系统的有力工具，同时也是最简单的一类随机过程，在自然科学和社会科学的各个领域都有重要的作用。
