1、转移概率(transition probability)什么是转移概率转移概率是马尔可夫链中的重要概念，若马氏链分为 m 个状态组成，历史资料转化为由这 m 个状态所组成的序列。从任意一个状态出发，经过任意一次转移，必然出现状态1、2、，m 中的一个，这种状态之间的转移称为转移概率。当样本中状态 m 可能发生转移的总次数为 i，而由状态 m 到未来任一时刻转为状态 ai的次数时，则在 m+n 时刻转移到未来任一时刻状态 aj 的转移概率为：这些转移移概率可以排成一个的转移概率矩阵：P(m,m+n)(Pij(m,m + n)当 m=1 时为一阶转概率矩阵， 时为高阶概率转移矩阵，有了概率转移矩阵
2、，就得到了状态之间经一步和多步转移的规律，这些规律就是贷款状态间演变规律的表，当初始状态已知时，可以查表做出不同时期的预测。转移概率与转移概率矩阵1假定某大学有 1 万学生，每人每月用 1 支牙膏，并且只使用“中华”牙膏与“黑妹”牙膏两者之一。根据本月（12 月）调查，有 3000 人使用黑妹牙膏，7000 人使用中华牙膏。又据调查,使用黑妹牙膏的 3000 人中，有 60的人下月将继续使用黑妹牙膏， 40的人将改用中华牙膏； 使用中华牙膏的 7000 人中， 有 70的人下月将继续使用中华牙膏， 30的人将改用黑妹牙膏。据此，可以得到如表1 所示的统计表。表1 两种牙膏之间的转移概率拟用现用
3、 黑妹牙膏 中华牙膏黑妹牙膏 60 40中华牙膏 30 70上表中的 4 个概率就称为状态的转移概率，而这四个转移概率组成的矩阵称为转移概率矩阵。可以看出，转移概率矩阵的一个特点是其各行元素之和为。在本例中，其经济意义是：现在使用某种牙膏的人中，将来使用各种品牌牙膏的人数百分比之和为 1。2用转移概率矩阵预测市场占有率的变化有了转移概率矩阵，就可以预测，到下个月（月份）使用黑妹牙膏和中华牙膏的人数，计算过程如下：即：1 月份使用黑妹牙膏的人数将为 3900，而使用中华牙膏的人数将为 6100。假定转移概率矩阵不变，还可以继续预测到 2 月份的情况为：这里 称为二步转移矩阵，也即由 12 月份的
4、情况通过 2 步转移到 2 月份的情况。二步转移概率矩阵正好是一步转移概率矩阵的平方。一般地， k 步转移概率矩阵正好是一步转移概率矩阵的 k 次方。可以证明，k 步转移概率矩阵中,各行元素之和也都为 1。马尔可夫过程（Markov Process ）什么是马尔可夫过程1、马尔可夫性(无后效性 )过程或（系统）在时刻 t0 所处的状态为已知的条件下，过程在时刻 t t0 所处状态的条件分布，与过程在时刻 t0 之前年处的状态无关的特性称为马尔可夫性或无后效性。即：过程“将来”的情况与“过去”的情况是无关的。2、马尔可夫过程的定义具有马尔可夫性的随机过程称为马尔可夫过程。用分布函数表述马尔可夫过
5、程：设 I：随机过程X(t),tin T的状态空间，如果对时间 t 的任意 n 个数值:（注：X(tn)在条件 X(ti) = xi 下的条件分布函数）(注：X(tn)在条件 X(tn 1) = xn 1 下的条件分布函数）或写成：这时称过程 具马尔可夫性或无后性，并称此过程为马尔可夫过程。3、马尔可夫链的定义时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为。马尔可夫过程的概率分布研究时间和状态都是离散的随机序列: ,状态空间为1、用分布律描述马尔可夫性对任意的正整数 n,r 和 ，有：PXm + n = aj | Xm = ai，其中 。2、转移概率称条件概率 Pij(m,m + n
6、) = PXm + n = aj | Xm = ai 为马氏链在时刻 m 处于状态 ai 条件下，在时刻 m+n 转移到状态 aj 的转移概率。说明：转移概率具胡特点：。由转移概率组成的矩阵 称为马氏链的转移概率矩阵。它是随机矩阵。3、平稳性当转移概率 Pij(m,m + n)只与 i,j 及时间间距 n 有关时，称转移概率具有平稳性。同时也称些链是齐次的或时齐的。此时，记 Pij(m,m + n) = Pij(n),Pij(n) = PXm + n = aj | Xm = ai(注：称为马氏链的 n 步转移概率)P(n) = (Pij(n)为 n 步转移概率矩阵 。特别的, 当 k=1 时,
7、一步转移概率：Pij = Pij(1) = PXm + 1 = aj | Xm = ai。一步转移概率矩阵：P(1)马尔可夫过程的应用举例设任意相继的两天中，雨天转晴天的概率为 1/3，晴天转雨天的概率为 1/2，任一天晴或雨是互为逆事件。以 0 表示晴天状态，以 1 表示雨天状态，Xn 表示第 n 天状态（0 或 1） 。试定出马氏链 的一步转移概率矩阵。又已知 5 月 1 日为晴天，问 5 月 3 日为晴天，5 月 5 日为雨天的概率各等于多少？解：由于任一天晴或雨是互为逆事件且雨天转晴天的概率为 1/3，晴天转雨天的概率为1/2，故一步转移概率和一步转移概率矩阵分别为：故 5 月 1 日为晴天，5 月 3 日为晴天的概率为：又由于：故 5 月 1 日为晴天，5 月 5 日为雨天的概率为：P01(4) = 0.5995
