1、第8讲 Markov信源,1、Markov信源 2、m阶Markov信源 3、m阶Markov信源的极限熵,5.1 Markov（马尔可夫）信源,在讨论有记忆信源时，一般情况下，信源前后发出的符号总是相互依赖的，但随着时间的推移，依赖的程度会越来越低。信源发出的信号往往只与前面几个符号关系较密切，与更前面的符号依赖关系会更差。根据实际需要，我们通常只需要考虑每个符号与前面一定数量的符号的关系既可，再多也没有必要，这是我们处理信息的常用方法。,设信源符号集X=a1, ,ar，所处状态空间S=s1, ,sj，在初始状态下，设信源每发出一个符号产生一种新的状态，若符号序列和状态序列满足： (1).
2、某时刻发出符号仅与当前信源状态有关，而与更前无关； (2). 某时刻信源所处的状态仅与前一时刻所处的状态和当前符号有关。则称该信源为Markov信源。,注1、信源在t 时刻发出符号ait，当前状态为skt，则PXt=ait|St=skt= PXt=ait|St=skt,St-1=sk(t-1),S0=sk0,注2、某t时刻所处的状态skt，有概率形式：PSt=skt|St-1=sk(t-1)Xt=ait= PSt=skt|St-1=sk(t-1) Xt=ait, St-2=sk(t-2) Xt-1=ai(t-1) ,根据定义中的第二条可知，信源要连续发出符号，从而改变状态。而状态的改变由符号来
3、决定。即：,PSt=aj|St-1=si= PXt=ajt|St-1=si,5.2 m阶Markov信源,为了描述m阶Markov 信源，引入状态的概念，m阶Markov信源的每个状态 Sj 由m个符号组成，即 Sj=x1x2xm,信源每输出一个符号就转入另一种状态 Sj+1=x2x3xmxm+1,m阶Markov信源,当信源每次发出的符号只与前(m-1)个符号有关，就称为m阶Markov信源。,m阶Markov信源的状态概率空间,设信源符号集X=a1, ar，信源为m阶Markov信源，由于某k时刻发出符号与前面m个有关，由Markov信源定义，设前m个符号为k时刻所处的状态，从而可组合成j
4、=rm个状态，S=s1, sj.,Markov链的概率形式为转移概率形式：Psj|si=Psj|ai1aim=Pai(m+1)|ai1aim 其中si=ai1aim，sj=ai2ai(m+1),若某一信源是马尔可夫信源，且状态转移概率p(sj|si)与时间起点无关，仅与状态si和sj有关.则称该马尔可夫信源为平稳的马尔可夫信源。,平稳马尔可夫信源,在实际生活中，绝大多数信源据可近似看成一个平稳的马尔可夫信源。,二阶平稳Markov信源的例子,例5：设信源符号集X=0,1，若该信源是一个二阶平稳的Markov信源，则共有4个不同的状态：,要描述该信源，主要就是了解以上4种状态各自的概率分布情况。
5、,S1:00, S2:01, S3:10, S4:11,解给出条件(统计而来):已知一步转移概率,得 状 态 转 移 概 率,其他状态转移概率均为零,二阶平稳Markov信源的例子解答,根据上述状态转移概率结果画出状态转移图如下,s1:00,s3:10,s2:01,s4:11,1/2,1/2,1/3,2/3,1/4,3/4,1/5,4/5,由Markov链知识可得出信源的状态转移概率矩阵，P=pij=p(sj|si)，以及达到平稳状态以后，处于sj 的概率p(sj) .即：,二阶平稳Markov信源的例子解答续,可解出,5.3 m阶Markov信源的极限熵,定理1、设Markov信源的状态空间
6、S=s1, ,sJ,在某种状态下可输出的符号为X=a1, ,ar,信源输出序列X=X1XN，且该信源存在稳定分布Psk,k=1, ,J，则信源的极限熵为：,定理2、设m阶Markov信源的符号空间为X=a1, ,ar,状态空间S=s1, ,sj, j=rm,且该信源存在稳定分布Psk, k=1, ,j，则信源的极限熵为：,证明略,例题,1、一阶马尔可夫信源的状态图如图所示。信源X的符号集为0,1,2。(1)求信源平稳后的概率分布P(0),P(1),P(2)；(2)求信源的熵H。(3)近似认为此信源为无记忆时，符号的概率分布为平稳分布，求近似信源的熵H(X),并与H进行比较。(4)对一阶马尔可夫信源p取何值时H最大，当p=0和p=1时结果又如何。,2、一阶马尔可夫信源的状态图如图所示。信源X的符号集为0,1,2。(1)求平稳后信源的概率分布；(2)求信源的熵H。(3)求当p=0和p=1时信源的熵，并说明理由。,
