1、信息论研究生课程讲义2-132-5 平均交互信息量的特性平均交互信息量 I(X,Y)在统计平均的意义上，描述了信源、信道、信宿组成的通信系统的信息传输特性。这一节将进一步讨论 I(X,Y)的数学特性，重点介绍其特性的结论和其物理意义。2-5-1 I(X,Y)的非负性当 x 为大于 0 的实数时，底大于 1 的对数 logx 是 x 的严格上凸函数，可以证明若 f(x)为上凸函数，则有：fp ixip if(xi)，如 f(x)=logx，则有：logp ixip ilogxi根据这个关系，考虑平均交互信息量，I(X,Y)= p(xi,yj)logp(xi,yj)/p(xi)p(yj)则：-I(
2、X,Y)= p(xi,yj)logp(xi)p(yj)/p(xi,yj)logp(xi,yj)p(xi)p(yj)/p(xi,yj)=log p(xi) p(yj)=0所以有：I(X,Y) 0只有当 P(X,Y)=P(X)P(Y),即对于所有的 i=1,2,n, j=1,2,m。都有：p(xi,yj)=p(xi)p(yj)，才有：I(X,Y)=0 交互信息量可能出现负值，但平均交互信息量不可能出现负值。 接收者收到一个 Y 的符号，总能从中获取道关于信源 X 的信息量，只有当 XY 相互独立时，平均交互信息量才为 0。 由 I(X,Y)=H(X)-H(X/Y)，可知，在信息传输过程中，后验熵不
3、可能大于先验熵，这种特性称为后熵不增加原理。当 XY 相互独立时，p(xi,yj)=p(xi)p(yj)可得：H(X,Y)=H(X)+H(Y)当 XY 相互独立时，p(yj/xi)=p(yj)可得：H(Y/X)=H(Y)当 XY 相互独立时，p(xi/yj)=p(xi)可得：H(X/Y)=H(X)由交互信息量的定义可知：I(X,Y)=H(X)+H(Y)-H(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=02-5-2 平均交互信息量的交互性IXYpxiyjpxiyjjmin(,)(,)log(,)1jijiyxjin, ,l,()1信息论研究生课程讲义2-14由于 p(xi,yj)=
4、p(yj,xi)则：I(X,Y)=I(Y,X) 交互性表明在 Y 中含有关于 X 的信息，I(X,Y)；在 X 中含有关于 Y 的信息，I(Y,X)；而且两者相等。实际上 I(X,Y)和 I(Y,X)只是观察者的立足点不同，对信道的输入 X 和输出 Y 的总体测度的两种表达形式。 两个园相交的部分为平均交互信息量，可见，平均交互信息量的大小体现了 X 和Y 的相关程度。X 和 Y 相互独立，交互性最小，I=0 ； X 和 Y 完全相关，交互性最大，I=H(X)=H(Y)；H(X/Y)=H(Y/X)=0，相当于信道无信息损失。例 下列为 X 和 Y 完全相关的例子。x1 1 y1 x1 1 y1
5、x2 1 y2 x2 1 y2x3 1 y3 y3 1 y3 x1 1 y1 x1 1 y1x2 1 y2 x2 1 y2x3 1 y3 x3 1 y3其相应的信道转移矩阵分别为：1 0 0 1 0 00 1 0 0 0 1P1=0 0 1P2=0 1 00 1 0 0 0 11 0 0 0 1 0P3=0 0 1P4=1 0 0这种信道的特点是：n=m ，每行只有一个元素为 1，每列只有一个元素为 1。其转移概率不为 1，就为 0。这时有：HXYpxiyjipyjxijmin(/)()/)log(/)01ijij/ /l/所以有：I(X,Y)=I(Y,X)=H(X)=H(Y)2-5-3 平均
6、交互信息量的极值性平均交互信息量 I(X,Y)不可能超过信源熵 H(X)，证明：因为 H(X/Y) 0 所以有 I(X,Y)=H(X)-H(X/Y)H(X) (作业)同样可以证明：H(Y/X) 0 所以有 I(X,Y)=H(Y)-H(Y/X)H(Y) (作业) 疑义度、噪声熵总是大于等于 0，平均交互信息量总是小于信源熵或信宿熵。 在信道的输出端 Y 得到的关于输入端 X 的信息量不会超过信源 X 的平均信息量。信息论研究生课程讲义2-15例 2-9 扩展性无噪声信道。当信道输入一个 X 值，相应有几个 Y 值输出，且互不重合，这时条件熵（疑义度）H(X/Y)=0，且 H(Y)H(X)。看三种
7、这样的信道：x1 1/3 y1 x1 1/3 y1 x1 1 1/3 y1x2 2/3 y2 x2 1 y2 x2 y2x3 1 y3 x3 2/3 y3 x3 2/3 y3(a) (b) (c)信道转移矩阵分别为：1/3 2/3 0 1/3 0 2/3 0 1 0P= 0 0 0 P= 0 1 0 P= 1/3 0 2/30 0 1 0 0 0 0 0 0由于其矩阵的每一列元素只有一个非零元素，所以后验概率不等于 1，就等于 0即： pxiyjpxiyjixpyjxiin(/)()/),(/)110这是可知疑义度 H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)。从平均意义
8、上讲，这种信道可以把信源的信息全部传递道信宿。这种每列只有一个非 0 元素的信道也是一种无噪声信道，称为具有扩展性能的无噪声信道。这是在考察噪声熵 H(Y/X)，设先验概率为 p(x1),p(x2),p(x3)。HYXpxiyjipyjxiji(/)()/)log(/)13log(l123()og()log()pxxppxx3123l(l12 ()og)log()()log()312311pxxpxpxl(3()l()=H(Y)-H(X)考虑到：p(y1)=p(x1)(1/3); p(y2)=p(x1)(2/3); p(y3)=p(x3);所以：H(Y/X)=H(Y)-H(X)由于 H(Y/X
9、)为大于等于 0，所以 H(Y)H(X) ；得到的结论为：这时的信宿熵将大于信源熵。因此称为扩展信道。熵函数的性质（补充）性质 6：熵函数的强可加性信息论研究生课程讲义2-16设有两个相互关联的信源，X ，Y ，信源空间分别为：x1 x2 xnX.P=p(x1) p(x2) p(xn)y1 y2 ymY.P=p(y1) p(y2) p(ym)其条件概率为：p(yj/xi), p(yj/xi)=1 (i=1,2n)，再有 XY 的完备空间条件，可以证明：H(X,Y)=H(X)+H(Y/X) 这个关系称为熵函数的强可加性。 （作业）性质 7：熵函数的可加性当信源 X，Y 相互独立时，有 H(X,Y
10、)=H(X)+H(Y)，这个关系称为熵函数的可加性。（作业） 。例 2-10并归性无噪声信道，当 Y 是 X 的确定函数，但不一一对应，不同的 X，可以同一个 Y 值输出，且不同的 Y 对应的 X 不同，这时 H(Y/X)=0, H(X)H(Y)。如：x1 1 y1 x1 1 y1x2 1 y2 x2 1 1 y2x3 1 y3 x3 y3 相应的信道转移矩阵分别为：1 0 0 0 1 01 0 0 0 0 1P=0 1 0P=0 1 0这类信道的转移概率等于 1 或者等于 0，每一列的元素可有一个或多个 1，可知其噪声熵 H(Y/X)=0，此时的平均交互信息量达到最大值。I(X,Y)=H(Y
11、)-H(Y/X)=H(Y)这时可以证明，其疑义度 H(X/Y)=H(X)-H(Y),并且 H(X) H(Y)， （作业） 。 通过这两个例题可以进一步理解条件熵的概念，疑义度和噪声熵都是由于信道噪声引起的，当信道转移概率是一一对应的确定关系时，疑义度和噪声熵等于 0。 一个 X 产生多个 Y，称为扩展信道，在扩展信道中若 P中每列只有一个非 0 元素，H(X/Y)=0，即疑义度=0，称为扩展性无噪声信道，否则称为扩展噪声信道。 多个 X 产生一个 Y，称为归并信道，在归并信道中若 P中元素为 0 或 1，H(Y/X)=0，即噪声熵=0 ，称为归并性无噪声信道，否则称为归并噪声信道。2-5-4
12、平均交互信息量的凸函数性Ipxiyjipyjxiiinjmin(,)()/)log(/)11已知平均交互信息量为它只是先验概率 p(xi)和信道转移概率 p(yj/xi)的函数，可以记为：I(X,Y)=Ip(xi),p(yj/xi)即：如果信道固定，I(X,Y)就是先验概率的函数，如果信源固定，I(X,Y)就是信道转移概率的函数。可以进一步证明： 当信道一定时，平均交互信息量是信源先验概率的上凸函数；（证明略）这就是说，对于一定的信道转移概率分布，总可以找到一个先验概率分布为 pm(xi)的信息论研究生课程讲义2-17信源 X，使平均交互信息量达到相应的最大值 Imax，这时称这个信源为该信道
13、的匹配信源。可以说不同的信道转移概率对应不同的 Imax。或者说 Imax 是 P(Y/X)的函数。例 2-11 设二元对称信道的信源空间为：X=0,1; P(X)=, 1-; 0 1-p 0pp1 1-p 1平均交互信息量为：I(X,Y)=H(Y)-H(Y/X) ；因为已知转移概率，所以利用这一个公式。其中：H(Y/X)=-p(xi)p(yj/xi)logp(yj/xi)=p(xi)-plogp+(1-p)log(1-p)=H(p) 其中：H(p)= -plogp+(1-p)log(1-p) 另外：为了求 H(Y)，利用 p(yj)= p(xi)p(yj/xi)；可得：p(y=0)=(1-p
14、)+(1-)pp(y=1)=p+(1-)(1-p)所以：H(Y)=-(1-p)+(1-)plog(1-p)+(1-)p+p+(1-)(1-p)logp+(1- )(1-p)=H(1-p)+(1-)p)可得平均交互信息量为：I(X,Y)=H(1-p)+(1-)p)-H(p)根据这个关系，当 p 值一定，即固定信道，可知 I(X,Y)是 的上凸函数，其曲线如图：I(X,Y)1-H(p)0 1/2 1 从图中可知，当 BSC 信道的信道矩阵固定后，若输入符号集 X 的概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输入为等概分布时即，p(0)=p(1)=1/2 时，接收端的信息量才为最大
15、值1-H(p) 。这就是平均交互信息量的上凸函数性质。 当信源一定时，平均交互信息量时信道转移概率的下凸函数；（证明略）这就是说，对于一个已知先验概率为批 P(X)的离散信源，总可以找到一个转移概率分布为 pm(Y/X)的信道，使平均交互信息量达到相应的最小值 Imin。可以说不同的信源先验概率对应不同的 Imin。或者说 Imin 是 P(X)的函数。即平均交互信息量的最小值是由体现了信源本身的特性。例 2-11：在例 2-11 中，I(X,Y)=H(1-p)+(1-)p)-H(p)，当固定信源先验概率分布 时，I(X,Y)是信道转移概率 p 的下凸函数，如图所示。信息论研究生课程讲义2-1
16、8I(X,Y)H() 0 1/2 1 p从图中可知，当信源固定后，存在一种 BSC 信道，p=(1-p)=1/2，使在信道输出端获得信息量最小，即等于 0。也就是说，信源的信息全部损失在信道中了。这是最差的信道，这个性质说明，每个信源都存在一种最差的信道，此信道的干扰最大。2-5-5 平均交互信息量的不增性在一些实际信道中，常常出现串联信道的情况。结论是串联信道输出端获得的信息量不会大于信源发出的信息量。 （略）2-6 离散信道的信道容量信道容量是表征信道最大传信能力的信道参量。2-6-1 熵速率与信道容量平均交互信息量 I(X,Y)是信道X, P(Y/X), Y输出一个符号传输的信息量，当符
17、号速率为 n 符号/秒时，其熵速率为：R=nI(X,Y)=nH(X)-H(X/Y)=nH(Y)-H(Y/X) bit/s对于一个无噪声信道来说：R=nI(X,Y)=nH(X) bit/s由于参数 n 与信道和信源无关，因此一般在分析中可以表示为：R=I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) bit/符号熵速率既是先验概率的函数，也是信道转移概率的函数，为了专门描述一个信道的特性，这里定义信道容量。 CIXYHXYPPmax(,)ax()(/)() ()信道容量是在给定信道条件下（即一定的信道转移概率） ，对于所有可能的信源先验概率的最大熵速率。它表示为： nInHXPXPX
18、a(,)ma()(/)() ()当符号速率为 n 符号/秒时，信道容量也可以表示为： 信道容量 C 与信源无关，只是信道转移概率的函数，不同的信道就由不同的信道容量。它反映了信道本身的传信能力。2-6-2 信道容量的计算方法由信道容量的定义，信道容量就是在固定的信道条件下，对所有可能的先验概率求平均交互信息量的最大值。作辅助函数 FpxpxnIXYpxiin(),.()(,)()121信息论研究生课程讲义2-19由于对 p(xi)求导，所以p(x)-1 中的-1 没有关系。求辅助函数对 p(xi)的偏导，置为0，得下列方程组。 Fpxiin()011由此方程组可以解得使 I(X,Y)达到最大值
19、的信源先验概率分布和待定系数 ，然后求出信道容量 C。可以得到通式：IXYpxipyjxipyjxiejm(,)(/)log(/)log1(i= 1,2,.n)这时 n 个方程组为：pyjxipyjxiejm(/)log(/)log1 (i= 1,2,.n) 假设使 I(X,Y)为最大值时的先验概率为 p(x1),p(x2),.p(xn)，将它们分别乘到上面 n 个方程组的两边，然后 n 个求和。可得：pxiyjipyjxiepxieijmin()/)log(/)(log(log 11可见如果 p(x1),p(x2),.p(xn)为最佳先验概率分布，则上式左边就是信道容量，因此：C=+loge
20、再将这个关系代入方程组，得到 n 个方程变为：pyjxipyjxiCjm(/)log(/)1即：jiyjxipyjxipyjCjmjm(/)l(/)(/)log() 1 1(i=1,2,n)移项后得：pyjxiCpyjpyjxipyjxijmjm(/)log()(/)log(/)11(i=1,2,n)jijm(/)1令 jpyjmlog(),.)12将其代入上式得：信息论研究生课程讲义2-20pyjxipyjxipyjxijjmjm(/)(/)log(/)11(i=1,2,n)这是一个含有 m 个未知数， n 个方程的非齐次方程组。如果 n=m，信道转移矩阵为非奇异矩阵，则方程组有解。由 lo
21、g()(,.)pyjCjj12j ,.2可以解出 j;由约束条件：pyjjCjmjm()()2111由此式可得信道容量： Cjjlog1由这个 C 值，根据上面关系求 p(yj)，再由 p(yj) 和 p(yj/xi)求信源先验概率分布 p(xi)。即解方程组： pyjpxiyjxijmin()()/)(,.)1 12解这个方程组后就可以得到最佳信源先验概率分布。当 n1 ，对于一切 ij=1,2,n 都有pij(n0)0 （矩阵P中的所有元素）对于每个 j=1,2,n 都存在不依赖 i 的极限（每个状态都以一定的概率出现）则称这个马氏链是各态历经的。其中的极限概率 pj=p1,p2,pn是方
22、程组lim()(,.)nijjpjn12满足条件jjiji1(,.)的唯一解。 pjpjjn01,信息论研究生课程讲义2-29为：Pj=P1,P2,Pn; PjT=P(1)T.PjT马氏链的各态历经定理说明： 只有在转移了一定步数后各状态之间可相通的条件下，当转移步数足够大时，处于某一状态的概率才能稳定在某一极限值； 各状态相通，均可经历； 每个由各状态经历过程产生的序列都有同样的统计特性，即统计均匀性；例 2-16: 设一个马氏链有三个状态，X:0,1,2,其一步转移概率为：ij 0 1 2 0 1 20 p00 p01 p02 0 q p 01 p10 p11 p12 1 q 0 pP(1
23、)=2 p20 p21 p22=2 0 q p这时 pij0 不满足，不能判断是否具有各态历经性，看二步转移矩阵。0 1 20 q2+pq qp p21 q2 2qp p2P(2)=P(1)P(1)=2 q2 qp qp+p2这时 pij0 满足，可以判断具有各态历经性，其状态极限概率（稳态概率）可以由方程得到：p0 q q 0 p0p1 = p 0 q p1p2 0 p p p2p0=qp0+qp1 由这四个方程求解p1=pp0+qp2p2=pp1+pp2; p0+p1+p2=1由一步状态转移矩阵求极限概率的基本关系为：PT=P(1)T.PT T 表示矩阵的转置。(3) 状态转移图有限齐次马
24、氏链除了用转移矩阵描述外还可以用状态转移图来表示。例如上面的例题对应的状态图为：q pq 0 1 2 pp q 齐次马氏链为一个不可约闭集，即对马氏链中的任意两个状态，总可以从一个状态经过有限步数转移到另一个状态； 齐次马氏链具有非周期性，从一个状态到另一个状态的步数不能具有周期性；(4) 马尔柯夫信源 m 阶马尔可夫信源：如果一个离散平稳有记忆信源X=X 1，X 2，,X m,Xm+1,Xm+2,中，任一时刻(m+1)的随机变量 Xm+1 只依赖于它前面的 m 个随机变量，与更前面的变量无关，称为记忆长度为 m 的离散平稳有记忆信源，也称为 m 阶马尔柯夫信源。这时把(X1,X2,Xm)某一
25、个取值 Si=(xk1,xk2,xkm) 称为一个状态。xkjX:x 1,x2,xn为原始信源状态空间; kj=1,2,n j=1,2,.mi=1,2,nm信息论研究生课程讲义2-30 马尔柯夫信源状态：同时把随机变量(X2,X3,Xm+1)的某一取值 Sj 称为另一个状态，Si 为 Sj 的前一状态。m 阶马尔柯夫信源的状态空间为 S:S1,S2,Srm，马尔柯夫信源的一个状态由 m 个符号组成，当信源再输出一个符号时，信源变为另一个状态，所以从 Si 到 Sj 的一步转移概率为：p(Sj/Si)=p(xkm+1/xk1xk2xkm) 为一个条件概率；其中：(k1,k2,km=1,2,n;
26、km+1=1,2,n)(i,j=1,2,.nm) m 阶马尔柯夫信源空间：X: x1 x2 xnP: p(xkm+1/xk1 xk2 xkm)且有： pkmkkmkn(/. 121 1 m 阶马尔柯夫信源的极限熵：根据 m 阶马尔柯夫信源的定义，及平稳性，有：p(xkN/xk1 xk2 xkm xkm+1,xkN-1)=p(xkN/xkN-m xkN-m+1,xkN-1)=p(xkm+1/xk1 xk2 xkm), 这样，可以得到 m 阶马尔柯夫信源的极限熵：HXXNNNli(/.)121m)log(/.)kkkNnkpxpxx211li.(. .NkNkmkmkN1)log(/.)pxpxx
27、kmkkkmn1 21=H(Xm+1/X1X2Xm)这表明，m 阶马尔柯夫信源的极限熵就等于 m 阶条件熵，记为： Hm+1。 用状态转移概率表示极限熵：p(Sj/Si)=p(xk/Si)=p(xkm+1/xk1xk2xkm) 或 p(xk+1/Si)这时极限熵可以表示为： HpSSpSiji jijnim()/)log(/)1从以上分析可以看到，m 阶马尔柯夫信源的分析是实际信源的一种简化，把一个无限的问题转化为有限量的计算问题。已知 m 阶马尔柯夫信源的状态一步转移概率后，求极限熵的问题就在于得到概率 p(Si)，(i=1,2, nm)，而 p(Si)就是马尔柯夫信源在稳定状态时的各状态的
28、极限概率。所以，首先要判断信源是否具有各态历经性，如果有，则可以有一步转移概率求出极限概率。例 2-17: 一个二进制二阶马尔柯夫信源的原始信源为 X：0，1 ，m=2 ，这时的状态信息论研究生课程讲义2-31空间为：S: S1=00, S2=01, S3=10, S4=11，共有 nm=22=4 个不同的状态。已知其一步转移概率为：0/00 00 p(0/00) p(0/S1) p(S1/S1)=0.81/00 01 p(1/00) p(1/S1) p(S2/S1)=0.20/01 10 p(0/01) p(0/S2) p(S3/S2)=0.51/01 11 p(1/01) p(1/S2)
29、p(S4/S2)=0.50/10 00 p(0/10) p(0/S3) p(S1/S3)=0.51/10 01 p(1/10) p(1/S3) p(S2/S3)=0.50/11 10 p(0/11) p(0/S4) p(S3/S4)=0.21/11 11 p(1/11) p(1/S4) p(S4/S4)=0.8信源空间 S:S1,S2,S3,S4 p(Sj/Si) (i=1,2,3,4)可得到信源状态转移图为：0.8S10.2 0.50.5S2 S30.50.5 0.2S40.8由状态图可以判断，这是一个非周期不可闭集，具有各态历经性，存在状态极限概率。有：p(S1) 0.8 0 0.5 0
30、p(S1)p(S2) 0.2 0 0.5 0 p(S2)p(S3) 0 0.5 0 0.5 p(S3)p(S4)=0 0.5 0 0.5 p(S4)其约束条件为：p(S1)+p(S2)+p(S3)+p(S4)=1p(Si)1 (i=1,2,3,4) 解得其极限概率分别为：p(S1)=p(S4)=5/14; p(S2)=p(S3)=2/14由极限概率和状态转移概率就可以计算马尔柯夫信源的极限熵： HpSijipSjiji2114()/)log(/)= 0.8 bit/符号另外，还有的离散有记忆信源即马尔柯夫信源是已知极限概率和转移概率，求信源熵的。注意：马尔柯夫信源的熵就是其极限熵，也就是一个条
31、件熵。例 2-18: 一个一阶马尔柯夫信源的原始信源为 X:x1,x2,x3，已知其先验概率和一步信息论研究生课程讲义2-32转移概率，求其极限熵。p(x1)=11/36; p(x2)=4/9; p(x3)=1/4;9/11 2/11 01/8 3/4 1/8P(1)=0 2/9 7/9其状态图如图示：可得原始信源熵和极限熵为：H(X)=1.542 bit/符号H1+1=H(j/i)=H(Xj/Xi)=0.89 bit/符号。也可以用各态历经的验证方法：9/11 2/110 9/11 2/11 01/8 3/4 1/8 1/8 3/4 1/8P(2)=0 2/9 7/9 0 2/9 7/9可知
32、：P(2)中 pij0，其极限概率存在。p(x1) 9/11 1/8 0 p(x1)p(x2) = 2/11 3/4 2/9 p(x2)p(x3) 0 1/8 7/9 p(x3)可得：p(x1)=(9/11)p(x1)+(1/8)p(x2)p(x2)=(2/11)p(x1)+(3/4)p(x2)+(2/9)p(x3)p(x3)=(1/8)p(x2)+(7/9)p(x3)在考虑:p(x1)+p(x2)+p(x3)=1可以得出：p(x1)=11/36; p(x2)=4/9; p(x3)=1/4;2-7-4 信源的剩余度(1) 关于离散信源熵的总结： 实际信源非平稳的有记忆随机序列信源；其极限熵是不
33、存在的； 解决的方法是假设其为离散平稳随机序列信源，极限熵存在，但求解困难； 进一步假设其为 m 阶 Markov 信源，用其极限熵 Hm+1 近似； 再进一步假设为一阶 Markov 信源，用其极限熵 H1+1(X2/X1) 来近似； 最简化的信源是离散无记忆信源，其熵为 H(x)=H1+1(X); 最后可以假定为等概的离散无记忆信源，其熵为 H0(X)=logn；它们之间的关系可以表示为：logn=H0(X)H 1(X)H 1+1(X)H 2+1(X)H m+1(X)H 可见离散有记忆信源的记忆长度越长，信源熵越小，而独立且等概的信源，熵最大。(2) 剩余度：用来衡量由于信源内部的消息状态
34、的相关性和分布性，使其熵减少的程度称为剩余度。 相对熵：= H /H0=(实际信源熵)/(离散信源最大熵)=H(X)/Hmax(X) 内熵(信息熵差)：= H 0- H （最大熵）-（实际信源熵）=H(X)-Hmax(X)信息论研究生课程讲义2-33 剩余度：EHX10()max例上面的例题中其剩余度为：E=1-(0.89/log3)=43.8% 说明信源 X 有 43%的剩余，只有 57%是纯信息。例英文字母信源：H0=log27=4.76 bit (等概)H1=4.02 bit （不等概）H1+1=3.32 bit （一阶 M-信源）H2+1=3.1 bit （二阶 M-信源）H =1.4 bit
