1、信息论研究生课程讲义2-1第二章 离散信源的熵2-1 离散信源的数学模型2-1-1 单符号离散信源的数学模型单符号离散信源是最简单的一种离散信源，离散信源特性：根据 Shannon 信息论的观点，信源要含有一定的信息，必须具有随机性，即有不确定性，可以用其概率来表示。离散信源空间：信源的符号（状态）随机地取值于一个离散集合X=（x 1,x2,xn）中，一个离散信源可以用一个概率空间P=(p 1,p2,pn)表示。XPxxppin123 pii1这种表示称为离散无记忆信源的信源空间。信源空间必为一个完备空间，即其概率和为 1。信源数学模型描述的条件：用信源空间来表示信源的条件是信源符号（状态）的
2、先验概率是可知的，这是 Shannon 信息论的一个基本假说。2-1-2 信源符号不确定性的度量不确定性：只有不确定性存在，才有信息存在，获得消息后消除了不确定性才得到信息。在一个通信系统中，收信者所获取的信息量，在数量上等于通信前后对信源的不确定性的减少量。不确定性的度量（不确定度）：猜测摸某一随机事件是否会发生的难易程度。例 2-1：从一个袋子里取出不同颜色小球的不确定性。a. 99 个红球，1 个白球，b. 50 个红球，50 个白球，c. 25 个红球，25 个白球，25 个黑球，25 个黄球，可见，a 的不确定性最小，b 的不确定性为最大。I(x1)=I(红球)，I(x 2)=I(白
3、球)，I(x 3)=I(黑球) ，I(x 4)=I(黄球)，自信息量：在假设信道没有干扰（无噪声）的情况下，信源发出信源符号 xi，接收者就会收到 xi，这是接收者收到的信息量就等于信源符号 xi 本身含有的信息量（不确定度） ，称为信源符号 xi 的自信息量，记为 I(xi)。Hartly 公式：由上例可以看出：信源不确定度的大小与信源的消息符号数有关；符号数越多，不确定度越大；信源不确定度的大小与信源的消息符号概率有关；概率越小，不确定度越大；即，如果 p(x1)p(x2)，则 I(x1)0 H(xi)H(xi/yj)收到 yj 后判断信源发出 xi 的概率，大于收到 yj 之前判断信源发
4、出 xi 的概率，通信后接收者对信源符号 xi 的不确定度减少了，获得的信息量大于 0。 p(xi/yj)=p(xi) I(xi,yj)=0 H(xi)=H(xi/yj)收到 yj 后判断信源发出 xi 的概率，等于收到 yj 之前判断信源发出 xi 的概率，通信后接收者对信源符号 xi 的不确定度没有变化，获得的信息量等于 0。 0p(xi=M)=1/2I(S,S)=0.585 bit; p(xi=S/yj=S)=3/4p(xi=S)=1/2I(S,M)=-0.415 bit; p(xi=S/yj=M)=3/8 p(xi=S)=1/2I(M,S)=-1 bit p(xi=M/yj=S)=1/
5、4 p(xi=M)=1/22-4-4 平均交互信息量(1) 定义：交互信息量接收者通过某一个信道P 从一个信源 p(xi)获得某一符号 xi 信息量的问题，但它不能完全反映一个信道的整体特性，因此，这里定义平均交互信息量。对于给定的信道模型；X, P(Y/X), Y，其平均互信息量为：IXYpxiyjxiypjmin(,)(,)log(/)1这个关系可以这样来理解：将 I(xi,yj)在 X 空间取平均：IyjijIijin(,)(/)(,1其中(j=1,2,m)，然后在将 I(X,yj)在 Y 空间取平均：IXYpjIyjpyjxijIiyjjmjmin(,)(),()/)(,11信息论研究
6、生课程讲义2-12根据概率关系可得：IXYpxiyjxiyjpIYXjmin(,)(,)log(,)(,)1进一步还可以得到：Iijijxyjin(,)(,)l(,)1 平均交互信息量给出了信道传输一个信源符号所传递的平均信息量，对于给定的信道和信源平均交互信息量是一个确定的量， 平均交互信息量实际上就是接收者收到一个符号通过信道从信源所获得的平均信息量，因此也称为平均接收信息量。(2) 利用熵的概念来描述交互信息量， 疑义度I(X,Y)=H(X)-H(X/Y)其中条件熵 H(X/Y)称为疑义度，可疑度， ，它表示接收者收到 Y 后，对信源 X 仍然存在的平均不确定度。对于接收者来说，H(X)
7、称为先验不确定度，H(X/Y)称为后验不确定度。平均交互信息量等于不确定度的变化量。 扩散度（噪声熵）I(X,Y)=H(Y)-H(Y/X)其中条件熵 H(X/Y)称为扩散度，噪声熵， ，它表示发信者发出 X 后，对信道输出 Y 仍然存在的平均不确定度。对于发信者来说，H(Y)称为先验不确定度，H(Y/X)称为后验不确定度。平均交互信息量等于不确定度的变化量。 联合熵（共熵）I(X,Y)=H(X)+H(Y)-H(X,Y)其中熵 H(X,Y)称为联合熵，共熵， ，它表示通信完成之后，观察者对通信系统仍然存在的平均不确定度。对于观察来说，H(X)+H(Y)称为先验不确定度，H(X,Y)称为后验不确定
8、度。平均交互信息量等于不确定度的变化量。结论：I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(X,Y)给出了平均交互信息量、信源熵，信宿熵，联合熵，疑义度和扩散度之间的关系。H(X,Y)H(X/Y) H(Y/X) H(X) H(Y) I(X,Y)它们之间的关系可以用上图给出。相交部分为交互信息量 I(X,Y)。例 2-9 已知一个二元信源连接一个二元信道，如图给出。求 I(X,Y)，H(X,Y)，H(X/Y)，和 H(Y/X)。X=x1,x2, p(xi)=1/2,1/2。信息论研究生课程讲义2-13x1 0.98 y10.02 0.2 x2 0.8 y2
9、解：(1)求联合概率p(x1,y1)=0.50.98=0.49p(x1,y2)=0.50.02=0.01p(x2,y1)=0.50.20=0.10p(x2,y2)=0.50.80=0.40(2)求 p(yj) p(y1)=p(x1,y1)+p(x2,y1)=0.49+0.10=0.59p(y2)=p(x1,y2)+p(x2,y2)=0.01+0.40=0.41(3)求 p(xi/yj)p(x1/y1)=p(x1,y1)/p(y1)=0.831p(x2/y1)=p(x2,y1)/p(y1)=0.169p(x1/y2)=p(x1,y2)/p(y2)=0.024p(x2/y2)=p(x2,y2)/p(y2)=0.976(4)求熵H(X)=1 bit/符号H(Y)=0.98 bit/符号H(X,Y)=1.43 bit/符号I(X,Y)=H(X)+H(Y)-H(X,Y)=0.55 bit/符号H(X/Y)=0.45 bit/符号H(Y/X)=0.43 bit/符号
