1、2008 年信息论基础试题(C)2007-06-28 姓名班级学号成绩一、 填空题（每空 2.5 分,共 45 分）1设有 8 行 8 列棋型方格，如果有两个球 A 和 B 分别以等可能落入任一方格内(两球不能落在同一格中),则 A 落入任何一格的自信息量是;平均自信息量是;若己知 A 巳落入某一格,则 B 再落入另一格的自信息量是。2.设有一二元信源 X,不论以前发出过什么符号它在任意时间均以P(0)=0,4,P(1)=0.6 的概率发出信号,X 1,X2,X3 为信号序列,则H(X3)= ;H(X3|X2X1)=。3.巳知两个信道 Q1 和 Q2,它们的信道矩阵分别为:如果这两个信道串联,
2、则总信道的信道矩阵是;若这两个信道并联,则总信道的信道容量是。4.巳知有一个连续信源 X 为发出恒定宽度,但不同幅度的脉冲 ;幅度值 x 处在 a1 和 a2 之间 ,此信源连至某信道,信道接收端接收脉冲幅度处在 b1 和 b2 之间,巳知随机变量 X 和 Y 的联合概率密度为: 2121212 ,)(),( byaxbyfXY 则微分熵 h(X)=;h(XY)= 平均互信息量 I(X;Y)=。5.设输入符号为0,1,2, 输出符号为 0,1,2,离散无记忆对称信道的信道矩阵矩阵为:6.031.|XYP此信道的信道容量为。6.一四元对称信道 ,4/1/42P接收符号 Y=0,1,2,3,其失真
3、矩阵为汉明失真,则Dmax=; 信息率失真函数 R(D)=9.0.8.02.和7设某线形分组码的生成矩阵为 则该码是,101G_型的系统线形分组码；该码的 Hamming 距离为_可以检测出_位错误；纠正_位错误；如果接收码为Y=001001,则应译为_二、 计算题(小数保留三位)1. 设随机变量 X=x1,x2=0,1和 Y=y1,y2=0,1的联合概率为:4/8/34),(0,)(0,XYP定义一个随机变量 Z=X+Y(mod2)(1) 计算熵 H(X),H(XZ)及 H(XYZ);(2) 计算条件熵 H(X|Z),H(Z|X)及 H(X|YZ);(3) 计算互信息量 I(X;Z),I(X;Y|Z)及 I(X;Z|Y) (18%)2.设信源 01.2.0.4.0714.0548. 98765321 xxxxxPX试用 Huffman 码编成二元变长码,并计算其编码效率。 (10%)3.(15%)（1）叙说 Kraft 不等式及其意义；（2）写出 Fano 不等式并说明它的意义；三.证明题(12%)1.设 X,Y.Z 是三个概率空间,证明:(1) H(X,Y|Z)=H(X|Z)+H(Y|XY)(2) H(XY)H(X)+H(Y)
