1、一 、填空题（每空 2 分，共 210 分）1.平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是_ _。2._ _提高通信的有效性， _ _目的是提高通信的可靠性， _ _编码的目的是保证通信的安全性。3.信源编码的目的是提高通信的 ，信道编码的目的是提高通信的 ，加密编码的目的是保证通信的 。4.设信源 X 包含 8 个不同离散消息，当且仅当 X 中各个消息出现的概率为_ _时，信源熵达到最大值，为_ _。5.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_ _。二 、判断题（每个 2 分，共 10 分）1.设 C = 000000, 001011, 01011
2、0, 011101, 100111, 101100, 110001, 111010是一个二元线性分组码，则该码最多能检测出 3 个随机错误。 （ ）2.DMC 信道转移概率矩阵为 ，则此信道在其输入端的信源分3/16/61P布为 P(X)=1/2,1/2时传输的信息量达到最大值。 （ ）3.离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。 （ ）4.非奇异的定长码一定是唯一可译码。 （ ）5.信息率失真函数 R(D)是在平均失真不超过给定失真限度 D 的条件下，信息率容许压缩的最小值。 （ ）三 、简答题（每道 5 分，共 20 分）1.写出香农公式，并说明其物理意义。当信道
3、带宽为 5000Hz，信噪比为 30dB时求信道容量。2.解释无失真变长信源编码定理。3.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？4.简述最大离散熵定理。对于一个有 m 个符号的离散信源，其最大熵是多少？四、计算题（21+14+15）1.设随机变量 和 的联合概率空间为1,0,21xX1,0,21yY 8/38/ ),()()()( 2yxxPXY定义一个新的随机变量 (普通乘积)Z（1） 计算熵 H（X） ，H（Y） ，H （Z） ，H （XZ） ，H（YZ） ，以及 H（XYZ） ；（2） 计算条件熵 H（X|Y ） ，H （Y|X） ，H（X|Z） ，H（Z|X） ，H
4、（Y|Z） ，H （Z|Y） ，H（X|YZ） ，H（Y|XZ）以及 H（Z|XY ） ；（3） 计算平均互信息量 I（ X；Y） ，I （X ：Z） ，I （Y：Z） ，I（X ；Y|Z） ，I（Y；Z|X）以及 I（X：，Z|Y） 。2. 设一个离散无记忆信源的概率空间为 ，它们通过干扰信道，信12()0.8xxp道矩阵为 。信道输出符号集 ，试计算：0.9137PYy（1）信源 X 的信息熵；（2 分）（2）收到信息 y2 后，获得关于 x1 的信息量；（2 分）（3） 共熵 H(XY)；（2 分）（4）信道疑义度 H(X|Y);(2 分)（5） 收到消息 Y 后获得的关于信源 X 的平均信息量。 （2 分）3信源空间为 ，试分别构造1234567()0.9.8017.01.XxxxP 二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程） 。
