1、一、填空题（本题 10 空，每空 2 分，共 20 分 ）1、1/4 2bit/符号 2bit 2、3 2 3、信源 信道 加密4、 32 5、存在 二、判断题（对划“ ” ，错划 “”，本题 5 小题，每小题 2 分，共 10 分）1、 2、 3、 4、 5、三、名词解释（本题 2 小题,每小题 5 分,共 10 分）1、极限熵当离散有记忆信源序列的长度趋于无限大时，序列的平均符号熵称为极限熵，又称极限信息量。2、唯一可译码任意有限长的码元序列只能被唯一地分割成一个个的码字，则称此码为唯一可译码。四、计算题（本题 3 小题，共 35 分）1、解（1）H(X)=H(1/2,1/2)=1bit/
2、符号 （2 分）（2）已知信源的概率分布和信道的转移概率矩阵，根据全概率公式，可得 X 和 Y 的联合南京工程学院试题评分标准及参考答案 2009 / 2010 学年 第 1 学期课程名称： 信息论与编码 B 使用班级： 信息 071 制 作 人：张亚飞 09 年 12 月 18 日 共 4 页 第 1 页课程所属部门： 通信工程学院 南京工程学院评分标准及参考答案概率矩阵，所以，6/122/16),(jixypP（2 分）130(,)(,)log(,)4*l4*l6122.918/ijijijHXYxypxybit符 号（3）根据 X 和 Y 之间的联合概率，可以求得输出 Y 的概率分布p(
3、y0)= p(y1)= p(y2)= p(y3)=1/4H(Y)=2bit/符号H(X/Y)=H(X,Y)-H(Y)=0.918 bit/符号 （2 分）（4）H(Y/X)=H(X,Y)-H(X)=1.918 bit/符号 （2 分）（5）I(X;Y)= H(X)- H(X/Y)=0.082 bit/符号 （2 分）（6）因为此信道为对称 DMC 信道，所以C=log4-H(1/3,1/3,1/6,1/6)=0.082bit/符号 （3 分）（7）当信源分布为 P(X)=1/2,1/2时，信道传输的信息量能达到信道容量 （2 分）2、解（1）失真矩阵每一行至少有一个 0，所以 Dmin=0 （
4、2 分）（2）失真矩阵每一列至多有一个 0，所以 R(Dmin)=H(X)=H(1/2,1/2)=1 bit/符号（2 分）（3）D max= ,minin 21212,21, dpdpdpjij = （2 分）/i2,j（4）R(D max)=0 （2 分）共 4 页 第 2 页南京工程学院评分标准及参考答案 共 4 页 第 3 页3、解（1）0 . 0 70 . 1 00 . 1 80 . 2 50 . 3 70 . 0 30 . 1 00 . 1 0100 . 2 00 . 1 8010 . 3 8010 . 3 80 . 6 21 . 00011概率码字 码长0 00 11 11 0
5、11 0 0 01 0 0 1222344iK0 . 1 80 . 3 70 . 2 50 . 3 70 . 2 50 . 3 70 . 2 5（4 分）平均码长 ：（2 分）(0.3725.18)0.3+(.70)42.3iKp码 元 /符 号编码效率：H(X)= 2.23bit/符号logii（2 分）()()2.310%96.llHXKm=（2）哈夫曼编码的结果不是唯一的。 （2 分）原因有二：（a ）每次对信源缩减时，赋予信源最后两个概率最小的符号 0 和 1，0 和 1的顺序是任意的，所以可以得到不同的哈夫曼码；（b）对信源进行缩减时，两个概率最小的符号合并后的概率与其他信源符号的概
6、率相同时，这两者在缩减信源中进行概率排序，其位置放置次序是任意的，故会得到不同的哈夫曼码。 （2 分）五、综合题（本题 3 小题,共 25 分）1、解系统化后的生成矩阵 （2 分）1010G南京工程学院评分标准及参考答案校验矩阵 （2 分）1001H（2）校验矩阵 H 其任意 3 列之和都不为 0，至少需要 4 列才能组合出 0，所以 H 有 3 列线性无关，则最小码距 dmin=3+1=4 （2 分）（3）根据 C=mG 得 100 对应的码字为 1001110 （2 分）（4）伴随式 =0 0 0 10，所以 R 不是码字。1010 TTRH（2 分）2、解（1）G 0=1 1，G 1=0 1， G2=1 1，G 3=0 1 （3 分）（2）（3 分）输入信息 m0i 0ic1i iC1i20i3im3、解（1） （2 分）0.1.95.28P（2）设稳态分布的概率矢量 W=( W1,W2,W3)，根据 WP=W 和 ，求得 Wi1iW1=5/59，W 2=9/59，W 3=45/59 （3 分）（3） （4 分）05945()/)=(0.,)(0.,)(0,.28)959.74iiiHpsXHHbt 符 号共 4 页 第 4 页
