1、第二章 离散信源 2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数中至少有一个是1的自信息量。 解： (1) bit x p x I x p i i i170 . 4 18 1 log ) ( log ) ( 18 1 6 1 6 1 6 1 6 1 ) ( 2 2 = = = = + =(2) bit x p x I x p i i i170 . 5 36 1 log ) ( log ) ( 36 1 6 1 6 1 ) ( 2 2 = = = = =(3) bit
2、x p x I x p i i i710 . 1 36 11 log ) ( log ) ( 36 11 11 6 1 6 1 ) ( 2 2 = = = = =2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米 以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量 X代表女孩子学历 X x 1 （是大学生） x 2 （不是大学生） P(X) 0.25 0.75 设随机变量 Y代表女孩子身高 Y y 1 （身高160cm） y 2 （身高160cm） P(Y
3、) 0.5 0.5 已知：在女大学生中有 75%是身高 160 厘米以上的 即：p(y 1 / x 1 ) = 0.75 求：身高 160 厘米以上的某女孩是大学生的信息量 即： 11 11 2 1 (|) 0.75 ( , ) log log 0.585 () 0 . 5 py x I xy b i t py = = = 课后答案网 2.3 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多 少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解： 1）因圆点之和为 3 的概率 1 () ( 1 , 2 ) ( 2 , 1 ) 18 px p p =+= 该消息自信息量
4、 ( ) log ( ) log18 4.170 Ixp x = = = b i t 2）因圆点之和为 7 的概率 1 ( )( 1 , 6 )( 6 , 1 )( 2 , 5 )( 5 , 2 )( 3 , 4 )( 4 , 3 ) 6 px p p p p p p =+= 该消息自信息量 ( ) log ( ) log 6 2.585 Ixp x = = = b i t 2.5黑白气象传真图的消息只有黑色和白色两种，即信源X=黑，白。设黑色出 现的概率为 P(黑) = 0.3，白色出现的概率为 P(白) = 0.7。假设图上黑白消息 出现前后没有关联，求熵H(X)； 解： symbol b
5、it x p x p X H i i i / 881 . 0 10 log ) 7 . 0 log 7 . 0 3 . 0 log 3 . 0 ( ) ( log ) ( ) ( 2 = + = = 2.7 消息源以概率 发送 5 种消息符 号 。 12345 1/2, 1/4, 1/8, 1/16, 1/16, PPPPP = 12345 , mmmmm （1） 若每个消息符号出现是独立的，求每个消息符号的信息量。 （2） 求该符号集的平均信息量。 解： （1） 因为消息符号出现是独立的，所以每个消息符号的信息量分别为： 1 2 3 45 ()l o g 21 ()l o g 42 ()l
6、o g 83 ()()l o g 1 64 I m bit I m bit I m bit ImI m b = = = = i t（2） 该符号集的平均信息量即为信源熵 11111 ( ) log 2 log 4 log8 log16 log16 1.875 2481 61 6 HXb =+=i t 2.8 设离散无记忆信源 ，其发出的信息 为(202120130213001203210110321010021032011223210)，求 = = = = = 8 / 1 4 / 1 3 2 4 / 1 8 / 3 1 0 ) ( 4 3 2 1 x x x x X P X (1) 此消息的自
7、信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： 课后答案网 (1) 此消息总共有 14 个 0、13个 1、12 个 2、6个 3，因此此消息发出的概率是： 6 25 14 8 1 4 1 8 3 = p 此消息的信息量是： bit p I 811 . 87 log 2 = = (2) 此消息中平均每符号携带的信息量是： bit n I 951 . 1 45 / 811 . 87 / = = 2.10 设信源 ，求这个信源的熵，并 解释为什么H(X) log6不满足信源熵的极值性。 = 17 . 0 16 . 0 17 . 0 18 . 0 19 . 0 2 . 0 )
8、( 6 5 4 3 2 1 x x x x x x X P X 解： 585 . 2 6 log ) ( / 657 . 2 ) 17 . 0 log 17 . 0 16 . 0 log 16 . 0 17 . 0 log 17 . 0 18 . 0 log 18 . 0 19 . 0 log 19 . 0 2 . 0 log 2 . 0 ( ) ( log ) ( ) ( 2 2 2 2 2 2 2 6 2 = = + + + + + = = X H symbol bit x p x p X H i i i 不满足极值性的原因是 。 1 07 . 1 ) ( 6 = i i x p2.11
9、每帧电视图像可以认为是由3 10 5 个像素组成的， 所有像素均是独立变化， 且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含 有多少信息量？若有一个广播员，在约 10000 个汉字中选出 1000 个汉字来口述 此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等 概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要 多少汉字？ 解： 1) symbol bit X NH X H symbol bit n X H N / 10 1 . 2 7 10 3 ) ( ) ( / 7 128 log log ) ( 6 5 2 2 = =
10、= = = =2) symbol bit X NH X H symbol bit n X H N / 13288 288 . 13 1000 ) ( ) ( / 288 . 13 10000 log log ) ( 2 2 = = = = = =3) 158037 288 . 13 10 1 . 2 ) ( ) ( 6 = = = X H X H N N课后答案网 2.12 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生 过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X 2 ), H(X
11、3 /X 1 X 2 )及H ；(3) 试计算H(X 4 )并写出X 4 信源中可能有的所有符号。 解： (1) 这个信源是平稳无记忆信源。因为有这些词语： “它在任意时间 而且不论以前发生过什么符 号 ” (2) symbol bit X H H symbol bit x p x p X H X X X H symbol bit X H X H i i i / 971 . 0 ) ( / 971 . 0 ) 6 . 0 log 6 . 0 4 . 0 log 4 . 0 ( ) ( log ) ( ) ( ) / ( / 942 . 1 ) 6 . 0 log 6 . 0 4 . 0 log
12、 4 . 0 ( 2 ) ( 2 ) ( 2 2 2 3 2 1 3 2 2 2 = = = + = = = = + = = (3) 4 22 4 ( ) 4 ( ) 4 (0.4log 0.4 0.6log 0.6) 3.884 / 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1100 1101 1110 1111 1011 H X H X bit symbol X = + = 信源中可能发出的所有符号为： 2.13 设信源发出二重延长消息 i x yi,其中第一个符号为A、B、C三种消息，第二 个符号为 D、E、F、G 四种
13、消息，概率 和 () i Px (|) j i Py x 如题 13 表所示，求该二 次扩展信源的共熵H（XY） 。 A B C () i Px 1/2 1/3 1/6 D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 (|) j i Py x G 1/4 3/10 1/6 解： 课后答案网 ()() (| ij i j i Pxy pxPy x) = 根据公式： ，先画出二重延长消息的联合概率密度： () ij Pxy A B C D 1/8 1/10 1/36 E 1/8 1/15 1/12 F 1/8 1/15 1/36 G 1/8 1/10 1/36
14、 所以： 34 11 ( ) ( ) 3.415 / 2 ij ij H XY P x y bit symbol = = 2.14 设有一概率空间，其概率分布为 并有 。若取 ，其中 2 1 p p , , , , 2 1 q p p p L 2 1 2 0 p p 1 , 1 0 2 2 1 1 P P P P 因 上式等号不成立 log ) 2 ( 1 2 1 + 0 2 0 2 0 1 2 1 2 1 P P P P P 课后答案网 0 log ) 2 ( 1 2 1 + e P P P H H H H 新概率空间熵增加，这是因为新概率空间概率分布趋于平均，不确定性增加，所以 熵增加。
15、 课后答案网 第三章 离散信道 3.1 设有一离散无记忆信源，其概率空间为 12 ( ) 0.6 0.4 X xx PX = 它们通过一干扰信道，信道输出端的接收符号集Y = 0 1，信道转移矩阵为 51 (0/ 0) (1/ 0) 66 (0 /1) (1/1) 13 44 pp P pp = ， 求： (1) 信源X中事件X 1 和事件X 2 分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i(i=1,2)的信息量； (3) 输出符号集Y的平均信息量H(Y)； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。 解
16、： 1) bit x p x I bit x p x I322 . 1 4 . 0 log ) ( log ) (737 . 0 6 . 0 log ) ( log ) ( 2 2 2 2 2 1 2 1 = = = = = =2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p907 . 0 4 . 0 4 / 3 log ) ( ) / ( log ) ; (263 . 1 6 . 0
17、 4 / 1 log ) ( ) / ( log ) ; (263 . 1 4 . 0 6 / 1 log ) ( ) / ( log ) ; (474 . 0 6 . 0 6 / 5 log ) ( ) / ( log ) ; ( 4 . 0 4 3 4 . 0 6 1 6 . 0 ) / ( ) ( ) / ( ) ( ) ( 6 . 0 4 1 4 . 0 6 5 6 . 0 ) / ( ) ( ) / ( ) ( ) ( 2 2 2 2 2 2 2 2 1 2 1 2 1 2 2 2 1 2 2 2 1 2 1 1 1 2 1 1 2 2 2 1 2 1 2 2 1 2 1 1 1 1
18、 = = = = = = = = = = = = = + = + = = + = + =3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971 . 0 10 log ) 4 . 0 log 4 . 0 6 . 0 log 6 . 0 ( ) ( log ) ( ) ( / 971 . 0 10 log ) 4 . 0 log 4 . 0 6 . 0 log 6 . 0 ( ) ( log ) ( ) ( 2 2 = + = = = + = = 1 课后答案网 4) symbol bit Y H X Y H X H Y
19、 X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H ij i j i j i / 715 . 0 971 . 0 715 . 0 971 . 0 ) ( ) / ( ) ( ) / ( ) / ( ) ( ) / ( ) ( / 715 . 0 10 log ) 4 3 log 4 3 4 . 0 4 1 log 4 1 4 . 0 6 1 log 6 1 6 . 0 6 5 log 6 5 6 . 0 ( ) / ( log ) / ( ) ( ) / ( 2 = + = + = + = + = + + + = = Q5) sy
20、mbol bit Y X H X H Y X I / 256 . 0 715 . 0 971 . 0 ) / ( ) ( ) ; ( = = = 3.3 设有下述消息将通过一个有噪二元对称信道传送，消息为： , 1 00 M = 2 01 M = ， ， ，这四种消息在发送端是等概的。试求： 3 10 M = 4 11 M = （1） 输入为 1 M ，输出第一个数字为0的互信息量是多少？ （2） 如果知道第二个数字也是0，这是又带来多少附加消息？ 解： 由题意可知信道特征为： 1 1 p p p p 1） 11 11 1 1 1 11 11 1 12 1 2 2 1 21 2 ()1 / 2
21、 ,( ) ()(|)( 1 ) / 2 ()( 1) / 2 / 21 / 2 (|) ( ) /()1 ( | ) ( )/ ( ) ( ) ( | )/ ( ) pa pab pa pb a p pb p p pa b pab pb p pab pa b pb papba pb p = = + = = =所以: 11 1 (00, 0) log log log 4 log (00) (00 | 0) (00) (00 | 0) (0) 1 log 4 log 1 log(1 ) 1/4* (0|0) 1/2 I pp pp p pb i t p = = = +2）当知道第二个数字也是 0
22、 时， 112 11 1 2 ( ) ( | 00) 11 ( , 00) log log 2 2log(1 ) IMyy p = = + pM pM yy =bit 所以附加信息为1 。 log(1 ) p +2 课后答案网 3.4 为了传输一个由字母 A、B、C、D 组成的符号集，把每个字母编码成两个二 元码脉冲序列，以 00 代表 A，01 代表 B，10 代表 C，11 代表 D，每个二元码元 脉冲宽度为5ms。试求： （1） 不同字母等概出现时，计算传输的平均信息速率？ （2） 若每个字母出现的概率分别为 1/5 A P = ， 1/4 B P = ， 1/4 C P = ， 。 试
23、计算传输的平均信息速率。 3/10 D P = 解： 可以认为传输无损即 (;) () I XY HX = uururu ru1） 字母等概出现时， 2 2 (; )()()l o g 42/ 2 ()1/ I XY HX HX b i t s i g n HX b i ts i g n = = uururu u r3 11 ( ; ) 200 / 5*10 t R IXY b i t ss t = 2） 由每个字母出现的概率可知： 4 1 2 3 ( ) log (1/ 5,1/ 4,1/ 4,3/10) 1.985 / 2 1.985 () / 2 1.985 198.5 / sec 2*
24、5*10 ii i t HX p p H b i t s i g n HX b i ts i g n Rb i t = = = = = = uu r uu r3.6 设二元对称信道的传递矩阵为 21 33 12 33 P = (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其最佳输入分布； 解： 1） 3 课后答案网 symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol b
25、it y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j ij i j i j i i i / 062 . 0 749 . 0 811 . 0 ) / ( ) ( ) ; ( / 749 . 0 918 . 0 980 . 0 811 . 0 ) / ( ) ( ) ( ) / ( ) / ( ) ( ) / ( ) ( ) ; ( / 980 . 0 ) 4167 . 0 l
26、og 4167 . 0 5833 . 0 log 5833 . 0 ( ) ( ) ( 4167 . 0 3 2 4 1 3 1 4 3 ) / ( ) ( ) / ( ) ( ) ( ) ( ) ( 5833 . 0 3 1 4 1 3 2 4 3 ) / ( ) ( ) / ( ) ( ) ( ) ( ) ( / 918 . 0 10 log ) 3 2 lg 3 2 4 1 3 1 lg 3 1 4 1 3 1 lg 3 1 4 3 3 2 lg 3 2 4 3 ( ) / ( log ) / ( ) ( ) / ( / 811 . 0 ) 4 1 log 4 1 4 3 log 4 3
27、 ( ) ( ) ( 2 2 2 2 2 1 2 1 2 2 2 1 2 2 1 2 1 1 1 1 2 1 1 1 2 2 2 = = = = + = + = = = = + = = = + = + = + = = + = + = + = = + + + = = = + = = 2） 22 2 1122 max ( ; ) log log 2 ( lg lg ) log 10 0.082 / 3333 mi C I X Y m H bit symbol = =+= 其最佳输入分布为 1 () 2 i px = 3.7 在有扰离散信道上传输符号0和1， 在传输过程中每100个符号发生一个错 误
28、，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。 解： 由题意可知该二元信道的转移概率矩阵为： 0.99 0.01 0.01 0.99 P = 为一个 BSC信道 所以由 BSC信道的信道容量计算公式得到： 2 1 1 log ( ) log 2 log 0.92 / 1 1000 920 / sec i i i t Cs H P p b i t s i p CC Cb i t t = = = = = g n3.8 设有扰信道如题8图所示，试求此信道的信道容量及最佳输入分布。 解： 信道传递矩阵为： 4 课后答案网 1/2 1/2 1/2 1/2 1/2 1
29、/2 1/2 1/2 P = ur可知该信道为对称信道，所以信道容量为： 1234 11 log ( , , , ) log 4 ( , ) 1 / 22 Cs H p p p p H b i t s i = = =g n 对于对称信道，其最佳输入分布为等概分布 1 () 4 i px = 。 3.9 求图3.35中信道的信道容量及其最佳的输入概率分布。 解： （1）信道 3 1 6 1 3 1 6 1 6 1 3 1 6 1 3 1 P 是一对称信道。 最佳输入分布是当输入均匀分布时，输出均匀分布。 即 2 / 1 ) ( = x P * ()1 / 2 1111 ( ) ( | ) log
30、 4 ( , , , ) 0.085 / 3636 pX CH YH YX H h i ts i g = = = = n （2）信道 = 2 1 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2 1 P 是一对称信道 3 / 1 ) ( * = x P * ()1 / 3 111 ( ) ( | ) log3 ( , , ) 0.125 / 236 Px CH YH YX H b i ts i g = = = = n 3.10 有一个二元对称信道，其信道矩阵为 。设该信源以 1500 二元 符号/秒的速度传输输入符号。 现有一消息序列共有14000个二元符号， 并设P(0) = P(
31、1) = 1/2，问从消息传输的角度来考虑，10 秒钟内能否将这消息序列无失 真的传递完？ 98 . 0 02 . 0 02 . 0 98 . 0 解： 信道容量计算如下： 5 课后答案网 max 222 max ( ; ) max ( ) ( / ) ( )log 2 (0.98 log 0.98 0.02 log 0.02)0.859 / mi C IXY HY HY X H Y H bit sign = =+ = 也就是说每输入一个信道符号，接收到的信息量是 0.859 比特。已知信源输入 1500 二 元符号/秒，那么每秒钟接收到的信息量是： 1 1500 / sec 0.859 /
32、 1288 / sec I sign bit sign bit = 现在需要传送的符号序列有 140000个二元符号，并设 P(0) = P(1) = 1/2，可以计算出这 个符号序列的信息量是 bit I14000 ) 5 . 0 log 5 . 0 5 . 0 log 5 . 0 ( 14000 2 2 = + =要求 10 秒钟传完，也就是说每秒钟传输的信息量是 1400bit/s，超过了信道每秒钟传输 的能力（1288 bit/s） 。所以 10 秒内不能将消息序列无失真的传递完。 6 课后答案网 第四章 香农三大定理 41什么是信源编码，试述香农第一编码定理的物理意义？ 答：所谓信源
33、编码就是对信源的原始符号按一定的规则进行变换，以新的编码符号代替原始 信源符号，从而降低原始信源的冗余度。 香农第一编码定理的物理意义：无失真信源编码的实质就是对离散信源进行适当的变换，使 变换后新的码符号信源（信道的输入信源）即可能等概分布，以使新信源的每个码符号平均 所含的信息量达到最大，从而使信道的信息传输率 R 达到信道容量 C，实现信源与信道理 想的统计匹配。 42若有一信源 = 2 . 0 , 8 . 0 , ) ( 2 1 s s s P S 每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某一个二元信道中 进行传输（假设信道是无噪无损失） ，而信道每秒钟只传递 2 个二
34、元符号。试问 信源不经过编码能否直接与信道连接？通过适当编码能否与信道连接？采用何 种编码，为什么？ 解：因信源符号速率大于信道传输速率（2.662） ，所以不能直接连接 1 ( ) 2.66 log 2.66 0.72 2.66 1.9 / sec 2 / sec i i i R H s P bit c bit P = = = Q 可以通过适当编码在此信道中无失真传输。 可对信源的 N 次扩展信源进行无失真信源编码，只要 N 足够大取适当的编码就能与信道 匹配。 43 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对 应的码A、B、C、D、E、和F。 （1） 求这些码中哪些是
35、惟一可译码。 （2）对所有惟一可译码求出其平均码长L。 习题 4.3 表 消息 ) ( i a P A B C D E F 1 a 1/2 000 0 0 0 0 0 2 a 1/4 001 01 10 10 10 100 3 a 1/16 010 011 110 110 1100 101 4 a 1/16 011 0111 1110 1110 1101 110 课后答案网 5 a 1/16 100 01111 11110 1011 1110 111 6 a 1/16 101 011111 111110 1101 1111 011 解： （1）A、B、C、E 是惟一可译码 （2） () i i
36、 L Pali 3/ 2.125 / 2.125 / 2/ A B c E L L L L = = = = 码符号 信源符号 码符号 信源符号 码符号 信源符号 码符号 信源符号47何谓单符号失真度、平均失真度？试举例说明之。 答：在限失真编码过程中，为了描述编码过程引起的失真大小，对于每一对输入、输出符号 （u，v） ，我们定义相应的单符号失真度为： (1 , 2 ,) (,)0 (1 , 2 , ij ir duv ) j s = = L L用 来测度信源发出一个符号而在接收端再现程接收符号时所引起的误差或失真。 单个符号失真度描述了某个信源符号通过传输后失真的大小， 对于不同的信源符号和
37、不同的 接收符号，其值是不同的。 (,) ij duv 定义 ,1 1 (,) (,) ()(,) ()(|)(|) rs ij i ii ii UV i j D Eduv Eduv Puvduv PuPvuduv = = 为平均失真度。 平均失真度对信源和信道进行了平均， 所以是描述某一信源在某一试验信道传输下的失真大 小，是从总体上描述整个系统的失真情况。 48信息率失真函数R（D）如何定义？为什么R（D）反映了信源的可压缩程度。 答：定义 (|) , () m i n(,) ji Pvu DD RDI = U Y 为信息率失真函数，简称率失真函数，率失真函数表示在满足保真度准则下的前提下
38、，相应 与所有可能的有失真信源编码方法的信息传输率之下限。 率失真函数是在信源和允许失真 D 固定的情况下，选择一种试验信道使信息传输率最小， 这个极小值是在信源给定情况下， 接收端以满足失真要求而再现信源消息所必须获得的最少 平均信息量。因此 () R D 反映了信源可以压缩的程度， 课后答案网 第五章 信源压缩编码基础 2、解： 1 0 1 ) 1 ( 1 91 . 0 , 1 k k k a p = = = = 17 . 0 1 ) 1 ( 1 0 1 = = R a R E42 . 0 , 2 1 ) 1 ( 1 0 1 ) 1 ( 1 2 2 ) 2 ( 2 = = = = R a
39、R R a R k a p 53 . 0 ) 1 ( 1 2 ) 1 ( 1 ) 2 ( 1 = = a k a a 142 . 0 2 ) 2 ( 2 1 ) 2 ( 1 0 2 = = R a R a R E066 . 0 , 3 2 ) 2 ( 2 1 ) 2 ( 1 0 1 ) 2 ( 2 2 ) 2 ( 1 3 3 ) 3 ( 3 = = = = R a R a R R a R a R k a p 39 . 0 ) 2 ( 1 3 ) 2 ( 2 ) 3 ( 2 = = a k a a 50 . 0 ) 2 ( 2 3 ) 2 ( 1 ) 3 ( 1 = = a k a a 14 .
40、 0 3 3 2 2 1 1 0 3 = = R a R a R a R E 5、解：已知 3 1 0 1 0 1 0 1 0 1 = = N x = 6 1 3 2 6 1 2 1 0 2 1 3 1 3 1 3 1 ) 3 ( T = = 3 4 0 3 2 0 0 0 3 2 0 3 5 ) 3 ( ) 3 ( T x y T T 6、解：本题为 ODCT 课后答案网 = = = = = 1 ,. 2 , 1 , 1 2 1 1 1 ) 1 ( 1 2 2 1 0 0 N k e X N y X N y N N m N km j m k N m m 注意 ) 1 ,., 1 , 0 (
41、 = = N l X X l l ，再考虑偶性对称特点 = = 1 0 1 2 2 1 2 1 2 N m N km j m e k e X N R y = = = 1 ,., 2 , 1 , 0 , 2 1 0 N m X m X X m m所以，有 1 ,., 2 , 1 , ) 1 2 2 cos( 2 1 2 1 1 1 0 = + = = N k N km X X N y N m m k 7、解： 1） sign bit H S H / 469 . 0 ) 9 . 0 , 1 . 0 ( ) ( = = 信源剩余度 531 . 0 2 log ) ( 1 = = S H r 2 ）基
42、本源二元编码 sign code L s s / 1 , 1 , 0 2 1 = 3） 时的 Huffman 编码结果： 2 = N信源符号： 1 1 1 2 2 1 2 2 , , , s s s s s s s s码字： 101 , 100 , 11 , 0sign code L / 645 . 0 2 2 = 3 = N 时的 Huffman编码结果： 信源符号： 1 1 1 2 1 1 1 2 1 1 1 2 2 2 1 2 1 2 1 2 2 2 2 2 , , , , , , , s s s s s s s s s s s s s s s s s s s s s s s s码字：
43、11111 , 11110 , 11101 , 11100 , 110 , 101 , 100 , 0sign code L / 5327 . 0 3 3 = 4 = N 课后答案网 ) 1001101001 , 1001101000 , 100110111 , 1001100 , 100110110 , 1001011 , 1001010 , 1000 , 100110101 , 1001001 , 1001000 , 100111 , 111 , 110 , 101 , 0 (sign code L / 4926 . 0 4 4 = sign code S H N L N r N / 46
44、9 . 0 ) ( : = 4） N 效率 码的剩余度 1 0.469 0.531 2 0.727 0.273 3 0.880 0.120 4 0.952 0.048 10 解：1）Huffman编码 Y:0,110,101,1111,1110,1000,10010,100111,100110(或相反) 96 . 98 , / 33 . 2 = = sign code L % 2）Shannon 编码： Y:00,011,101,1100,1101,11101,111100,111110,1111110 7 . 79 , / 89 . 2 = = sign code L % 3)Fano编码：
45、 Y:0,100,101,1100,1101,1110,11110,111110,111111 96 . 98 , / 33 . 2 = = sign code L % 课后答案网 第六章 差错控制基本原理习题 1、 设 线性码 C中有偶重码也有奇重码，分别用 表示其码字集合 e o C C , 奇重码集 中有 P个码字，偶重码集 中有 Q个码字 o C e C 1） P Q 则从 中任取一个码字 与 中每个码字相加，结果也为一个码字， 且该码字为奇重码（奇重码+偶重码=奇重码） o C i C e C 该运算将得到 Q个奇重码， 但由于 ， 说明产生的奇重码有些不在 集合中，违反封闭性 P Q o C 2）Q + = + + 1 1 按照最小距离译码时， 纠错 1 1 C R 当发 出错t 但 时，得 1 C e 2 R 3 R 无论 ，存在 检错圈内，可检 2 R 3 R 1 C 课后答案网 若 ) ; ( ) ; ( 2 3 1 3 C R d C R d = 无法确定错误位置，不可纠 同时可检 e 个错 4、 3 ) ( min 0 0 = = i C C w d i5、 3 0 = d Q 检错方式下 2 1 0 = =d e 纠错方式下 1 2 1 0 = =
