信息论与编码答案.doc

1、第二章 信源及信源熵2-1 (4)2-22-3 2-4 38Log83 14Log 4( )14Log 4( )18Log 8( ) 1.906601.906 114.362-5 (1,2) (2,1) 共两种 Log362 4.17(1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六种 Log 366 2.5852-6 014 个 1-13 个 2-12 个 3-6 个P=I= 2-7 Log 2( ) 1 Log 4( ) 2 Log 8( ) 32-8 “” 用三个脉冲 “”用一个脉冲(1) I()= Log 4( ) 2 I() Log43 0.415(2) H

2、= 14Log 4( )34Log43 0.8112.9 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)= 2-10 (1) H(色)=(2) P(色数)= H(色数)=(3) H(数/色)= H(色数)- H(色)=2-11 (1)H(XY)=724Log247 124Log 24( ) 0124Log 24( )14Log 4( )124Log 24( ) 0124Log 24( )724Log247 2.301(2) P= 得到 H(Y)=(3) H(X/Y)=H(XY)-H(Y)=

3、2-12 (1) HX( ) 1 HY( ) 1 (2)(3)2-13 P(i)= P(ij)= H(IJ)= 2-14 (1)P(ij)= P(i/j)=(2) 方法 1: = 方法 2: 2-15P(j/i)= 2-16 (1) (2) 设最后平稳概率为 W1,W2得 W1=07 W2=0.31 1黑 白H(Y/黑)= 0.9143 Log 0.9143( ) 0.0857Log 0.0857( ) 0.422H(Y/白)= 0.2 Log 0.2( ) 0.8Log 0.8( ) 0.722H(Y/X)=W1 H(Y/黑)+ W 2 H(Y/白)= 2-17 (1)(2)2-24(1)

4、H(X)= (2) = (3) 2-25解方程组黑 白PTW WW1 W2 1即0.250.750.50.5W1W2W1W2解得W1=0.4 W2=0.62-26 P(j/i)= 解方程组 求得 W=2-27 S1S2 S31/31/21/22/31/32/3求平稳概率符号条件概率 状态转移概率 解方程组得到 W=2-28(1) 求平稳概率 P(j/i)= 解方程组得到 (2) 信源熵为: 2-29 P(j/i)= 解方程组 得到 W1= , W2= , W3= 2-30P(i/j)= 解方程组 得 W1=W2=W3=信源熵为 2-31P(X1)= P(j/i)= P(X1X2)= （1）a.

5、 b. 求 H(X2/X1)有两种方法：方法 1：方法 2：H(X 2/X1)=P(x 1x2)log(x2/x1)=c. 求 H(X3/X2)P(X2)= 则方法 1：P(X3/X2)= ) + + = 方法 2：P(X 3/X2)=d. 最后（2）首先求解稳定情况下的概率解方程组得到W1 ）W 2 W 3 =(3) 不做2-32 (1)P(j/i)= 求解方程组得 p(0)=p(1)=p(2)=(2) (3) H(X)=log(3)=1.58(4) = P=当 p= 时 达到最大值 1.58当 p 0 时 HX( ) 0当 p 1 时 HX( ) 12-33 (1)解方程组:得 p(0)=

6、p(1)=p(2)=(2) (3) 当 p=0 或 p=1 时 信源熵为 0第三章 无失真信源编码3-13-2(1) 因为 A,B,C,D 四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用 10ms当信源等概率分布时,信源熵为 H(X)=log(4)=2平均信息传递速率为 bit/ms=200bit/s(2) 信源熵为H(X)=0.198bit/ms=198bit/s3-3 与上题相同3-5(1) 12141811613216411281128H(U)=12Log 2( )14Log 4( )18Log 8( )116Log 16( )132Log 32( )164Log 64

7、( )1128Log 128( )1128Log 128( ) 1.984(2) 每个信源使用 3 个二进制符号,出现 0 的次数为出现 1 的次数为P(0)= P(1)= (3) (4) 相应的香农编码信源符号 xi符号概率 pi累加概率 Pi-Logp(xi) 码长 Ki 码字x1 1/2 0 1 1 0x2 1/4 0.5 2 2 10x3 1/8 0.75 3 3 110x4 1/16 0.875 4 4 1110x5 1/32 0.938 5 5 11110x6 1/64 0.969 6 6 111110x7 1/128 0.984 7 7 1111110x8 1/128 0.992

8、 7 7 11111110相应的费诺码信源符号xi符号概率pi第一次分组第二次分组第三次分组第四次分组第五次分组第六次分组第七次分组二元码x1 1/2 0 0x2 1/4 0 10x3 1/8 0 110x4 1/16 0 1110x5 1/32 0 11110x6 1/64 0 111110x7 1/128 0 1111110x8 1/1281111111 11111110（5）香农码和费诺码相同平均码长为编码效率为： 3-7 （1） p i= 累加概率为 P i= 累加概率分别为符号x1 x1 x2 x3 x4 x5 x6 x7 概率1/2 1/4 1/8 1/16 1/32 1/64 1

9、/128 1/256 累加概率0 0.5 0.75 0.875 0.938 0.969 0.984 0.992 码长1 2 3 4 5 6 7 8二元码0 10 110 1110 11110 111110 1111110 11111110 （2）信源的信息量为平均码长为：码字的平均信息传输率为R bit/码（3）编码效率R 1003-10（1）H(X)（2）信源符号 xi符号概率 pi编码过程编码码长x1 0.37 0.370.370.380.621 00 2x2 0.25 0.250.250.370.3801 2x3 0.18 0.180.200.2511 2x4 0.10 0.100.18

10、100 3x5 0.07 0.1010104x6 0.03 101143-11（1）信源熵（2）香农编码：信源符号 xi符号概率 pi累加概率 Pi-Logp(xi) 码长 Ki 码字x1 0.32 0 1.644 2 00x2 0.22 0.32 2.184 3 010x3 0.18 0.54 2.474 3 100x4 0.16 0.72 2.644 3 101x5 0.08 0.88 3.644 4 1110x6 0.04 0.96 4.644 5 11110平均码长：编码效率为（3）费诺编码为信源符号xi符号概率pi1 2 3 4 编码 码长x1 0.32 0 00 2x2 0.220

11、1 01 2x3 0.18 0 10 2x4 0.16 0 110 3x5 0.08 0 1110 4x6 0.041111 1111 4平均码长为：编码效率： （4）哈夫曼编码信源符号 xi符号概率 pi编码过程 编码码长x1 0.32 0.320.380.400.601 01 2x2 0.22 0.220.320.380.4010 2x3 0.18 0.180.220.3211 2x4 0.16 0.160.18000 3x5 0.08 0.120010 4x6 0.04 0011 4平均码长为：编码效率： 3-12（1） 信源熵信息传输速率 2.552bit/s(2)信源符号xi符号概率

12、pi编码过程编码码长x1 0.4 0.4 0.40.40.40.40.6 1 1x2 0.18 0.180.180.190.230.270.4 001 3x3 0.1 0.1 0.130.180.190.23011 3x4 0.1 0.1 0.10.130.180000 4x5 0.07 0.090.10.10100 4x6 0.06 0.070.090101 4x7 0.05 0.0600010 5x8 0.04 00011 5(3) 香农编码信源符号 xi符号概率 pi累加概率 Pi-Logp(xi) 码长 Ki 码字x1 0.4 0 1.322 2 00x2 0.18 0.4 2.474

13、 3 011x3 0.1 0.58 3.322 4 1001x4 0.1 0.68 3.322 4 1010x5 0.07 0.78 3.837 4 1100x6 0.06 0.85 4.059 5 11011x7 0.05 0.91 4.322 5 11101x8 0.04 0.96 4.644 5 11110平均码长:(4) 费诺编码：信源符号xi符号概率pi码 码长x1 0.4 0 00 2x2 0.1801 01 2x3 0.1 0 100 3x4 0.101 101 3x5 0.07 0 1100 4x6 0.0601 1101 4x7 0.05111 0 1110 4x8 0.04

14、 1 1111 43-14信源符号xi符号概率pi编码过程编码码长x1 1/3 1/3 1/ 1/ 1/ 2/ 00 23 3 3 3x2 1/3 1/3 1/31/31/31/301 2x3 1/9 1/9 1/92/91/3100 3x4 1/9 1/9 1/91/9101 3x5 1/27 2/271/9111 3x6 1/27 1/271100 4x7 1/27 1101 4第四章 限失真信源编码4-1 失真矩阵为 4-2d0111101111011110信源熵为 Hx( ) Log 4( ) 2Dmax =min34,34,34,34 R(Dmax)=0Dmin=0R(Dmin)=R

15、(0)=H(X)=log(4)=2p y1( ) p y2( ) p y3( ) p y4( ) 只要满足 p(y1)+p(y2)+p(y3)+p(y4)=1 在0,1区间可以任意取值。第五章 信道编码5-15-2(1)接收端的不确定度为:(2)H(Y/X)=(3)=0得到得 5-30919*1000=919bit/s5-5(1)5-6(1)条件概率 ，联合概率 ，后验概率 p y0( ) 13 ， p y1( ) 12 ， p y2( ) 16（2） H(Y/X)= （3）当接收为 y2，发为 x1 时正确，如果发的是 x1 和 x3 为错误，各自的概率为：P(x1/y2)=15，P(x2/y2)=15，P(x3/y2)=35其中错误概率为：Pe=P(x1/y2)+P(x3/y2)=1535 0.8（4）平均错误概率为（5）仍为 0.733（6）此信道不好原因是信源等概率分布，从转移信道来看正确发送的概率 x1-y1 的概率 0.5 有一半失真x2-y2 的概率 0.3 有失真严重x3-y3 的概率 0 完全失真（7）H(X/Y)=16Log 2( )110Log 5( )115Log52 215Log52 110Log 5( )110Log53 130Log 10( )310Log53 1.301