1、第五章课后习题 【5.1】某信源按 43)0( =P ， 41)1( =P 的概率产生统计独立的二元序列。 （1）试求 0N ，使当 0NN 时有 01.005.0)()( SHNIP ia 式中， )(SH 是信源的熵。 （2）试求当 0NN = 时典型序列集 NGe 中含有的信源序列个数。 解： （1）该信源的信源熵为 811.0)(log)()( = ii spspSH 比特/符号 自信息的方差为 4715.0811.04log4134log43)()()(22222=+= SHsIEsID ii根据等长码编码定理，我们知道 dea 1)()( SHNIP i 根据给定条件可知， 05.
2、0=e ， 99.0=d 。而 2)(ed NsID i= 因此 5.19099.0*05.04715.0)(220 = deisIDN 取 1910 =N 。 （2）e典型序列中信源序列个数取值范围为： )()( 22)1( eeed + SHNNSHN G 代入上述数值得 451.164351.145 2201.0 NGe 【5.2】有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F。 表5.2 消息 )( iaP A B C D E F 1a 1/2 000 0 0 0 0 0 2a 1/4 001 01 10 10 10 100 3a 1/16
3、 010 011 110 110 1100 101 4a 1/16 011 0111 1110 1110 1101 110 5a 1/16 100 01111 11110 1011 1110 111 6a 1/16 101 011111 111110 1101 1111 011 （1） 求这些码中哪些是惟一可译码； （2） 求哪些码是非延长码（即时码）； （3） 求对所有惟一可译码求出其平均码长L。 解： （1）上述码字中，A为等长码，且为非奇异码，因此码 A为惟一可译码；码 B 中，根据惟一可译码的判断方法，可求得其尾随后缀集合为11111,1111,111,11,1 ，且其中任何后缀均不为
4、码字，因此码B是惟一可译码。码C 为逗点码，因此码 C 为惟一可译码；码D不是惟一可译码，因为其尾随后缀集合中包含0，而0又是码字；码E的尾随后缀集合为空集，因此码E是惟一可译码；码F不是惟一可译码，因为其尾随后缀集合中包含0，而0又是码字，因此F不是惟一可译码。 （2）码A、C、E是即时码（非延长码） （3）码 A的平均码长为 3；码 B 的平均码长为2.125；码 C 的平均码长为2.125；码F的平均码长为2。 【5.3】证明定理5.6，若存在一个码长为 qlll , 21 K 的惟一可译码，则一定存在具有相同码长的即时码。 证明： 如果存在码长为 qlll , 21 K 的惟一可译码，
5、则 qlll , 21 K 必定满足如下不等式 11=qilir 而如果码长 qlll , 21 K 满足上述不等式，根据Kraft不等式构造即时码的方法，可以构造出码长为 qlll , 21 K 的即时码，具体构造过程略，参照课本相关定理。 【5.4】设信源 =621621)( pppssssPSLL 将此信源编码为r元惟一可译变长码（即码符号集 ,2,1 rX K= ），其对应的码长为 )3,2,3,2,1,1(),( 621 =lll K ，求r值的下限。 解： 如果要构造出惟一可译变长码，则相关码长必须满足 11=qilir ，代入上式有 21321 + rrr 当 2=r 时，上述不
6、等式不成立；当 3=r 时，成立。因此r值的下限为3。 【5.5】若有一信源 =2.08.0)(21 sssPS 每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的），而 信道每秒钟只传递两个二元符号。试问信源不通过编码能否直接与信道连接？若通过适当编码能否中在信道中进行无失真传输？若能连接，试说明如何编码并说明原因。 解： 如果不通过编码，即信道的两个码符号对应两个信源符号，而信道传输码符号的速度小于信源发出信源符号的速度，因此势必会造成信源符号的堆积，因此不通过编码是无法将信源与信道直接连接。 信源平均每秒发出的信息量为 921.1)(l
7、og)(*66.2)(*66.2 = sPsPSH 比特/秒 而该信道的信道容量为1比特/符号，平均每秒能够传输的最大信息量为2比特，因此通过编码可以实现二者的连接。 若要连接，需要对扩展信源的信源符号进行编码，目的是使送入信道的信息量小于信道每秒能接收的最大信息量（或使每秒钟编码后送入信道的码符号个数必须小于信道所能接受的最大码符号个数），具体编码方法将在第八章进行。【5.6】设某无记忆二元信源，概率 1.0)1(1 = Pp ， 9.0)0(0 = Pp ，采用下述游程编码方案：第一步，根据0的游程长度编成8个码字，第二步，将8个码字变换成二元变长码，如下表所示。 表5.6 信源符号序列
8、中间码 二元码字 1 01 001 0001 00001 000001 0000001 00000001 00000000 s0 s1 s2 s3 s4 s5 s6 s7 s8 1000 1001 1010 1011 1100 1101 1110 1111 0 （1） 试问最后的二元变长码是否是否是惟一可译码； （2） 试求中间码对应的信源序列的平均长度 1L ； （3） 试求中间码对应的二元变长码码字的平均长度 2L ； （4） 计算比值 12 / LL ，解释它的意义，并计算这种游程编码的编码效率； 解： （1）该码是非延长码，因此肯定是惟一可译码； （2）由于信源本身是无记忆的，因此各信
9、源符号的概率如下表所示。 信源符号序列 概率 中间码 二元码字 1 01 001 0001 00001 000001 0000001 00000001 00000000 0.1 0.09 0.081 0.0729 0.06561 0.059049 0.0531441 0.04782969 0.43046721 s0 s1 s2 s3 s4 s5 s6 s7 s8 1000 1001 1010 1011 1100 1101 1110 1111 0 因此信源序列的平均长度为 695328.5)(1 = ii lspL （3）中间码对应的二元变长码码长为 708598.2)(2 = ii lspL （4） 4756.012 =LL ，反应了每个信源符号需要的二元码符号数。 平均每个信源符号的信息量为 469.01.0log1.09.0log9.0)( =SH 编码效率为 986.0/ )(12= LL SHh
