1、信息与编码理论习题解第二章-信息量和熵2.1 解: 平均每个符号长为: 秒154.032.每个符号的熵为 比特/符号983logl所以信息速率为 比特/秒4.918.02.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；所以信息速率为 比特/秒602.3 解:(a)一对骰子总点数为 7 的概率是 3所以得到的信息量为 比特58.2)(log2(b) 一对骰子总点数为 12 的概率是 61所以得到的信息量为 比特7.3l22.4 解: (a)任一特定排列的概率为 ,所以给出的信息量为 !51比特8.2!51log(b) 从中任取 13 张牌,所给出的点数都不
2、相同的概率为135213524!CA所以得到的信息量为 比特.2134log152C2.5 解:易证每次出现 i 点的概率为 ,所以i比 特比 特比 特比 特比 特比 特比 特 398.21log)(807.62)5(39.4.)(216,543,1log)(1iiXHxIIxiiI2.6 解: 可能有的排列总数为 270!543没有两棵梧桐树相邻的排列数可如下图求得，Y X Y X Y X Y X Y X Y X Y X Y图中 X 表示白杨或白桦，它有 种排法，Y 表示梧桐树可以栽种的位置，37它有 种排法，所以共有 * =1960 种排法保证没有两棵梧桐树相邻，因5858此若告诉你没有两
3、棵梧桐树相邻时，得到关于树排列的信息为=3.822 比特1960log27l22.7 解: X=0 表示未录取，X=1 表示录取；Y=0 表示本市，Y=1 表示外地；Z=0 表示学过英语 ，Z=1 表示未学过英语，由此得比 特 比 特比 特比 特6017. 2log142log1490log143log43 )1(log)1()()() 000l0( 813.04ogl43)2698. 10435log104log )1(0log)01()(l)()0;(104352/512 )(/)1()(),0()(),(1046923/)0491()0(/)()01()0,1()(,)()512.048
4、5log3l8 )1(0log)01()0(l)0()0;( 85/42)/)1(1 310(0()0(),2513,40)10()1)()0(,51,10432 )10()1)()0(,22 222 222 22 xypxypxypxypxXYHc xpzzxpxpzzxpzXI zpxyxyzxyxyzp zpxypxyzpxypxyzpbxpyyxpxpyyxpyXI ypxypxpaz yzpyzpyzp xypxypxyp2.8 解:令 ，则RFTYBAX,比 特得令同 理 03645.)()( .0,2).log2.0 )2.05(log)2.05()2.3(log)(53l.)1
5、( l1.l1.5l2.l.l. .).0()0()0(og20);() .,.5.3)1(0()()5.max 22 331 22 pII p pppppXYHYXIRPFPpBT2.9 Z)=H(Z)-H(Z/Y)=H(Z)- H(X3)= 3.5993-2.585=1.0143 比特I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249 比特I(XY ;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143 比特I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X2+X3)-H(X3)=3.2744-2.585=0.6894 比特I(X;Z/Y
6、)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=02.10 解:设系统输出 10 个数字 X 等概,接收数字为 Y,显然 10)(10)()(990 ijpijpQjwiiH(Y)=log10比 特 奇 奇奇 奇偶18log10452log05 )(log)()(l)( ,og,)( 2, 22 xypxpxpxpyXYHyiy所以I(X;Y)= 比特3219.log22.11 解:（a）接收前一个数字为 0 的概率2180)()(iiiupqwbitsppwupuI )1(log1log)0(log);( 22121 （b）同理 4180)(iiiqbitsppwupuI )(
7、log2(log)(log)0;( 412121 （c）同理 8180)(iiiuqbitsppwupuI )(log3log)(log)0;( 2812121 （d）同理 )(6)1()()0( 42880 pppqwiii bitspp pwuuI 42642 42681211 )()(8log )1()(log0l);( 2.12 解:见 2.92.13 解:(b) )/()/( )/(1log)(1log)/(l)(/1log)/( XYZHY xyzpxyxypxzzxypxzXYZHyzxyzxyzxyz(c)（由第二基本不等式）)/( )/(1log)/(/l/)/(XZHxzp
8、xyzpyxyxy或（由第一基本0 )1/(log)/()/)(l/1log)/() )/(1log)/(/()/(xyzpexyzpzxpxyzp xyzpyzXZHYxyxyxy不等式）所以 )/()/(XZHY(a) )/()/()/()/()/( XYZHXH等号成立的条件为 ,对所有 ,即在给定 X 条件xzpyzzy,下 Y 与 Z 相互独立。2.14 解:(a) )/()/()/()/()/()/( ZHXYZHYXHX (b)(/)()(/)/()/()/( 0)(,)/(/)(/)/()() )/()/(/)( )/(/()/)(/XZHZHYXHZXZYXHZYYXHZYX
9、YXHH注： baabababa 21212121210,2.15 解:(a) 0)/()/(),( XYHYXd(b) ),()/()/()/()/(),( XYdH(c) ),()/()/(),(),(/ )/(/ )()()(),(),( ZXdHZXYdXZH ZY同 理2.16 解:(a) 1)(,),( )/()/()()()()(),( XYHIS XYHXYHXI又由互信息的非负性，即 0);(YI有 ，所以0);(S1YX(b) 1)()(/)(,),( XHXHIS(c) 当且仅当 X 和 Y 独立时，I （X ；Y）=0 ，所以当且仅当 X 和 Y 独立时， 。0)(,)
10、,(IS2.23 解:(a) 其 它,01)(21xxpX比 特log)(21dHC(b) 令 yxy,其 它,012)(pY比 特43.0log121)(l)()(12edyypXHYYC(c)令 32,3zdxz其 它,016)(32zdxpzXZ比 特3.0log26l )6log(1)(1l)( 003 32323232edzzdzpXHZZC2.28 解:(a) 由已知， 其 它,01)(41yypx其 它,3)(41x 其 它,031, )1()()1()(841yxypxxypxywy（b） its dyydyYH5.2 8log4loglog)( 231212138bitsyy
11、Xll)( 23142134bitXYHYI 5.0)/();(c)由1,0,yv可求得 V 的分布为 412再由 及 可求得 V 的条件分布为)/(xyp1,0,yv),(),( 1,0,)/(21xvv .),;();(5.0/;1 )1/(log)1/()1/(log)1/()()/( 5.2log4l 22121变 换 没 有 信 息 损 失可 见 VYXIYI bitHVbit xvpxvpxvppbitvv 第 三 章 离 散 信 源 无 失 真 编 码3.1 解:长为 n 码字的数目为 Dn ,因 此 长 为 N 的 D 元 不 等 长 码 至多有：1)(1NNki3.2 解:3
12、 2221091001221001 175. 04.96.4.6.96. ,)( 3.log5049)( CCPabNMaae 因 此 有的 序 列 出 现 的 概 率的 事 件 序 列 中 含 有 三 个误 组 率 为 长 为 所 需 码 长 为因 此 在 二 元 等 长 编 码 下 的 序 列 数 目 为和 更 少 个的 事 件 序 列 中 含 有 两 个长 为3.3 解:3.4 解:bitapUIBitapIAaUc bitappIBitaaIAb Bakkkk 0)(1log)()1;( 32.)(l)();(,)( 0)(log)(1log1; 32.1)(l)(l);( . ,.,
13、)(24241432122121 对 码对 码对 码对 码 均 是 唯 一 可 译 码和 码但 码 不 是 异 字 头 码码是 异 字 头 码的 字 头任 一 码 字 不 是 其 它 码 字中码3.5 解:（a）二元 Huffman 编码 %2.96.34log)()(2.)(234.)(log)()(210210DnUHRapbitsapHkk kk编 码 效 率平 均 码 长（b）三元 Huffman 编码注意：K=10 为偶数，需要添一个概率为零的虚假符号 %6.93log1.24log)()(.)(210 DnUHRapkk编 码 效 率平 均 码 长3.6 解:二元 Huffman
14、编码（a）二元 Huffman 编码%95.148log)()(.)(485.1)(log)()(231231DnUHRapbitsapUHkk kk编 码 效 率平 均 码 长（b） %90.372log)()(.)(7.2)()()(29121222 DnUHRapnbitskk编 码 效 率平 均 码 长（c） %32.9487.5log)(3)(.)(45.)()()(227132133 DnUHRapn bitskk编 码 效 率平 均 码 长3.10 傅 P186【5.11】3.11 解:3.12 解:对3.13 解:(a)根据唯一可译码的判断方法可知,输出二元码字为异字头码,所以
15、它是唯一可译码。比特469.01log.09log.0)( 22UH(b)因为信源是二元无记忆信源，所以有)()(21iniii SPSP其中 1,0,21iniiii 4306721.)(,1895.,)(061.,17298.)(,1.0,188,77,66,5,44,33,2,0SplSlSplSlSplS可计算每个中间数字相应的信源数字的平均长度信源符号/中间数字95.)(,1801iilPL(c) 根据表有 1,4827,6,25,4,23,2,1,0,2 lllll可计算每个中间数字所对应的平均长度二元码/中间数字708.)(,2802iilSPL由 二元码/信源符号456._12
16、编码效率为 0.4756/0.469=98.6%精选题1.傅 P191【5.15】2.傅 P192【5.16】信道及其容量作业：4.1 4.3 4.5 4.8 4.9 4.10 4.12 4.144.1 解：(a) 对称信道(b) 对称信道(c) 和信道(课堂教学例题)!4.3 解：(a): 可先假设一种分布,利用信道其容量的 充要条件来计算 (课堂教学例题)(b): 准对称信道！4.5 解：课堂教学例题4.8 解：该题概率有误，应把 1/32 改为 1/64。每个符号的熵为 bitspSHii 2log)(81采样频率 Fs 为Fs=2W=8000 Hz所以信息速率 R 为 bps 10.6
17、280(S) Fs44.9 解：每象点 8 电平量化认为各级出现的概率相等，即 H(U)=3 bits所以信息速率 R 为 s7.6534.10 解： bitsskb6221038.56109.3, /9.)(log)NS(WlogC603T10,dBKHz,为分 钟 可 能 传 送 话 音 信 息所 以4.12 解： SKHz,高斯信道的信道容量为 C。Rbps。R 。bpsC Cs bps高 斯高 斯高 斯 因则 一 定 可 以 实 现如 故 无 法 判 定 是 否 能 实 现的 大 小 关 系与 信 道 容 量但 无 法 判 定即的 信 道 容 量 大 于 高 斯 信 道因 此 时 信
18、道 容 量如 该 信 道 不 是 高 斯 信 道不 可 实 现如 该 信 道 是 高 斯 信 道所 以 4445 422103,10 , 10)3(log80)N(1Wlog4.14 解：第五章 离散信道编码定理习题 5.1解：DMC 信道2136P有 41)(,)(321 xQxQ247)13(4621)( 86321 ywy因为 3)()( 82111yxpyxP)()( 312221 w7)()( 2463131yxpyxP)()( 247313232 w)()(247133yxpyxP所以最大后验概率译码为： 。3121x,判 为判 为和 y译码错误概率为： 241)21(6)()(
19、3331pxQxyPQpe若按最大似然译码准则译码为： 321x,x判 为判 为判 为 yy译码错误概率为： 21)21(4 )()()( 33211 pQPxQyPxQpe可见,最大似然译码的译码错误概率大于最大后验概率译码的译码错误概率。第七章 信道编码1. 设(7,3)码的生成矩阵为 101G(1) 写出该码的一致校验矩阵 H；(2) 写出该码的所有许用码字；(3) .写出该码的“译码表”-标准译码表或简化(伴随式)译码表；(4) 写出接收矢量 R=1000001 的错误图样,并译相应的许用码字；(5) 写出该码在 BSC(错误转移概率为 p)中传输的( 平均)正确译码概率 pc 的表达
20、式；(6) 写出该码在 BSC(错误转移概率为 p)中传输的漏检概率 Pud(也称不可检测错误概率)的表达式.解: (1) G 不为系统码形式 ,我们通过初等行变换变为系统码形式10110 因此101H(2) 由 C=MG 得该码的许用码字为0000000,0111001,1101010,1010011,1011100,1100101,0110110,0001111该码的最小汉明距离为 4。(3) 该码的标准阵由 16 个陪集构成, 在 BSC(错误转移概率为 p1/2)应将重量最小的错误图样选作陪集首, 故该码的标准译码表为许用码字0000000(陪集首 )01110011101010101
21、0011 1011100 1100101 0110110 00011110000001011100011010111010010 1011101 1100100 0110111 00011100000010011101111010001010001 1011110 1100111 0110100 00011010000100011110111011101010111 1011000 1100001 0110010 00010110001000011000111000101011011 1010100 1101101 0111110 0000111001000001010011111010100
22、0011 1001100 1110101 0100110 00111110100000001100110010101110011 1111100 1000101 0010110 01011111000000111100101010100010011 0011100 0100101 1110110 10011110000011011101011010011010000 1011111 1100110 0110101 0001100禁用码字0000101011110011011111010110 1011001 1100000 0110011 000101000010010110000110001
23、11011010 1010101 1101100 0111111 00001100010001010100011110111000010 1001101 1110100 0100111 00111100100001001100010010111110010 1111101 1000100 0010111 01011101000001111100001010110010010 0011101 0100100 1110111 10011101001000111000101000100011011 0010100 0101101 1111110 100011111100001001001001101
24、00100011 0101100 0010101 1000110 1111111译码规则为若接收矢量在第 i 列出现,则译码输出为对应列中的码字 ,也就是陪集首为可纠正错误图样.伴随式译码表为伴随式 陪集首0000 00000000111 00000011101 00000101011 00001000001 00010000010 00100000100 01000001000 10000001010 00000111100 00001010110 00010010101 00100010011 01000011111 10000011001 10010001110 1110000(4) 接收矢量 R=1010101 出现在标准译码表的第五列, 译码输出为 1011100, 错误图样为 0001001.(5) 该码标准译码表的陪集首重量分布为A0=1,A1=7,A2=7,A3=1,A4=A5=A6=A7=0所以正确译码概率 pc 为 43267770 )1(5)()1()()( ppPiiic 注意：i=0(6) 该码的重量分布为A0=1,A1=A2=A3=0,A4=7,A5=A6=A7=0所以该码在 BSC 中传输的漏检概率 Pud 为34771 )1()(ppPiiiud 注意：i=1
