1、第三章课后习题 【3.1】 设信源 =4.06.0)(21 xxxPX 通过一干扰信道,接收符号为 , 21 yyY = ,信道传递概率如下图所示,求 (1)信源X 中事件 1x 和 2x 分别含有的自信息; (2)收到消息 )2,1( =jy j 后,获得的关于 )2,1( =ixi 的信息量; (3)信源X 和信源Y的信息熵; (4)信道疑义度 )|( YXH 和噪声熵 )|( XYH ; (5)接收到消息Y后获得的平均互信息。 解: (1)信源X 中事件 1x 和 2x 分别含有的自信息分别为: 737.06.0log)(1log)(11 = xPxI 比特 32.14.0log)(1l
2、og)(22 = xPxI 比特 (2)根据给定的信道以及输入概率分布,可得 8.0)|()()( 11 = Xii xyPxPyP 2.0)|()()( 22 = Xii xyPxPyP 所求的互信息量分别为: 059.02425log8.0 6/5log)( )|(log);(11111 = yPxyPyxI 比特 x1x2y1y25/61/63/41/4093.01615log8.0 4/3log)( )|(log);(12112 = yPxyPyxI 比特 263.065log2.0 6/1log)( )|(log);(21221 = yPxyPyxI 比特 322.045log2.0
3、 4/1log)( )|(log);(22222 = yPxyPyxI 比特 (3)信源X 以及Y的熵为: 971.04.0log4.06.0log6.0)(log)()( = XxPxPXH 比特/符号 722.02.0log2.08.0log8.0)(log)()( = YyPyPYH 比特/符号 (4)信道疑义度 =X YyxPxyPxPYXH )|(log)|()()|( 而相关条件概率 )|( yxP 计算如下: 858.05.0)()()|()(),()|(111111111 = yPxPxyPyPyxPyxP 83)|(12 =yxP 212.06/6.0)()()|()(),(
4、)|(211222121 = yPxPxyPyPyxPyxP 21)|(22 =yxP 由此计算出信道疑义度为: 9635.021log4183log434.021log6185log656.0)|( = + +=YXH 比特/符号 噪声熵为: 符号比特/7145.041log4143log434.061log6165log656.0)|(log)|()()|(= + += xyPxyPxPXYH(5)接收到信息Y后获得的平均互信息为: 0075.0)|()();( = YXHXHYXI 比特/符号 【3.2】 设8个等概率分布的消息通过传递概率为p的BSC进行传送,8个消息相应编成下述码字:
5、 M1=0000,M2=0101,M3=0110,M4=0011 M5=1001,M6=1010,M7=1100,M8=1111 试问: (1)接收到第一个数字0与M1之间的互信息; (2)接收到第二个数字也是0时,得到多少关于M1的附加互信息; (3)接收到第三个数字仍为0时,又增加了多少关于M1的互信息; (4)接收到第四个数字还是0时,再增加了多少关于M1的互信息。 解: 各个符号的先验概率均为81 (1)根据已知条件,有 pxyPyPMyP = )0|0()0000|0()|0( 11111 21)|0()()0(1 = iMii MPMPyP 因此接收到第一个数字0与M1之间的互信息
6、为: ppyP MyPyMI log12/1log)0( )|0(log)0;(11111 += 比特 (2)根据已知条件,有 221121 )0000|00()|00( pyyPMyyP = 4124281)|00()()00( 2221 =+= ppppMPMPyyPiMii 因此接收到第二个数字也是0时,得到多少关于M1的互信息为: ppyyP MyyPyyMI log224/1log)00( )|00(log)00;(221121211 += 比特/符号 得到的附加信息为: pyMIyyMI log1)0;()00;( 11211 += 比特/符号 (3)根据已知条件,有 332113
7、21 )000|000()|000( pyyyPMyyyP = 813381)|000()()000( 3223321 =+= ppppppMPMPyyyPiMii 因此接收到第三个数字也是0时,得到多少关于M1的互信息为: ppyyyP MyyyPyyyMI log338/1log)000( )|000(log)000;(332113213211 += 此时得到的附加信息为: pyyMIyyyMI log1)00;()000;( 2113211 += 比特/符号 (4)根据已知条件,有 4432114321 )0000|0000()|0000( pyyyyPMyyyyP = 42244321
8、 681)|0000()()0000( ppppMPMPyyyyPiMii += 因此接收到第四个符号为0时,得到的关于M1的互信息为 ( )( )42244224443211432132116loglog43681log)0000()|0000(log)0000;(ppppppppppyyyyPMyyyyPyyyMI+=+=此时得到的附加信息为 ( )4224321143211 6loglog)000;()000;( pppppyyyMIyyyyMI += 【3.3】 设二元对称信道的传递矩阵为 32313132(1)若P(0)=3/4,P(1)=1/4,求 )(XH , )|( YXH ,
9、 )|( XYH 和 );( YXI ; (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 解: (1)根据已知条件,有 符号比特/811.041log4143log43)(log)()(= Xii xPxPXH12731413243)|0()()0( =+= XxyPxPyP 125)|1()()1( = XxyPxPyP 7612/73243)0()0|0()0()0|0( =yPxyPxPyxP 71)0|1( = yxP 5312/53143)1()0|1()0()1|0( =yPxyPxPyxP 52)1|1( = yxP 符号比特/918.032log3231log314
10、131log3132log3243)|(log)|()()|(= + += X YxyPxyPxPXYH符号比特/749.052log3271log314153log3176log3243)|(log)|()()|(= + += X YyxPxyPxPYXH062.0)|()();( = YXHXHYXI 比特/符号 (2)此信道是对称信道,因此其信道容量为: 082.0)31,32(1)(1 = HpHC 比特/符号 根据对称信道的性质可知,当 21)1()0( = PP 时,信道的传输率 );( YXI 达到信道容量。 【3.4】 设有一批电阻,按阻值分70%是2k,30%是5k;按功耗分
11、64%是1/8W,其余是 1/4W。现已知 2k阻值的电阻中 80%是 1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少? 解: 根据已知条件,设电阻的阻值为事件X,电阻的功耗为事件Y,则两事件的概率空间为: =3.07.052 21 kxkxPX , =36.064.04/18/1 21 WyWyPY 给定条件为 8.0)|( 11 =xyP , 2.0)|( 12 =xyP ,而 )|(*3.08.0*7.0)|()()|()()(64.0 212121111 xyPxyPxPxyPxPyP +=+= )|(*3.02.0*7.0)|()()|()()(36.0 2222212
12、12 xyPxyPxPxyPxPyP +=+= 解得: 154)|(21 =xyP , 1511)|(22 =xyP ( ) 7567.01511log1511154log154*3.02.0log2.08.0log8.0*7.0)|( = +=XYH 186.0)|()();( = XYHYHYXI 比特/符号 【3.5】 若X 、Y和Z是三个随机变量,试证明: (1) )|;();()|;();();( ZYXIZXIYZXIYXIYZXI +=+= (2) )|()|()|;()|;( YZXHZXHZXYIZYXI = (3) 0)|;( ZYXI 当且仅当 ),( YZX 是马氏链时
13、等式成立。 证明: (1) );()|;()()|(log),()|()|(log),()()|()|()|(log),()()|(log),();(,YXIYZXIxPyxPzyxPyxPyzxPzyxPxPyxPyxPyzxPzyxPxPyzxPzyxPYZXIZYXZYXZYXZYX+=+= =同理, )|;();();( ZYXIZXIYZXI += (2) )|;()|()|(log),()()()()(log),()|()|(log),()|;(,ZXYIzyPxzyPzyxPyzPxzPzPxyzPzyxPzxPyzxPzyxPZYXIZYXZYXZYX=)|()|()|(log
14、),()|(log),()|()|(log),()|;(,YZXHZXHyzxPzyxPzxPzyxPzxPyzxPzyxPZYXIZYXZYXZYX=+=(3) 0)()()(log)|()|(),(log)|()|(log),()|;(,=ZYXZYXZYXzPyzPxzPyzxPzxPzyxPyzxPzxPzyxPZYXI等号成立当且仅当 )|( )|()()( )()(1)|( )|( xzyP zyPzPxyzP yzPxzPyzxP zxP = , 即)|()|( xzyPzyP = ,即 ),( YZX 是马氏链。 【3.6】若有三个离散随机变量,有如下关系: ZYX =+ ,其
15、中X 和Y相互统计独立,试证明: (1) )()( ZHXH ,当且仅当Y是常量时等式成立; (2) )()( ZHYH ,当且仅当X 为常量时等式成立; (3) )()()()( YHXHXYHZH + ,当且仅当X ,Y中任意一个为常量时等式成立; (4) )()();( YHZHZXI = ; (5) )();( ZHZXYI = ; (6) )();( XHYZXI = ; (7) )()|;( YHXZYI = ; (8) )|()|()|;( ZYHZXHZYXI = 。 证明: 当 ZYX =+ 时,有+=+=yxzyxzxyzP10)|( ,即 0)|( =XYZH ,而);(
16、)()|( ZXYIZHXYZH = ,因此 )();( ZHZXYI = 。 )()(),(log),()(),(log),()|(log),()|(YHxPyxPyxPxPzxPzxPxzPzxPXZH=而 )|()();( XZHZHZXI = ,因此 )()();( YHZHZXI = 。 根据互信息的性质,有 0);( ZXI ,因此 )()( YHZH 成立,而当X为常量时,Z和X的概率分布相同,因此上述不等式中的等号成立。 同理, )()( XHZH 成立。 由于 )()|()()|()();( ZHZXYHXYHXYZHZHZXYI = ,而0)|( ZXYH ,因此 )()(
17、 XYHZH 成立。 根据条件,有+=+=yxzyxzyzxP10)|( ,因此 0)|( =YZXH ,而)|()();( YZXHXHYZXI = ,因此 )();( XHYZXI = 。 )()|()|()|()|;( YHXYHXZYHXYHXZYI = )|()|()|()|;()|()|()|()|;(ZYHXZYHZYHZXYIZXHYZXHZXHZYXI=【3.7】 设X,Y是两个相互统计独立的二元随机变量,其取“0”或“1”的概率为等概率分布。定义另一个二元随机变量Z,而且 XYZ = (一般乘积),试计算: (1) )(XH , )(YH , )(ZH ; (2) )(XY
18、H , )(XZH , )(YZH , )(XYZH ; (3) )|( YXH , )|( ZXH , )|( ZYH , )|( XZH , )|( YZH ; (4) )|( YZXH , )|( XZYH , )|( XYZH ; (5) );( YXI , );( ZXI , );( ZYI ; (6) )|;( ZYXI , )|;( ZXYI , )|;( YXZI , )|;( XYZI ; (7) );( ZXYI , );( YZXI , );( XZYI ; 解: 由于X 和Y是相互独立的等概率分布的随机变量,因此有 1)()( = YHXH 比特/符号 而符号Z的概率空
19、间为:=414310PZ ,因此 811.0)41,43()( = HZH 比特/符号 2)()()( =+= YHXHXYH 比特/符号 根据已知条件可得 21)0()0,0( = xPzxP , 0)1,0( = zxP 41)0,1()0,1( = yxPzxP ,41)1,1()1,1( = yxPzxP 1)0( )0,0()0|0( = = xP xzPxzP , 0)0( )0,1()0|1( = = xP xzPxzP 21)1()1,0()1|0( =xPxzPxzP ,21)1()1,1()1|1( =xPxzPxzP 5.021log4121log411log21)|(l
20、og),()|( = xzPzxPXZH 比特/符号 5.1)|()()( =+= XZHXHXZH 比特/符号 同理, 5.0)|( =YZH 比特/符号, 5.1)|()()( =+= YZHYHYZH 比特/符号 由于=xyzxyzxyzP01)|( ,因此 0)|( =XYZH 比特/符号 2)|()()( =+= XYZHXYHXYZH 比特/符号 1)()()|( = YHXYHYXH 比特/符号 689.0)()()|( = ZHXZHZXH 比特/符号 689.0)()()|( = ZHYZHZYH 比特/符号 5.05.12)()()|( = YZHXYZHYZXH 比特/符
21、号 同理, 5.0)|( =XZYH 比特/符号 0)|()();( = YXHXHYXI 比特/符号 311.0)|()();( = ZXHXHZXI 比特/符号 311.0)|()();( = ZYHYHZYI 比特/符号 189.05.0689.0)|()|()|;( = YZXHZXHZYXI 比特/符号 189.0)|;()|;( = ZYXIZXYI 比特/符号 5.0)|()|()|;( = XYZHYZHYXZI 比特/符号 5.0)|()|()|;( = XYZHXZHXYZI 比特/符号 811.0)|()();( = XYZHZHZXYI 比特/符号 5.05.01)|(
22、)();( = YZXHXHYZXI 比特/符号 5.0)|()();( = XZYHYHXZYI 比特/符号 【3.8】 有一个二元信道,其信道如右图所示。设该信道以 1500 个二元符号/秒的速度传输输入符号,现有一消息序列共有 14000 个二元符号,并设在这消息中21)1()0( = PP 。问从信息传输的角度来考虑,10 秒内能否将这消息序列无失真地传送完。 解: 01010.980.020.02 0.98该信道的信道矩阵为 98.002.002.098.0 ,信道容量为: 8586.0)02.0,98.0(2log = HC 比特/符号 10秒内可以传输的最大信息量为: 41028
23、8.1108586.01500 = 比特 而14000个符号中所含有的信息量为:14000比特,因此从信息的角度来考虑,10秒钟内不可能把上述14000个符号传输完。 【3.9】 求下图中信道的信道容量及其最佳的输入概率分布。 1/31/61/21/3 1/61/61/21/31/3 1/61/2解:两个信道的信道矩阵分别如下: 3161316161316131,216131312161613121可见,两个信道均是对称信道,信道容量分别为: 0817.0)61,31,61,31(4log1 = HC 比特/符号 126.0)31,61,21(3log2 = HC 比特/符号 输入的最佳分布是
24、等概率分布。 【3.10】 求下列两个信道的信道容量,并加以比较 (1) eeeeee22pppp (2)eeeeee2002pppp 解:这两个信道均是准对称信道,当输入符号等概率时,平均互信息达到信道容量,具体如下: (1)该准对称信道的信道容量为: )log()()log()(21 2log)21()2,(2log2221log221221log221)2,()(max1eeeeeeeeeeeeeeeeee+=ppppppHppHYHC(2)该准对称信道的信道容量为: eeeeeeeeeeeeeeeeeeeeee22)log()()log()(21 2log)21()2,(loglog2
25、21log221221log221)2,()(max12+=+=CppppppHppHYHC【3.11】 求下图中信道的信道容量及其最佳的输入概率分布,并求出 0=e 和21=e 时的信道容量C。 12121-1-0 01解: 该信道的信道矩阵如下: eeee1010001该信道既非对称信道,也非准对称信道,因此根据一般信道容量的计算公式,有 = )|(log)|()|( ijijjij abPabPabP b 即 +=+=+=eeeebeebeeeeebbeblog)1log()1()1(log)1log()1()1(032321解得: 01 =b , eeeebb log)1log()1(
26、32 += 而信道容量 ( )eebee += 1)1(21log2log jC 信道的输出符号概率为: eebee += 11 )1(2112)( 1 CbPeeeebeeee+=112 )1(21)1(2)( 2 CbP eeeebeeee+=113 )1(21)1(2)( 3 CbP 而 )()( 11 aPbP = )()()1()( 322 aPaPbP ee += )()1()()( 323 aPaPbP ee += 可得: ee ee += 11 )1(211)(aP eeeeeeee+=112 )1(21)1()(aP eeeeeeee+=113 )1(21)1()(aP 当
27、0=e 时, ( ) 3log)1(21log 1 =+= ee eeC ,信道为一一对应信道; 当 21=e 时, 2log2121log = +=C 。 【3.12】 试证明 )(XH 是输入概率分布 )(xP 的上凸函数。 证明: =XxPxPXH )(log)()( 设存在两个概率分布 )(1 xP 和 )(2 xP ,目标是要证明 )()()()( 2121 xPxPHxPHxPH qqqq + 证明过程如下: ( )01)( )()(log1)( )()(log)()(log)()()(log)()(log)()()(log)()(log)()()()()(221122112122
28、112121= + +=+=+xPxPxPexPxPxPexPxPxPxPxPxPxPxPxPxPxPxPxPxPxPHxPHxPHqqqqqqqqqqqq【3.13】 从平均互信息的表达式证明,当信道和信源都是无记忆时,有 );();( YXNIYXI NN = 证明:设 ( )Nkkkkaaa L21=a , ( )Nhhhhbbb L21=b ,按照给定信道和信源均是无记忆,有 )()()()()(2121 NN kkkkkkkaPaPaPaaaPP LL =a )|()|()|()|()|(22112121 NNNN khkhkhkkkhhhkhabPabPabPaaabbbPP LL
29、L =ab )()()()|()|()|()()()()|()()(21221121NNNNhhhkhkhkhkkkkhkhPbPbPaPabPabPaPaPaPPPPLLL= abab);();();()()|(log)()()|(log)()()()()|()|()|(log)()()|(log)()|(log)()(log)()|()();(2211111212211NNhkhjihkhjihhhkhkhkhjijijjiijjijjNNNNNYXIYXIYXIbPabPPbPabPPPbPbPabPabPabPPPPPPPPPXYHYHYXINNNNNN+=+=+=LLLLbababa
30、babbaabbabb【3.14】 证明:若 ),( ZYX 是马氏链,则 ),( XYZ 也是马氏链。 证明: 如果 ),( ZYX 是马氏链,则有 )|()|( yzPxyzP = ,即 )()()()(yPyzPxyPxyzP = 因此有 )( )()( )( yP xyPyzP xyzP = ,即 )|()|( yxPyzxP = ,即 ),( XYZ 也是马氏链。 【3.15】 把n个二元对称信道串接起来,每个二元对称信道的错误传递概率为p。证明这n个串接信道可以等效于一个二元对称信道,其错误传递概率为)21(121 np ,并证明 0);(lim 0 = nnXXI ,设 0p 或
31、 1,信道的串接如下图所示。 证明: 当 1=n 时,错误概率 )21(1(21 pp = 成立; 假设 kn = 成立,即k个串接信道的错误概率为 )21(121 kp ; 当 1+= kn 时,其错误概率为: )21(121)21()21(2121)21(2)21(221)21(12)21(22)21(1211)21(1211+=+=+=+= +kkkkkkkkkpppppppppppppppppp当 n 时,错误概率近似为21,总信道矩阵为21212121,此时不论输入为何分布,输出均为等概率分布。其互信息为: 0)|(1)|()();(lim 000 =XXHXXHXHXXI nnnn
32、n比特/符号 【3.16】 若有两个串接的离散信道,它们的信道矩阵都是 010000212110001000并设第一个信道的输入符号 , 4321 aaaaX 是等概率分布,求 );( ZXI 和);( YXI 并加以比较。 解: 串接后的信道矩阵为: =002121100001000100010000212110001000010000212110001000 =21418181010000212110001000)()()()()()()()( 43214321 aPaPaPaPbPbPbPbP符号比特/5.121log214121log214121log2141log4181log8181log81)|()();(= XYHYHYXI =41218181002121100001000100)()()()()()()()( 43214321 aPaPaPaPcPcPcPcP符号比特/5.121log214121log214121log2141log4181log8181log81)|()();(= XZHZHZXI可见, );();( YXIZXI = 。