1、信息论与编码-曹雪虹张宗橙（第二版）课后习题答案第二章1112.1 一个马尔可夫信源有 3 个符号 ，转移概率为： ，1,23u1|/2pu， ， ， ，2|/pu1|0pu|/p2|03|/， ， ， ，画出状态图并求出各符号稳态概13| 23|/3|率。解：状态图如下状态转移矩阵为： 1/203/p设状态 u1， u2， u3 稳定后的概率分别为 W1，W 2、W 3由 得 计算可得1231WP11322131W123059652.2 由符号集0，1 组成的二阶马尔可夫链，其转移概率为：=0.8， =0.2， =0.2， =0.8， =0.5， =0.5(0|)p(0|)p(|0)p(|)
2、p(0|1)p(0|1)p， =0.5， =0.5。画出状态图，并计算各状态的稳态概率。1|1|解： (|)(|).8(|1)(|).50|02p|0|0p(1|)(|).(|)(|).|181|15u1 u231/21/2/32/1/于是可以列出转移概率矩阵：0.820.58p状态图为：0 0 0 11 0 1 10 . 80 . 20 . 50 . 50 . 50 . 50 . 20 . 8设各状态 00，01，10，11 的稳态分布概率为 W1,W2,W3,W4 有得 计算得到41iiWP131224130.8.51W2345715W2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都
3、为 1/6，求：(1) “3 和 5 同时出现”这事件的自信息；(2) “两个 1 同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即 2, 3, , 12 构成的子集）的熵；(5) 两个点数中至少有一个是 1 的自信息量。解：(1) bitxpxIiii 170.48log)(l)(61(2) bitxpxIiii 170.536log)(l)(16(3)两个点数的排列如下：11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 55
4、5661 62 63 64 65 66共有 21 种组合：其中 11，22，33，44，55，66 的概率是 361其他 15 个组合的概率是 8612 symbolitxpXHi ii / 37.418log536log)(log)()( (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： symbolitxpXHPi ii/ 274.3 61log35l6291log12log18g261lg)()()( 3621093658794832 (5) bitxpxIiii 710.36log)(l)(162-42.5 居住某地区的女孩子有 25%是大学生，在女大学生中有 75
5、%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量 X 代表女孩子学历X x1（是大学生） x2（不是大学生）P(X) 0.25 0.75设随机变量 Y 代表女孩子身高Y y1（身高160cm） y2（身高222| /bit1(;)IXY所以第二个实验比第一个实验好（2）因为 Y1 和 Y2 相互独立，所以 1212(|)(|)|pyxypxy1y2 00 01 10 11p 1/4 1/4 1/4 1/4P(y2|x) 0 1012110001Y2X0 10 1/4 01
6、1/4 02 0 1/2P(y1y2x) 00 01 10 110 1/4 0 0 01 0 0 1/4 02 0 1/4 0 1/4P(y1y2|x) 00 01 10 110 1 0 0 01 0 0 1 02 0 1/2 0 1/2bit/符号12121211(;)(,)(|)log4llog2l4IXYHYX=1.5bit/符号由此可见，做两个实验比单独做 Y1 可多得 1bit 的关于 X 的信息量，比单独做 Y2 多得0.5bit 的关于 X 的信息量。（3） 12112122(;|)(|)(|,),;,(;,)()IYXHHIIYIXY=1.5-1=0.5bit/符号 表示在已做
7、 Y2 的情况下，再做 Y1 而多得到的关于 X 的信息量同理可得=1.5-0.5=1bit/符号21121(;|)(;,)(;)IYIYIX表示在已做 Y1 的情况下，再做 Y2 而多得到的关于 X 的信息量欢迎下载！第三章3.1 设二元对称信道的传递矩阵为321(1) 若 P(0) = 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X)和 I(X;Y)；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)symbolitYXHYXI sybolitXYHmlityp xypxypxyysmbolit xypxypXYH symbolitxjjij
8、ijijiii / 062.749.81.0)/();( / 749.018.)/(/ )/(/; / 8.)6.log467.0583.log583.0()( 4167.0321/()/() 5.4)()()/ 918.0 10lg)3241lg31432lg( )/(l)/()/( / 8.0o( 22112212 21211 222 2) 22 2max(;)loglog(llg)10.8 /3miCI itsymbol其最佳输入分布为 1(ipx3-2 某信源发送端有 2 个符号， ，i1，2； ，每秒发出一个符号。接受端有 3()ipxa种符号 ，j1，2，3，转移概率矩阵为 。iy
9、 /2104/P（1） 计算接受端的平均不确定度；（2） 计算由于噪声产生的不确定度 ；(|)HYX（3） 计算信道容量。解： /1204/P联合概率 (,)ijpxyX Y 12y3y1/a/02x()()4a(1)/则 Y 的概率分布为Y 1y2y3y/()/()/（1） +414()log2llogaaH6l2412111log2l6loglog44a23a取 2 为底 2211()loglog)44aHYbit（2） 11|) logllog244aX 3(1loglog2aa取 2 为底 3(|)aHYXbit2()() ()11mx;x(|maxlog2llog44i i ipp
10、p acIHYX 取 e 为底211lnlln)24aa21ll()a21nn2()4aall= 014a35925131logllog24c3104603logllog2153.3 在有扰离散信道上传输符号 0和 1，在传输过程中每 100个符号发生一个错误，已知 P(0)=P(1)=1/2，信源每秒内发出 1000个符号，求此信道的信道容量。解：由题意可知该二元信道的转移概率矩阵为：为一个 BSC 信道0.9.1P所以由 BSC 信道的信道容量计算公式得到： 21log()logl0.92/109/seciitCsHpbitsgnbt3.4 求图中信道的信道容量及其最佳的输入概率分布.并求
11、当 =0 和 1/2 时的信e道容量 C 的大小。解: 信道矩阵 P= ,此信道为非奇异矩阵,又 r=s,可利用方程组求解e10= (i=1,2,3)31(|)jijjPba=31(|)log(|)jijiPba23()()l()logog1eee-+-+解得 10b=23()l(1)l-所以 C=log =log20+22(1- )log(1- )+ jjbeog=log1+21-H( )=log1+2 (1)-eX0 Y011 12 21 e1231 (1)1()()2()()C HCPbbPbee- - -=+ =而 (j=1,2,3)31()()|jijiiPa=得12233()()(
12、)bPae-+ -所以 P(a1)=P(b1)= (1)e-2323(1)()()2PaPbe-=+当 =0 时,此信道为一一对应信道,得eC=log3, 123()()a当 =1/2 时,得 C=log2, ,1=231()4Pa=3.5 求下列二个信道的信道容量，并加以比较（1） （2）p 20p其中 p+ =1解：（1）此信道是准对称信道，信道矩阵中 Y 可划分成三个互不相交的子集 由于集列所组成的矩阵 , 而这两个子矩阵满足对称性，因此可直接利用准p2对称信道的信道容量公式进行计算。C1=logr-H(p1 p2 p3)- MkNklog21其中 r=2,N1=M1=1-2 N2= M
13、2=4 所以C1=log2-H( ,p-,2)-(1-2 )log(1-2 )-2 log4p=log2+( )log( )+(p-)log(p-)+2log2-(1-2)log(1-2)-2log4=log2-2log2-(1-2)log(1-2)+( )log( )+(p-)log(p-)p=(1-2)log2/(1-2)+( )log( )+(p- )log(p- )输入等概率分布时达到信道容量。（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中 Y 可划分成两个互不相交的子集，由子集列所组成的矩阵为 ， 这两矩阵为对称矩
14、阵 其中p20r=2,N1=M1=1-2 N2=M2=2 ，所以C=logr-H( - ,p-,2,0)-p21logkMkN=log2+( - )log( - )+(p-)log(p-)+2log2-(1-2)log(1-2)-2log2=log2-(1-2)log(1-2)+( - )log( - )+(p-)log(p-)p=(1-2)log2/(1-2)+2log2+( - )log( - )+(p-)log(p-)=C1+2log2输入等概率分布（P（a1）=P（a2）=1/2 ）时达到此信道容量。比较此两信道容量，可得 C2=C1+2log23-6 设有扰离散信道的传输情况分别如图
15、 317 所示。求出该信道的信道容量。X Y1 / 21 / 21 / 21 / 21 / 21 / 21 / 21 / 2图 3 - 1 7解：1212120对称信道 log(|)iCmHYa4l取 2 为底 bit/符号13-7(1)条件概率 ，联合概率 ，后验概率 p y0( ) 13， p y1( ) 12，p y2( ) 16（2） H(Y/X)= （3）当接收为 y2，发为 x1 时正确，如果发的是 x1 和 x3 为错误，各自的概率为：P(x1/y2)=15，P(x2/y2)=15，P(x3/y2)=35其中错误概率为：Pe=P(x1/y2)+P(x3/y2)=1535 0.8（
16、4）平均错误概率为（5）仍为 0.733（6）此信道不好原因是信源等概率分布，从转移信道来看正确发送的概率 x1-y1 的概率 0.5 有一半失真x2-y2 的概率 0.3 有失真严重x3-y3 的概率 0 完全失真（7）H(X/Y)=16Log 2( )110Log 5( )115Log52 215Log52 110Log 5( )110Log53 130Log 10( )310Log53 1.3013. 8 设加性高斯白噪声信道中，信道带宽 3kHz，又设(信号功率+噪声功率)/噪声功率=10dB。试计算该信道的最大信息传输速率 Ct。解：3. 9 在图片传输中，每帧约有 2.25106个
17、像素，为了能很好地重现图像，能分 16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为 30dB） 。解： sbittICitNHsymbolitn/ 10.56910 942./ 16logl 6 z 15049)(log.1logl2HPWNXtNXt 3-10 一个平均功率受限制的连续信道，其通频带为 1MHZ，信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为 10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至 5，要达到相同的信道容量，信道通频带应为多大？（3）若信道通频带减小为 0.5MHZ 时，要保持相同
18、的信道容量，信道上的信号与噪声的平均功率比值应等于多大？解：（1） 2log(1)CWSNR603.59Mbps（2） 2l()3.459bps.1.8og6HZ（3） 32l().CSNRs2.459l()0S1NR欢迎下载！第四章4.2 某二元信源 2/10)(XP其失真矩阵为 aD0求这信源的 Dmax和 Dmin和 R(D)函数。解： 021),(min)( 2),(iminax i jiji jiijjyxdpap因为二元等概信源率失真函数： aDHRl)(其中 n = 2, 所以率失真函数为： aD1lnl2l)(4.3 一个四元对称信源 4/132/410)(XP，接收符号 Y = 0, 1, 2, 3，其失真矩阵为01，求 Dmax和 Dmin及信源的 R(D)函数，并画出其曲线（取 4至 5个点） 。解： 041041),(min)( 43),(iminax i jiji jiijjyxdpDp因为 n 元等概信源率失真函数： aDnaDR1ln1ll)(其中 a = 1, n = 4, 所以率失真函数为： l3l4l)(函数曲线：
