信息论习题

1、1、居住在某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6m以上，而女孩中身高 1.6m 以上的占总数一半。假如我们得知“身高 1.6m以上的某女孩是大学生”的消息，问获得多少信息量？解：设事件 A 表示女大学生，B 表示身高 1.6m 以上的女孩，则p(A)=0.25,p(B)=0.5,p(B/A)=0.75,所以 375.0.*25)(/)(/( BpApbitABI 42.1/log)/2、每帧电视图像可以认为由 3*105 个像素组成，所有像素均是独立变化，且每一像素又取 128 个不同的亮度电平，并设亮度电平等概率分布，问每帧含有多少信息量？解： 每 帧 图 像/10*.218log)( 60*35bitX。

2、第 1 页共 3 页信息论基础复习题一、名词解释1、信源 2、信道3、熵4、互熵5、互信息6、微分熵7、定长编码8、变长编码9、信源编码10、前缀码11、即时码12、惟一可译码13、编码误差14、离散无记忆信道15、信道容量16 最大入口分布17、无用信道18、无丢失信道19、决定信道20、无噪声信道21、第一类误差概率22、第二类误差概率23、连续信道24、可加高斯信道 25、最小可达速率 26、平均码长二、简答题1、通信系统的数学模型2、信源的概率统计模型3、信道的概率统计模型4、通信系统的序列模型5、随机变量的不确定性及其度量6、熵和互信息之间的。

3、1.从大量统计中知道，男性红绿色盲的发病率为 ，女性发病率为16，如果你问一对男女“你是否是红绿色盲？”他们分别回答可能164是“是” 。问此回答各含多少信息量？平均每个回答各含多少信息量？4,6,11/322. 地区的女孩中有 25是大学生，在女大学生中有 75是身高 1.6米以上的，而女孩中身高 1.6 米以上的占半数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问获得多少信息量？28log33.设有一连续随机变量，其概率密度函数为：，试求这随机变量的熵。又若 ，2,01()bxpothers 1(0)YXK，试分别求出 和 的熵 和 。2YX1Y21()。

4、信息论习题集一、名词解释（25 道）1、 “本体论”的信息（P2） 2、 “认识论”信息（P2） 3、离散信源（P7）4、自信息量（P9） 5、离散平稳无记忆信源（P39） 6、马尔可夫信源（P46） 7、信源冗余度 （P51） 8、连续信源 （P52） 9、信道容量 （P73） 10、强对称信道 （P75-76） 11、对称信道 （P78）12、多符号离散信道（P83）13、连续信道 （P95） 14、平均失真度 （P105） 15、实验信道 （P107）16、率失真函数 （P107） 17、信息价值率 （P127） 18、游程序列 （P143）19、游程变换 （P143） 20、L-D 编码（P146 ） 、 21、冗余变换 。

5、11、求基本高斯信源的差熵。2、一个随机变量 的概率密度函数为 ， 。试求该信源的相对熵。xkxp)(V203、一个随机变量 的概率密度函数为 ， 。试求该信源的相对熵。24、黑白气象传真图的消息只有黑色和白色两种，即信源 ，设黑色的出现概黑 ， 白X率为 ，白色的出现概率为 。3.0(黑 ）P7.0(白 ）P（1）假设图上黑白消息出现前后没有关联，求熵 。)(H（2）假设消息前后有关联，其依赖关系为 ， ，9./白 ）白 1.0/(白 ）黑P， ，求此平稳离散信源的熵 。.0/(黑 ）白P8.0/(黑 ）黑P)2X（3）分别求上述两种信源的剩余度，比较 和 的大小。)(XH(5。

6、习 题2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？2.2 一副充分洗乱了的牌(含 52 张牌) ，试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取 13 张牌，所给出的点数都不相同能得到多少信息量？2.3 居住某地区的女孩子有 是大学生，在女大学生中有 是身高 160 厘米上%25%75的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 2.4 设离散无忆信源 ，其发出的消息为 8/14/34/128/3xxXP(2021201 ，求)12003210(1) 此消息的自信息量是多。

7、1、一副充分洗乱的扑克牌（52 张） ，从中任意抽取 1 张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 _log2 52_ 。2、信息率失真理论是量化、数模转换、频带压缩和 _数据压缩_ 的理论基础。3、信源的消息通过信道传输后的 误差 越大，信宿收到消息后对信源存在的不确定性就越大 ，获得的信息量就越小。4、高斯加性噪声信道中，信道带宽 3kHz，信噪比为 7，则该信道的最大信息传输速率 Ct= 9kHz 。5、 BSC 信道即： 无记忆二进制对称信道 。1、给定 xi 条件下随机事件 yj 所包含的不确定度和条件自信息量 p(yj /xi).( D )A数。

8、1设信源 4.06)(21xXP通过一干扰信道，接收符号为 Y = y1, y2 ，信道转移矩阵为4315，求：(1) 信源 X 中事件 x1 和事件 x2 分别包含的自信息量；(2) 收到消息 yj (j=1,2)后，获得的关于 xi (i=1,2)的信息量；(3) 信源 X 和信宿 Y 的信息熵；(4) 信道疑义度 H(X/Y)和噪声熵 H(Y/X)；(5) 接收到信息 Y 后获得的平均互信息量。解：1) bitxpxI 32.140log)(log)( 7622211 2) bitypxyxI bitypxyxI xypxypyp 907.4/3log)(/log);( 26.1.)( .4./log/log);( 7.065)( 4.03.61.)/(/)( 65.)222121 2121 22122 111 3) symbolityYHXj jji ii / 971.0log)4.。

9、信息论习题课,朱亮亮 Email: zjuzll+ITgmail.com 方博文 Email: bowen1028gmail.com,2.1： A 村有一半人说真话，3|10人总说假话，2|10人拒绝回答； B 村有3|10人诚实，一半人说谎，2|10人拒绝回答。现随机地从A村和B村抽取人，p 为抽到A村人的概率，1p 为抽到B村人的概率， 问通过测试某人说话的状态平均能获得多少关于该人属于哪个村的信息？通过改变p，求出该信息的最大值。,2.2：一个无偏骰子，抛掷一次，如果出现1，2，3，4 点，则把一枚均匀硬币投掷一次，如果骰子出现5，6 点，则硬币投掷二次， 求硬币投掷中正面出现次数对于骰子出。

10、第二章 信息量和熵2.2 八元编码系统，码长为 3，第一个符号用于同步，每秒 1000 个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2 =2 3=6 bit8log因此，信息速率为 6 1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 1， 6,2，5,3 ，4,4，3,5，2,6 ，1= =)(ap361得到的信息量 = = =2.585 bit)(logap6l(2) 可能的唯一，为 6，6=)(bp361得到的信息量= = =5.17 bit)(logbp36l2.4 经过充分洗牌后的一副扑克（52 张） ，问：(a) 任何一。

11、1设有信源 X=a,b,c，P(X)=1/3, 1/3, 1/3。发出的消息为 aabcba。如果该信源为离散无记忆信源，求（1）该消息的自信息是多少。 （2）该信源的信息熵。如果该信源为二维离散信源，一维条件概率为：p(a/a)=1/2; p(b/a)=1/2; p(c/a)=0;p(a/b)=1/2; p(b/b)=1/4; p(c/b)=1/4; p(a/c)=0; p(b/c)=1/4; p(c/c)=3/4; 求（1）联合熵。 （2）条件熵。答：自信息： 32()log()l()log()()11l729.512793IAPabcPabcit信息熵 1()()log()(log)(log)(log)/3l/31/31/og.58qiiiHXPaPabPcbtA比联合熵方法 1 )(log)(log)(log)( lll )(log)()(og)()( 3112 cPbcPacPb。

12、第 4 章 信道容量4.1 设信源 .06)(21xXP通过一干扰信道，接收符号为 Y = y1, y2 ，信道转移矩阵为4315，求：(1) 信源 X 中事件 x1和事件 x2分别包含的自信息量；(2) 收到消息 yj (j=1,2)后，获得的关于 xi (i=1,2)的信息量；(3) 信源 X 和信宿 Y 的信息熵；(4) 信道疑义度 H(X/Y)和噪声熵 H(Y/X)；(5) 接收到信息 Y 后获得的平均互信息量。解：1) bitxpxI 32.140log)(log)( 7622211 2) bitypxyxI bitypxyxI xypxypyp 907.4/3log)(/log);( 26.1.)( .4./log/log);( 7.065)( 4.03.61.)/(/)( 65.)222121 2121 22122 111 3) symbolityYHXj jji 。

13、1【3.2】设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字：M1=0000，M2=0101，M3=0110，M4=0011M5=1001，M6=1010，M7=1100，M8=1111试问：（1）接收到第一个数字0与M1之间的互信息；（2）接收到第二个数字也是0时，得到多少关于M1的附加互信息；（3）接收到第三个数字仍为0时，又增加了多少关于M1的互信息；（4）接收到第四个数字还是0时，再增加了多少关于M1的互信息。解：各个符号的先验概率均为1/8(1)根据已知条件，有2因此接收到第一个数字0与 M1之间的互信息为：（2 ）根据已知条件，有因此接收到第二。

14、信息论习题集第二章2.1 同时掷 2 颗骰子，事件 A、B、C 分别表示：（A）仅有一个骰子是 3；（B）至少有一个骰子是4；（C ）骰子上点数的总和为偶数。试计算 A、B、C 发生后所提供的信息量。2.3 一信源有 4 种输出符号 ， =0，1，2，3，且 p( )=1/4。设信源向信宿发出 ，但由于传输中ixix3x的干扰，接收者收到 后，认为其可信度为 0.9。于是信源再次向信宿发送该符号（ ） ，信宿准确无误3收到。问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？2.5 一信源有 6 种输出状态，概率分别为=0.5， =0.25， =0。

15、信息理论习题集1信息理论基础习题集【考前必看】一、 判断：1、 必然事件和不可能事件的自信息量都是 0 。2、 自信息量是 )(ixp的单调递减函数。3、 单符号离散信源的自信息和信源熵都具有非负性。4、 单符号离散信源的自信息和信源熵都是一个确定值。5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的6、自信息量、条件自信息量和联合自信息量之间有如下关系：)/()/()( jijijiji yxIxyIyxI 7、自信息量、条件自信息量和互信息量之间有如下关系：/; ijjjiiji 8、当随机变量 X 和 Y 相互独立时，条件熵等于信源熵。9、。

16、2 8设随机变量X和Y的联合概率分布如右表所示 随机变量求 1 H X H Y 2 H X Y H Y X H X Z 2 13有一个马尔可夫信源 已知转移概率为 试画出状态转移图 并求出信源熵 解 根据转移概率 得状态转移图如下所示 求解信源熵 得 2 14有一个一阶平稳马尔可夫链 各取值于 已知起始概率为 转移概率如右表所示 2 14 续 1 求X1X2X3的联合熵和平均符号熵 2 求这个链的。

17、,x1,y2,y1,x2,0.98,0. 8,0.02,0. 2,00,01,10,11,00,01,10,11,0.8,0.2,0.5,0.5,0.5,0.5,0.5,0.5,00,01,10,11,0.5,0.5,0.5,0.5,0.2,0.2,0.8,0.8,根,0,0,0,1,1,1,0,10,110,111,0.3,0.2,0.15,0.15,0.1,0.1,1,1,0,1,1,0,0,0,1,0,根,二进制代码组为：11，01，101，100，001，000,bi:2,2,3,3,3,3,0.4,0.2,0.2,0.1,0.1,1(0.4),1,0,1,1,0,0,0(0.2),0(0.4),根,二进制代码组为：11，01，00，101，100 bi:2,2,2,3,3,1(0.6),0.3,0.2,0.15,0.15,0.1,0.1,1(0.3),2(0.5),1,1,0,0,0(0.2),根,二进制代码组为：1，22，21，20，01，。

18、 例2 1 4 条件熵 已知X Y XY构成的联合概率为 p 00 p 11 1 8 p 01 p 10 3 8 计算条件熵H X Y 解 根据条件熵公式 首先求 有 例2 1 5 将已知信源接到下图所示的信道上 求在该信道上传输的平均互信息量I X Y 疑义度H X Y 噪声熵H Y X 和联合熵H XY 0 98 0 02 0 2 0 8 解 1 由求出各联合概率 2 由得到Y集各消息概率 3。