1、,第二章 习题解答,则状态空间为：,消息 x5 所提供的信息量为：,2.2 某无线电厂生产 A, B, C, D 四种产品， 其中 A 占 10% ,B 占 20%，C 占 30%，D 占 40%。有两个消息 “ 现在完成一台 B 种产品 ”， “ 现在完成一台 C 种产品 ”， 试确定哪一种消息提供的信息量大一些？,则状态空间为：,消息 xB和 xC 所提供的信息量分别为：,可见，消息 xB比消息xC 所提供的信息量大一些。,平均信息量为：,(2) 只按等级，共有 14 种状态，其状态空间为：,平均信息量为：,(2) 乙地天气预报所提供的平均信息量为：,首先求联合概率： p ( i j )
2、= p( i ) p( j / i ),(3) 信源的剩余度为：,(1) 该信源的熵(即条件熵)为：,(2) 若信源的消息之间无关，信源的熵(即无条件熵)为：,解,剩余度为：,息量，因此实际的平均信息量(即实际熵)为：,2.7 有一二元通信系统，传送 0 和 1 的概率分别为 1/4 和 3/4 ，为了可靠地传输消息, 重复传输 3 次, 试求剩余度为多少？,剩余度为：,现在每个消息重复传输 3 次，但后面两次并不产生新的信,注：,本题不是一维马氏链，故不能通过先求条件概率，再求条 件熵 H ( X2/X1 ) 的方法来得到实际熵.,2.8 有一个产生 A、B、C、D 四种消息的信源，其出现的
3、概率相等。通过某一通信系统传输时, B 和 C 无误; A 以 1/4 的概率传为 A, 以 1/4 的概率误传为 B、C、D; 而 D 以 1/2 的概率正确传输, 以 1/2 的概率误传为 C。试求其可疑度？收到的信号中哪一个最可靠？其散布度为多少？,则已知先验概率与,转移概率如右表：,yi 表示分别收到A、B、C、D.,首先求其它 几种概率：,联合概率:,后验概率:,Y的概率:,解,(1) 可疑度：,某个 yj 时的可疑度。,其中,为具体收到,解,可见，收到的信息中，A 最可靠， C 最可疑。,(2) 收到的信息中哪一个最可靠？,0.5,0.5,1.0,1.0,0.25,0.25,0.2
4、5,0.25,解,(3) 散布度：,某个 xi 时的散布度。,其中,为具体发出,解,可见，在发出的信息中，A 的散布度最大。,(4) 发出的信息中哪一个散布度最大？,0.5,0.5,1.0,1.0,0.25,0.25,0.25,0.25,解,2.9 如果一帧电视图像的信息量约为 9.96105106 比特，某一广播员在电台试图用他的 10,000 个字的字汇中的 1000 个字来口述此电视图像。假定他的字汇中的 10,000个字在描述此图像时每个字以等概出现，试确定广播员描述此图像所广播的信息量是多少？该广播员能否用1000个字恰当地描述此图像？古语云“一幅画值1000个字”是夸大了还是低估了
5、？,故状态数(即各种图像的总数)为：,平均信息量(熵)为：,且每帧图像出现的概率相等。,(1),(2) 广播员的描述采用的是所谓的“千字文、万字表”,故状态数(即各种千字文的总数)为：,平均信息量(熵)为：,(3),(倍) 。,可见，“一幅画胜过千言万语”！,2.9 如果一帧电视图像的信息量约为 9.96105106 比特，某一广播员在电台试图用他的 10,000 个字的字汇中的 1000 个字来口述此电视图像。假定他的字汇中的 10,000个字在描述此图像时每个字以等概出现，试确定广播员描述此图像所广播的信息量是多少？该广播员能否用1000个字恰当地描述此图像？古语云“一幅画值1000个字”
6、是夸大了还是低估了？,解,2.10 有一个以 “点” 和 “划” 构成的二元通信系统, “点” 的长度为 0.01 秒, “划” 的长度为 0.04 秒。 “点” 和 “划” 出现的概率分别为 0.75 和 0.25, 试求信息速率为多少？ 若 “点” 和“划”出现的概率相等，信息速率又为多少？,(秒)，,(个)，,信息速率为：,2.10 有一个以 “点” 和 “划” 构成的二元通信系统, “点” 的长度为 0.01 秒, “划” 的长度为 0.04 秒。 “点” 和 “划” 出现的概率分别为 0.75 和 0.25, 试求信息速率为多少？ 若 “点” 和“划”出现的概率相等，信息速率又为多少
7、？,解,(1),(2) 设每秒可传输 n 个消息，则,(秒)，,(个)，,信息速率为：,注：,本题说明, 虽然等概时熵最大, 但熵速率不一定是最大的, 因此, 利用熵速率刻画信道的特性要更好一些。,(2) 计算熵、条件熵以及联合熵：,(3) 上述三组只需计算其中一组。由于无条件熵与条件熵相差不大，说明该生缺课与就寝时间没有太大的关系。,解,如果一旦称出哪枚是假币(且知道其轻重)，则所获得的,2.12 有 12 枚银币, 其中有一枚是假币, 样子完全一样, 只知道假币与真币的重量不同, 但不知其轻重。为了称出哪一枚是假币，问至少必须称几次(使用没有砝码的天枰)？,信息量(熵)为：,息量(熵)为：
8、,(3) 称多少次才有可能获得 的信息量呢？,故至少必须称三次才行。,(2) 每称一次会出现三种情况, 故每称一次所获得的最大信,2.13 某二元数字通信系统, 以每秒1000 码元的速度传输 0 和 1, 且0 和 1 的概率分别为 p(0)=1/3, p(1)=2/3。由于信道有噪声, 误码率为 Pe = 0.210 -2 比特, 试求接收的信息速率。,(1) 求出联合概率和接收概率.,(2) 接收信息速率：,(2) 接收信息速率：,2.15 某气象员用明线报告天气状态，有四种可能的状态: 晴、云、雨、雾。(1) 若每种状态等概，设计一个最佳的二元编码方案, 并求编码效率；(2) 若四种状
9、态的概率分别为：晴(占1/4)、云(占1/8)、雨(占1/8)、雾(占1/2), 求此时的最佳的二元编码方案。,晴 云 雨 雾,1/4 1/4 1/4 1/4,p(x),码字,码长,0 0 1 1,0 1 0 1,2 2 2 2,熵：,编码效率：,平均码长：,解,(2) 采用香农-范诺编码,晴 云 雨 雾,1/2 1/4 1/8 1/8,p(x),码字,码长,0 1 1 1,0 1 1,1 2 3 3,熵：,编码效率：,平均码长：,0 1,2.15 某气象员用明线报告天气状态，有四种可能的状态: 晴、云、雨、雾。(1) 若每种状态等概，设计一个最佳的二元编码方案, 并求编码效率；(2) 若四种
10、状态的概率分别为：晴(占1/4)、云(占1/8)、雨(占1/8)、雾(占1/2), 求此时的最佳的二元编码方案。,2.16 一个信源产生两个消息 A、B, 其概率分别为：p(A) = 1/16, p(B) = 15/16, 设计一个二元编码方案, 使编码效率在 70%以上。,BBB BBA BAB ABB BAA ABA AAB AAA,3375 225 225 225 15 15 15 1,p(x),码字,码长,0 1 1 1 1 1 1 1,0 0 1 1 1 1 1,0 1 0 1 1 1 1,0 0 1 1,1 3 3 3 5 5 5 5,熵：,编码效率：,平均码长：,0 1 0 1,
11、F E D C B A,5 4 3 2 1 1,p(x),码字,码长,0 0 1 1 1 1,0 1 0 1 1 1,0 1 1,0 1,2 2 2 3 4 4,熵：,编码效率：,平均码长：,(2) 霍夫曼编码,F E D C B A,5 4 3 2 1 1,p,5 4 3 2 2,5 4 4 3,7 5 4,9 7,熵：,编码效率：,平均码长：,16,码字：,A B C D E F,0101 0100 011 11 10 00,解,解,(1) 概率密度函数为,熵：,(1),(2) 概率密度函数为,熵：,解,2.19 信源变量 x 的取值为正, 其平均值为 A。试求信源熵最大时的概率密度函数 p (x) 以及最大熵 H (x)。,求 p (x) 使 H (x) 最大。,条件：,问题：,令,得,最大熵为：,2.19 信源变量 x 的取值为正, 其平均值为 A。试求信源熵最大时的概率密度函数 p (x) 以及最大熵 H (x)。,设,解,2.20 已知一个平均功率受限的连续信号，通过带宽 w = 1 M Hz的高斯白噪声信道，试求：(1) 若信噪比为 10，信道容量为多少？(2) 若信道容量不变，信噪比降为5，信道带宽应为多少？,(1) 信噪比为 P/N = 10，带宽为 w = 1 M Hz =106 Hz，,故带宽应为：,(2) 信噪比为 P/N=5，信道容量为,故信道容量为：,
