1、第二章课后习题 【 2.1】设有 12 枚同值硬币，其中有一枚为假币。 但 只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看， “ 12 枚硬币中，某一枚为假币 ” 该事件发生的概率为 P = ； “ 假币的重量比真的轻，或重 ” 该事件发生的概率为 P = ； 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有 I = log12 + log2 = log24 比特 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P = ，因此天平
2、每一次消除的不确定性为 I = log3比特 因此，必须称的次数为 I1 log24 = 2.9次 I 2 log3 因此，至少需称 3 次。 【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。 【 2.2】同时扔一对均匀的骰子，当得知 “ 两骰子面朝上点数之和为 2” 或 “ 面朝上点数之 和为 8” 或 “ 两骰子面朝上点数是 3 和 4” 时，试问这三种情况分别获得多少信息量？解： “ 两骰子总点数之和为 2” 有一种可能，即两骰子的点数各为 1，由于二者是独立的， 因此该种情况发生的概率为 P = = ，该事件的信息量为： I = log36 5.17比
3、特 “ 两骰子总点数之和为 8” 共有如下可能： 2 和 6、 3 和 5、 4 和 4、 5 和 3、 6 和 2，概率为 P = 5 = ，因此该事件的信息量为： I 比特 “ 两骰子面朝上点数是 3和 4” 的可能性有两种： 3和 4、 4和 3，概率为 P = 2 = ，因此该事件的信息量为： I = log18 4.17 比特 【 2.3】如果你在不知道今天是星期几的情况下问你的朋友 “ 明天星期几？ ” 则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解： 如果不知今天星期几时问的话，答案可能有七种
4、可能性，每一种都是等概率的，均为 P = ，因此此时从答案中获得的信息量为 I = log7 = 2.807比特 而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得的信息量为 0 比特。 【 2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占总数一半。假如我们得知 “ 身高 1.6 米以上的某女孩是大学生 ” 的消息，问获得多少信息量？ 解： 设 A 表示女孩是大学生， P(A) = 0.25； B 表示女孩身高 1.6 米以上， P(B | A) = 0.75， P(B) = 0.5 “
5、 身高 1.6 米以上的某女孩是大学生 ” 的发生概率为 P(A| B) = P(AB) = P(A)P(B | A) = 0.250.75 = 0.375 P(B)P(B) 0.5 已知该事件所能获得的信息量为 I 比特 X a1 = 0 a2 =1 a3 = 2 a4 = 3 【 2.5】设离散无记忆信源 P(x) = 3/8 1/ 4 1/41/8 ，其发出的消息为 （ 202120130213001203210110321010021032011223210），求 （ 1） 此消息的自信息是多少？ （ 2） 在此消息中平均每个符号携带的信息量是多少？ 解： 信源是无记忆的，因此，发出的
6、各消息之间是互相独立的，此时发出的消息的自信息 即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为： I(a0 = 0) = log =1.415比特 I(a1 =1) = log 4 = 2比特 I(a2 = 2) = log4 = 2 比特 I(a3 = 3) = log8 = 3比特 在发出的消息中，共有 14 个 “ 0” 符号， 13 个 “ 1” 符号， 12 个 “ 2” 符号， 6 个 “ 3” 符号，则得到消息的自信息为： I =141.415+132 +122 + 63 87.81比特 45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量
7、为 I = =1.95比特 /符号 注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量，后者是信息熵，可计算得 H(X) = P(x)log P(x) =1.91比特 /符号 【 2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内，且它们的坐标分别为（ XA,YA）和（ XB,YB），但 A 和 B 不能落入同一方格内。 （ 1） 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？ （ 2） 若已知 A 已落入，求 B 落入的平均自信息量。 （ 3） 若 A、 B 是可分辨的，求 A、 B 同都落入的平均自信
8、息量。 解： （ 1） 求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一格的概率空间为： = XP 48a11 48a12 48a13 a48148 平均自信息量为 H(A) = log48 = 5.58 比特 /符号 （ 2） 已知质点 A 已落入， 求 B 落入的平均自信息量，即求 H(B | A)。 A 已落入， B 落入的格可能有 47 个，条件概率 P(bj | ai ) 均为 。平均自信息量为 H(B | A) = 48 47 P(ai )P(bj | ai )log P(bj | ai ) = log47 = 5.55比特 /符号 i=1 j=1 （
9、3） 质点 A 和 B 同时落入的平均自信息量为 H(AB) = H(A) + H(B | A) =11.13比特 /符号 【 2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%， 女性发病率为 0.5%，如果你问一位男同志： “ 你是否是红绿色盲？ ” ，他的回答可能是 “ 是 ” ，也可能是“ 否 ” ，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解： 男同志红绿色盲的概率空间为： X a1 a2 P = 0.070.93 问男同志回答 “ 是 ” 所获昨的信息量为： I 比特 /符号 问男同志回答 “ 否 ”
10、 所获得的信息量为： I 比特 /符号 男同志平均每个回答中含有的信息量为 H(X) = P(x)log P(x) = 0.366 比特 /符号 同样，女同志红绿色盲的概率空间为 Y b1 b2 P = 0.005 0.995 问女同志回答 “ 是 ” 所获昨的信息量为： I 比特 /符号 问女同志回答 “ 否 ” 所获昨的信息量为： I 比特 /符号 女同志平均每个回答中含有的信息量为 H(Y) = P(x)log P(x) = 0.045比特 /符号 X a1 a2 a3 a4 a5 a6 【 2.8】设信源 P(x) = 0.2 0.19 0.18 0.17 0.16 0.17 ，求此信
11、源的熵，并解释为什么 H(X) log6 ，不满足信源熵的极值性。 解： H(X) = P(x)log P(x) = 2.65 log6 原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。【 2.9】设离散无记忆信源 S 其符号集 A =a1,a2 ,.,aq ，知其相应的概率分别为 (P1,P2 ,.,Pq ) 。设另一离散无记忆信源 S ，其符号集为 S 信源符号集的两倍， A =ai ,i =1,2,.,2q，并且各符号的概率分布满足 Pi= (1e)Pi i =1,2,.,q Pi= ePi i = q +1,q + 2,.,2q 试写出信源 S的信息熵与信源 S
12、 的信息熵的关系。 解： H(S) = P(x)log P(x) = (1e)Pi log(1e)Pi ePi logePi = (1e)Pi log(1e) (1e)Pi log Pi ePi loge ePi log Pi = (1e)log(1 e) e loge + H(S) = H(S) + H(e,1e) 【 2.10】设有一概率空间，其概率分布为 p1, p2 ,., pq，并有 p1 p2 。若取 p1 = p1 e ， p2 = p2 + e ，其中 0 2e p1 p2 ，而其他概率值不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。 解： 设新的信源
13、为 X，新信源的熵为： H(X ) = pi log pi = (p1 e)log(p1 e) (p2 + e)log(p2 +e) pq log pq 原信源的熵 H(X) = pi log pi = p1 log p1 p2 log p2 pq log pq 因此有， H(X) H(X ) = (p1 e)log(p1 e) + (p2 + e)log(p2 + e) p1 log p1 p2 log p2 p1 p2 令 f (x) = (p1 x)log(p1 x) + (p2 + x)log(p2 + x) ， x 0, 2 ，则 f (x) = log p2 + x 0 p1 x
14、即函数 f (x) 为减函数，因此有 f (0) f (e)，即 (p1 e)log(p1 e) + (p2 + e)log(p2 + e) p1 log p1 + p2 log p2 因此 H(X) H(X )成立。 【解释】 当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。 【 2.11】试证明：若 L pi =1， m q j = pL ，则 i=1 j=1 H(p1, p2 , pL1,q1,q2 ,qm ) = H(p1, p2 , pL1, pL ) + pL H( q1 , q2 , qm ) pL pL pL 并说明等式的物理意义。 解： H(p1, p2 ,
15、 pL1,q1,q2 ,qm ) = p1 log p1 p2 log p2 pL1 log pL1 q1 log q1 q2 logq2 qm logqm = p1 log p1 p2 log p2 pL1 log pL1 pL log pL + pL log pL q1 logq1 q2 logq2 qm logqm = p1 log p1 p2 log p2 pL1 log pL1 pL log pL + (q1 + q2 + q3 + qm )log pL q1 logq1 q2 logq2 qm logqm = p1 log p1 p2 log p2 pL1 log pL1 pL l
16、og pL q1 log q1 q2 log q2 qm log qm pL pL pL = p1 log p1 p2 log p2 pL1 log pL1 pL log pL + pL ( q1 log q1 q2 log q2 qm log qm ) pLpL pL pL pL pL = H(p1, p2 , pL1, pL ) + pL H m ( q1 , q2 , qm ) pL pL pL 【意义】 将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的概率，则新信源的信息熵增加，熵所增加的一项就是由于分割而产生的不确定性量。 【 2.12】（ 1）为了使电视图
17、像获得良好的清晰度和规定的适当的对比度，需要用 5105 个像素和 10 个不同亮度电平，求传递此图像所需的信息率（比特 /秒）。并设每秒要传送 30 帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。 （ 2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有 30 个不同的色 彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大 2.5 倍。 解： 每个像素的电平取自 10 个不同的电平，每一个像素形成的概率空间为： 10a12 a10110 XP = 10a11这样，平均每个像素携带的信息量为： H(X) = log10 = 3.32 比特 /像素 现在所有的像素点
18、之间独立变化的，因此，每帧图像含有的信息量为： H(X N ) = NH(X) = 5105 log10 =1.66106 比特 /帧按每秒传输 30 帧计算，每秒需要传输的比特数，即信息传输率为： 30 H(X N ) = 4.98107 比特 /秒 除满足黑白电视系统的要求外，还需 30 个不同的色彩度，不妨设每个色彩度等概率出现，则其概率空间为： Y = b11b12b130 P 30 30 30 其熵为 log30比特 /符号，由于电平与色彩是互相独立的，因此有 H(XY) = H(X) + H(Y) = log300 这样，彩色电视系统的信息率与黑白电视系统信息率的比值为 H(XY)
19、 log300 = 2.5 H(X) log10 【 2.13】每帧电视图像可以认为是由 3105 个像素组成，所以像素均是独立变化，且每一像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解： 每个像素的电平亮度形成了一个概率空间，如下： X a11a12a1128 P = 128 128 128 平均每个像素携带的信息量为： H(X) = l
20、og128 = 7 比特 /像素 每帧图像由 3105 个像素组成，且像素间是独立的，因此每帧图像含有的信息量为： H(X N ) = NH(X) = 2.1106 比特 /帧 如果用汉字来描述此图像，平均每个汉字携带的信息量为 H(Y) = log10000 =13.29比特 /汉字，选择 1000 字来描述，携带的信息量为 H(Y N ) = NH(Y) =1.329104 比特 如果要恰当的描述此图像，即信息不丢失，在上述假设不变的前提下，需要的汉字个数为： H(X N ) 2.1106 5 = 1.5810 字 H(Y) 13.29 【 2.14】为了传输一个由字母 A、 B、 C 和
21、 D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以 00 代表 A， 01 代表 B， 10 代表 C， 11 代表 D。每个二元码脉冲宽度为 5ms。 （ 1） 不同字母等概率出现时，计算传输的平均信息速率？ （ 2） 若每个字母出现的概率分别为 pA = 1 ， pB pC = ， pD = 3 ，试计算= ， 传输的 510 平均速率？ 解： 假设不同字母等概率出现时，平均每个符号携带的信息量为 H(X) = log4 = 2 比特 每个二元码宽度为 5ms，每个字母需要 2 个二元码，则其传输时间为 10ms，每秒传送 n =100个，因此信息传输速率为： R = nH(X)
22、=1002 = 200比特 /秒 当不同字母概率不同时，平均传输每个字母携带的信息量为 H(X) = log5 + log4 + log4 + log =1.985比特 /符号 此时传输的平均信息速度为 R = nH(X) =1.985102 比特 /秒 【 2.15】证明离散平稳信源有 H(X 3 | X1 X 2 ) H(X 2 | X1)，试说明等式成立的条件。解： H(X 3 | X1 X 2 ) = P(x1x2 x3 )log P(x3 | x1x2 ) = P(x1x2 )P(x3 | x1x2 )log P(x3 | x1x2 ) X1 X2 X3 P(x1x2 )P(x3 |
23、 x1x2 )log P(x3 | x2 ) X1 X2 X3 = H(X 3 | X 2 ) 根据信源的平稳性，有 H(X 3 | X 2 ) = H(X 2 | X1 )，因此有 H(X 3 | X1 X 2 ) H(X 2 | X1)。 等式成立的条件是 P(x3 | x1x2 ) = P(x3 | x2 )。 【 2.16】证明离散信源有 H(X1 X 2 X N ) H(X1) + H(X 2 ) + H(X N ) ，并说明等式成立的条件。证明： H(X1 X 2 X N ) = H(X1 ) + H(X 2 | X1) + H(X N | X1 X 2 X N1) 而 H(X N
24、 | X1 X 2 X N1) = P(x1x2 xN )log P(xN | x1x2 xN1) X1 X2 X N = P(x1x2 xN1 )P(xN | x1x2 xN1 )logP(xN | x1x2 xN1) X1 X2 X N 1 X N P(x1x2 xN1)P(xN | x1x2 xN1 )logP(xN ) X1 X2 X N1 X N = H(X N ) 即 H(X 2 | X1 ) H(X 2 ) H(X 3 | X1 X 2 ) H(X 3 ) 代入上述不等式，有 H(X1 X 2 X N ) H(X1) + H(X 2 ) + H(X N ) 等号成立的条件是： P
25、(xN | x1x2 xN1) = P(xN ) P(xN1 | x1x2 xN2 ) = P(xN1) P(x2 | x1 ) = P(x2 ) 即离散平稳信源输出的 N 长的随机序列之间彼此统计无依赖时，等式成立。 【 2.17】设有一个信源，它产生 0、 1 序列的消息。它在任意时间而且不论以前发生过什么 符号，均按 P(0) = 0.4 ， P(1) = 0.6 的概率发出符号。（ 1） 试问这个信源是否是平稳的？ （ 2） 试计算 H(X 2 )、 H(X 3 | X1X 2 ) 及 Nlim H N (X) 。 （ 3） 试计算 H(X 4 )并写出 X 4 信源中可能有的所有符号
26、。 解： 该信源任一时刻发出 0 和 1 的概率与时间无关，因此是平稳的，即该信源是离散平稳信源。其信息熵为 H(X) = P(x)log P(x) = 0.971比特 /符号 信源是平稳无记忆信源，输出的序列之间无依赖，所以 H(X 2 ) = 2H(X) =1.942比特 /符号 H(X 3 | X1 X 2 ) = H(X) = 0.971比特 /符号 1 Nlim H N (X) = Nlim H(X1 X 2 X N ) = H(X) = 0.971比特 /符号 N H(X 4 ) = 4H(X) = 3.884比特 /符号 X 4 信源中可能的符号是所有 4 位二进制数的排序，即从
27、 00001111 共 16 种符号。 【 2.18】设有一信源，它在开始时以 P(a) = 0.6， P(b) = 0.3， P(c) = 0.1的概率发出 X1 。如果 X1 为 a时，则 X 2 为 a、 b、 c 的概率为 ；如果为 b 时，则 X 2 为 a、 b、 c 的概率为 ；如果 X1 为 c时，则 X 2 为 a、 b 的概率为 ，为 c 的概率为 0。而且后面发出 X i 的概率只与 X i1 有关，又当 i 3时， P(X i | X i1 ) = P(X 2 | X1) 。试用马尔克夫信源的图示法画出状态转移图，并计算此信源的熵 H 。 解： 信源为一阶马尔克夫信源，
28、其状态转换图如下所示。 根据上述状态转换图，设 状态极限概率分别为P(a) 、 P(b)和 P(c) ，根据 切普曼 柯尔 莫哥洛夫方程有 QQ(ba) =1313QQ(aa)+1313QQ(bb)+1212QQ(cc) 11 QQ(ca) =+Q3(Qb()a+)Q+(3cQ) =(b1) 3 1 : a 3 1 : b 3 1 : c : b 3 1 : a 3 1 : c 2 1 : a 2 1 : b 解得： Q(a) = Q(b) = ， Q(c) = 得此一阶马尔克夫的信息熵为： H = Q(Ei )H(X | Ei ) =1.439比特 /符号 【 2.19】一阶马尔克夫信源的状
29、态图如右图所示， p 信源 X 的符号集为 0,1,2并定义 p =1 p。 （ 1） 求信源平稳后的概率分布 P(0) 、 P(1) 和 P(2)； （ 2） 求此信源的熵 H ； （ 3） 近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵H(X) 并与 H 进行比较； （ 4） 对一阶马尔克夫信源 p 取何值时， H 取最大值，又当 p = 0和 p =1时结果如何？ 解： 根据切普曼 柯尔莫哥洛夫方程，可得 P(0) = pP(0) + 2p P(1) + 2p P(2) P(1) = 2p P(0) + pP(1) + 2p P(2) p p P(2) = 2 P(
30、0) + 2 P(1) + pP(2) P(0) + P(1) + P(2) =1 0 1 2 p p 2 p 2 p 2 p 2 p 2 p 2 p 解得： P(0) = P(1) = P(2) = 该一阶马尔克夫信源的信息熵为： H = Q(Ei )H(X | Ei ) = plog p plog p + p 比特 /符号 当信源为无记忆信源，符号的概率分布等于平稳分布，此时信源的概率空间为： XP = 130 113 132 此时信源的信息熵为 H(X) = log3 =1.585比特 /符号 由上述计算结果可知： H(X) H()。 求一阶马尔克夫信源熵 H 的最大值， H = plo
31、g p plog p + p ，有 dH = log 2(1 p) dpp 可得，当 p = 时， H 达到最大值，此时最大值为 log3 =1.585比特 /符号。 当 p = 0时， H = 0 比特 /符号； p =1时， H =1比特 /符号 【 2.20】黑白气象传真图的消息只有黑色和白色两种，即信源 X =黑 ,白 ，设黑色出现的概率为 P(黑 ) = 0.3，白色出现的概率为 P(白 ) = 0.7 。 （ 1） 假设图上黑白消息出现前后没有关联，求熵 H(X)； （ 2） 假设消息前后有关联，其依赖关系为 P(白 |白 ) = 0.9 ， P(黑 |白 ) = 0.1， P(白
32、 | 黑 ) = 0.2 ， P(黑 | 黑 ) = 0.8 ，求此一阶马尔克夫信源的熵 H 2 。 （ 3） 分别求上述两种信源的冗余度，并比较 H(X)和 H 2 的大小，并说明其物理意义。 解： 如果出现黑白消息前后没有关联，信息熵为： H(X) = pi log pi = 0.881比特 /符号当消息前后有关联时，首先画出其状态转移图，如下所示。 设黑白两个状态的极限概率为 Q(黑 ) 和 Q(白 ) ，根据切普曼 柯尔莫哥洛夫方程可得： Q(黑 ) = 0.8Q(黑 ) + 0.1Q(白 ) Q(白 ) = 0.2Q(黑 ) + 0.9Q(白 ) Q(黑 ) + Q(白 ) =1 解
33、得： Q(黑 ) = ， Q(白 ) = 此信源的信息熵为： H = Q(Ei )H(X | Ei ) = 0.553比特 /符号 两信源的冗余度分别为： g1 =1 H(X) = 0.119 log2 g1 =1 H = 0.447 log2 结果表明： 当信源的消息之间有依赖时，信源输出消息的不确定性减弱。就本题而言， 当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明信源熵正是反映信源的平均不确定的大小。而信源剩余度正是反映信源消息依赖关系
34、的强弱，剩余度越大，信源消息之间的依赖关系就越大。 第三章课后习题 【 3.1】 设信源 X x1 x2 P(x) = 0.6 0.4 通过一干扰信道，接收符号为 Y = y1, y2 ，信道传递概率如下图所示，求 （ 1） 信源 X 中事件 x1和 x2 分别含有的自信息； x15/6 y1 （ 2） 收到消息 y j ( j =1,2)后，获得的关于 xi (i =1,2)的信息量； （ 3） 信源 X 和信源 Y 的信息熵；（ 4）信道疑义度 H(X |Y)和噪声熵 H(Y | X)；（ 5）接收到消息 Y 后获得的平均互信息。 解： （ 1） 信源 X 中事件 x1和 x2 分别含有的
35、自信息分别为： x 2 y 2 1 / 6 3 / 4 1 / 4 I(x1) = log 1= log0.6 = 0.737 比特 P(x1 ) I(x2 ) = log 1 = log0.4 =1.32比特 P(x2 ) （ 2） 根据给定的信道以及输入概率分布，可得 P(y1 ) = P(xi )P(y1 | xi ) = 0.8 X P(y2 ) = P(xi )P(y2 | xi ) = 0.2 X 所求的互信息量分别为： I(x1; y1) = log P(y1| x1 ) = log 5/6 = log 25 = 0.059比特 P(y1 ) 0.8 24 I(x2 ; y1 )
36、 = log P(y1| x2 ) = log 3/ 4 = log15 = 0.093比特 P(y1 ) 0.8 16 I(x1; y2 ) = log P(y 2| x1 ) = log1 /6 = log 5 = 0.263比特 P(y2 ) 0.2 6 I(x2 ; y2 ) = log P(y 2 | x2 ) = log1 /4 = log 5 = 0.322比特 P(y2 ) 0.2 4 （ 3） 信源 X 以及 Y 的熵为： H(X) = P(x)log P(x) = 0.6log0.6 0.4log0.4 = 0.971比特 /符号 X H(Y) = P(y)log P(y)
37、 = 0.8log0.8 0.2log0.2 = 0.722比特 /符号 Y （ 4） 信道疑义度 H(X |Y) = P(x)P(y | x)log P(x | y) X Y 而相关条件概率 P(x | y) 计算如下： P(x1 | y1) = P(x1, y1 ) = P(y1 | x1 )P(x1 ) = 0.5 = 5 P(y1) P(y1) 0.8 8 P(x2 | y1 ) = P(x1 | y2 ) = P(x1, y2 ) = P(y2 | x1)P(x1) = 0.6/6 = 1 P(y2 ) P(y2 ) 0.2 2 P(x2 | y2 ) = 由此计算出信道疑义度为：
38、H(X |Y) = 0.6 56 log 85 + 61 log 12 0.4 43 log 83 + 14 log 12 = 0.9635比特 /符号 噪声熵为： H(Y | X) = P(x)P(y | x)log P(y | x) = 0.6 56 log 56 + 16 log 16 0.4 43 log 34 + 14 log 14 = 0.7145比特 /符号 （ 5）接收到信息 Y 后获得的平均互信息为： I(X;Y) = H(X) H(X |Y) = 0.0075比特 /符号 【 3.2】设 8 个等概率分布的消息通过传递概率为 p 的 BSC 进行传送， 8 个消息 相应编成
39、下述码字： M1=0000， M2=0101， M3=0110， M4=0011 M5=1001， M6=1010， M7=1100， M8=1111 试问： （ 1） 接收到第一个数字 0 与 M1 之间的互信息； （ 2） 接收到第二个数字也是 0 时，得到多少关于 M1 的附加互信息； （ 3） 接收到第三个数字仍为 0 时，又增加了多少关于 M1 的互信息； （ 4） 接收到第四个数字还是 0 时，再增加了多少关于 M1 的互信息。 解： 各个符号的先验概率均为 （ 1） 根据已知条件，有 P(y1 = 0 | M1) = P(y1 = 0 | 0000) = P(y1 = 0 | x
40、1 = 0) = p P i 因此接收到第一个数字 0 与 M1 之间的互信息为： I(M1; y1 = 0) = log P(y1 = 0 | M1) = log p =1+ log p 比特 P(y1 = 0) 1/ 2 （ 2） 根据已知条件，有 P(y1 y2 = 00 | M1) = P(y1 y2 = 00 | 0000) = p2 P i 因此接收到第二个数字也是 0 时，得到多少关于 M1 的互信息为： I(M1; y1 y2 = 00) = log P(y1 y2 = 00 | M1) = log p 2 = 2 + 2log p 比特 /符号 P(y1 y2 = 00) 1
41、/4 得到的附加信息为： I(M1; y1 y2 = 00) I(M1; y1 = 0) =1+ log p比特 /符号 （ 3） 根据已知条件，有 P(y1 y2 y3 = 000 | M1 ) = P(y1 y2 y3 = 000 | 000) = p3 P i 因此接收到第三个数字也是 0 时，得到多少关于 M1 的互信息为： I(M1; y1 y2 y3 = 000) = log P(y1 y2 y3 = 000| M1) = log p3 = 3+3log p P(y1 y2 y3 = 000) 1/8 此时得到的附加信息为： I(M1; y1 y2 y3 = 000) I(M1;
42、y1 y2 = 00) =1+ log p 比特 /符号 （ 4） 根据已知条件，有 P(y1 y2 y3 y4 = 0000| M1) = P(y1 y2 y3 y4 = 0000| 0000) = p4 P i 因此接收到第四个符号为 0 时，得到的关于 M1 的互信息为 I(M1; y1 y2 y3 = 0000) = log P(y1 y2 y3 y4 = 0000| M1) P(y1 y2 y3 y4 = 0000) p4 = log (p4 + 6p2 p2 + p4 ) = 3+ 4log p log(p4 +6p2 p2 + p4 ) 此时得到的附加信息为 I(M1; y1 y
43、2 y3 y4 = 000) I(M1; y1 y2 y3 = 000) = log p log(p4 +6p2 p2 + p4 ) 【 3.3】 设二元对称信道的传递矩阵为 2 1 33 12 3 3 （ 1） 若 P(0)=3/4， P(1)=1/4，求 H(X)， H(X |Y)， H(Y | X)和 I(X;Y)； （ 2） 求该信道的信道容量及其达到信道容量时的输入概率分布。 解： （ 1）根据已知条件，有 H = 0.811比特 /符号 P P 3 2 P(x = 0| y = 0) = P(x = 0)P(y = 0| x = 0) = 4 3 = 6 P(y = 0) 7/12
44、 7 P(x =1| y = 0) = 3 1 P(x = 0| y =1) = P(x = 0)P(y =1| x = 0) = 4 3 = 3 P(y =1) 5/12 5 P H(Y | X) = P(x)P(y | x)log P(y | x) = log + log log + log 4 3 3 3 3 4 3 3 3 3 = 0.918比特 /符号 H(X |Y) = P(x)P(y | x)logP(x | y) = log + log log + log 4 3 7 3 5 4 3 7 3 5 = 0.749比特 /符号 I(X;Y) = H(X) H(X |Y) = 0.0
45、62 比特 /符号 （ 2）此信道是对称信道，因此其信道容量为： C =1 H(p) =1 H( , ) = 0.082 比特 /符号根据对称信道的性质可知，当 P(0) = P(1) = 时，信道的传输率 I(X;Y) 达到信道容量。 【 3.4】 设有一批电阻 ， 按阻值分 70%是 2k， 30%是 5k； 按功耗分 64%是 1/8W， 其余是 1/4W。 现已知 2k 阻值的电阻中 80%是 1/8W。 问通过测量阻值可以平均得到的关于瓦数的信息量是多少？ 解： 根据已知条件，设电阻的阻值为事件 X，电阻的功耗为事件 Y，则两事件的 概率空间为： X x1 = 2k x2 = 5k
46、Y y1 =1/8W y2 =1/4W P = 0.7 0.3 ， P = 0.64 0.36 给定条件为 P(y1 | x1) = 0.8， P(y2 | x1) = 0.2，而 0.64 = P(y1) = P(x1)P(y1 | x1) + P(x2 )P(y1 | x2 ) = 0.7*0.8+ 0.3*P(y1 | x2 ) 0.36 = P(y2 ) = P(x1)P(y2 | x1)+ P(x2 )P(y2 | x2 ) = 0.7*0.2+0.3*P(y2 | x2 ) 解得： P(y1 | x2 ) = ， P(y2 | x2 ) = H(Y | X) = 0.7*(0.8l
47、og0.8+0.2log0.2)0.3* 4 log 4 + 11log11 = 0.7567 15 15 15 15 I(X;Y) = H(Y) H(Y | X) = 0.186 比特 /符号 【 3.5】若 X 、 Y 和 Z 是三个随机变量，试证明： （ 1） I(X;YZ) = I(X;Y) + I(X;Z |Y) = I(X;Z) + I(X;Y | Z) （ 2） I(X;Y | Z) = I(Y;X | Z) = H(X | Z) H(X |YZ) （ 3） I(X;Y | Z) 0当且仅当 (X,Z,Y) 是马氏链时等式成立。证明： （ 1） I(X;YZ)= P(x, y,z)log P(x | yz) X ,Y ,Z P(x) = X,Y ,Z P(x, y,z)log PP(xx|yzy) PP(x(x| )y) = P(x, y,z)log P(x | yz) +
