1、第2章 信息的度量第2章 信息的度量习 题2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。设两骰子面朝上点数之和为事件a，有： a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/93.17(bit) a=8时，有2+6，6+2，4+4，3+5，5+3，共
2、5种，则p(a)=5/36,则I(a)= -log5/362.85(bit) p(a)=2/36=1/18,则I(a)=-log1/184.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a： 不知道今天是星期几：I(a)=-log1/72.81(bit) 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中
3、身高1米6以上的占总数的一半。假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a，“身高1米6以上的女孩”为事件b，则有：p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：信息量为：I=-logp(a|b)=-log0.321.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含
4、有的平均自信息量是多少？解： 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.073.84(bit)男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.930.10(bit)平均信息量为：H1=-(0.07log0.07+0.93log0.93) 0.37(bit/符号) 问女同志的平均自信息量：H2=-0.05log0.05+(1-0.05) log(1-0.05) 0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为（XA，YA）、（XB，YB），但A、B不能落入同一方格内。(1) 若仅
5、有质点A，求A落入任一个格的平均信息量。(2) 若已知A已落入，求B落入的平均自信息量。(3) 若A、B是可分辨的，求A、B同时都落入的平均自信息量。解： 若仅有质点A，A落入任一格内的概率均为1/63，则A落入任一个格的平均信息量为： 若已知A已落入，质点B再落入时，它只可能落入其中63-1=62个方格内，则其概率均为p(b|a)=1/62，则B落入的平均自信息量为： A、B同时都落入的平均自信息量，即为求联合熵H(AB)：2.6 设信源，求这信源的熵，并解释为什么H(X)log6，不满足信息熵的极值性。解：信息熵 因为，所以独立变量不止6-1=5个，因此不满足信息熵的极值性。2.7 有两个
6、二元随机变量X和Y，它们的联合概率为Y X0101并定义另一随机变量Z=XY（一般乘积）。试计算：(1) 和。(2) 和。(3) 和。解：从题意可知，可得： 和由于Z=XY，则有所以随机变量X和Z的联合概率分布如下：X Z01001由上表将X和Z的联合概率代入联合熵公式，求得：同样Y、Z的联合概率分布如下：Y Z01001 和。 和。2.8 某一离散无记忆信源的符号集为，已知。(1) 求该信源的信息熵。(2) 有100个符号构成的序列，求某一个特定序列（例如有m个“0”和（100m）个“1”）的自信息量的表达式。(3) 计算(2)中序列的熵。解：(1) 该信源的信息熵为：H=-1/4log1/
7、4-3/4log3/40.81(bit/符号)(2) 由于为离散无记忆信源，则有 所以(3) 2.9 设有离散无记忆信源S，其概率空间为设另有一离散无记忆信源，其符号集为信源S符号集的两倍，即A=ai: i=1,2,q, q +1,2q ，并且符号的概率分布为：请写出信源的信息熵与信源S的信息熵的关系。解：2.10 设有一概率空间，其概率分布为，并有。若取，其中，而其他概率值不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义作以解释。证明： 法1： 物理意义：新概率分布比原概率分布更“均匀”，所以，其熵更大。法2：设原概率分布的熵为：则新概率分布的熵为：其中由于所以，f(e)是单调
8、上升的。因此，2.11 设有一概率空间，其概率分布为，并有，试证明：证明：由熵的递增性：又由熵的极值性：因此，2.12 设有一概率空间，其概率分布为，并有，试证明：证明：因为，而，所以在该概率空间中即等式成立2.13 证明，并说明等式成立的条件。证明：由于条件熵小于或等于无条件熵，条件较多的熵小于或等于条件较少的熵，考虑到平稳性，有，即证2.14 证明。证明： 当且仅当相互独立时，等号成立。2.15 (1) 为了使每帧黑白电视图像获得良好的清晰度和规定的适当的对比度，需要用个像素和10个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素是独立变化的，且所有亮
9、度电平等概率出现。(2) 设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍。解： 像素包含的信息量为：则每帧电视图像所含的信息量为：则图像所需的信息率为301.66106 =4.98107bit/s 证明：2.16 每帧电视图像可以认为是3105个像素组成，所有像素均是独立变化的，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像中含有多少信息量。若现有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率
10、分布，并彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解： 由于所有像素均是独立变化的，且每一像素又取128个等概率出现不同的亮度电平，则像素的包含的信息量为： 而每帧电视图像可以认为是3105个像素组成，所有像素均是独立变化的，所以有 汉字所含的信息量为：所以1000个字所含的信息量： 2.17 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元码脉冲宽度为5毫秒。(1) 不同字母等概率出现时，计算传输的平均信息速率。(2) 若每个字母出现的概率分别为pA=1/5，pB=1/4，p
11、C=1/4，pD=3/10，试计算传输的平均信息速率。解： 因为A,B,C,D四个字母,每个字母用两个码,每个码为5ms, 所以每个字母用10ms， 当信源等概率分布时,信源熵为H(X)=log4=2(bit/符号)，则平均信息传递速率为： ，则平均信息传递速率为：2.18 设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按p(0)=0.4，p(1)=0.6的概率发出符号。(1) 试问这个信源是否是平稳的？(2) 试计算，及。(3) 试计算，并写出信源中所有可能有的符号。解： 这个信源是平稳的。因为平稳信源的概率分布与时间起点无关，而该信源在任意时间而且不论以前
12、发生过什么符号，概率分布均相同。 由于信源X=0，1是无记忆的，则每个Xi 是独立的，所以有： 信源只产生0、1序列，所以所有组合如下：2.19 有一个二元无记忆信源，其发0的概率为p，而，所以在发了二元序列中经常出现的是那些一串为0的序列（称高概率序列）。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源，共有n+1个符号，它与高概率的二元序列的对应关系如下：二元序列： 1， 01，001，0001，新信源符号：， ， ， ， ， 。(1) 求。(2) 当n时，求信源的熵。解：由题，则新信源概率分布：(1) 求。 当n时，求信源的熵2.20 黑白气象传真图的消
13、息只有黑色和白色两种，即信源X=黑，白，设黑色出现的概率为p(黑)=0.3，白色出现的概率p(白)=0.7。(1) 假设图上黑白消息出现前后没有关联，求熵H(X)。(2) 假设消息前后有关联，其依赖关系为p(白|白)=0.9，p(黑|白)=0.1，p(白|黑)=0.2，p(黑|黑)=0.8，求此一阶马尔科夫信源的熵H2(X)。(3) 分别求上述两种信源的冗余度，并比较H(X)和的大小，并说明其物理意义。解：(1) H(X)=-0.3log0.3-0.7log0.70.88(bit/符号)(2) 状态转移概率矩阵为，设各状态的稳态分布概率为W1 = p(白)和W2 = p(黑)则满足：W1=0.9 W1+0.2W2, W2=0.1 W1+0.8 W2，且W1+ W2=1求得：W1 =，W2 = 信源X的最大熵为当p(黑)= p(白)=0.5时，H0(X)=1(bit/符号)，则信源的冗余度为： H(X) H2(X)，物理意义是：无记忆信源的不确定度大于有记忆信源的不确定度。11
