1、第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示 4 个不同的消息，例如：0, 1, 2, 3八进制脉冲可以表示 8 个不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7二进制脉冲可以表示 2 个不同的消息，例如：0, 1假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量 symbolitnXH/ 24log)(1八进制脉冲的平均信息量 382二进制脉冲的平均信息量 sylit/ 1l)(0所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。2、 设某班学生在一次考试中获优（A ） 、良（B） 、中
2、（C） 、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格” ，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？解：根据题意， “没有不及格”或“pass”的概率为541pasP因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优 ”（A ） ， “良” （B） ， “中” （C ）和“及格” （D ）的概率相同： 41score )pas|()pas|()pas|()pas|( PPP为确定自己的成绩，甲还需信息 bit 241loglscrescreI3、中国国家标准局所规定的二级汉字共 6763 个。设每字使用的频度相等，求一个汉字所
3、含的信息量。设每个汉字用一个 的二元点阵显示，试计算显示方阵所能表示的最大6信息。显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即 6731P因此每个汉字所含的信息量为 bits 7.1263loglI字每个显示方阵能显示 种不同的状态，等概分布时信息墒最大，512所以一个显示方阵所能显示的最大信息量是bits 32.054logpaspasIbits 2561loglPI阵显示方阵的利用率或显示效率为 0497.256阵字I4、两个信源 和 均有两种输出： 和 ，概率分别为 ，1S1 ,X ,0Y2/10XP， 。试计算 和 。设 发出序列 0101， 发出
4、0111，如/0YP4/3Y)(H(1S2S传输过程无误，第一个字符传送结束后，相应的两个信宿分别收到多少信息量？当整个序列传送结束后，收到的总信息量及平均每次发送的信息量又各是多少？（设信源先后发出的数字相互独立。 ）解：X 和 Y 的信息熵分别为 bit 81.034logl41log)( it 2ll2l10 iYiXiiiiPYH因传输无误，信宿收到的信息等于发送信息。因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即 bits 241logl 021YXPI整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是 bits 2.3loglit 421总总I平均每次（每
5、个符号）发送（携带）的信息为 )(bit 81.042.3 1XHIYX总总5、从普通的 52 张扑克牌中随机地抽出一张(a) 当告知你抽到的那张牌是：红桃；人头；红桃人头时，你所得的信息各是多少？(b) 如果已知那张牌是红人头，为确切地知道是哪张牌，还需要多少信息？解：(a) 根据扑克牌的构成，抽到“红桃” 、 “人头” 、 “红桃人头”的概率分别为13/52=1/4、12/52=3/13 和 3/52，所以当告知抽到的那张牌是： “红桃” 、 “人头”和“红桃人头”时，由信息量定义式（1-5） ，所得到的信息各是bits 2)4/1log(红 桃I5.3人 头 l(/)6 itsI红 桃
6、人 头(b) 在 52 张扑克牌中，共有红人头 6 张（3 张红桃，3 张方块） ，因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要信息。bits 58.2)/1log(I6、 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求：(1) “3 和 5 同时出现”这事件的自信息；(2) “两个 1 同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵；(4) 两个点数之和（即 2, 3, , 12 构成的子集）的熵；(5) 两个点数中至少有一个是 1 的自信息量。解：(1) ，()68ipx1()log()l4.70 8i iIxpxbit(2) 1()l5. 33
7、6i i iIx it，(3)两个点数的排列如下：11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 55 5661 62 63 64 65 66共有 21 种组合：其中 11，22，33，44，55，66 的概率是 361其他 15 个组合的概率是 8612 symbolitxpXHi ii / 37.418log536log)(log)()( (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： symbolitxpXHPi ii/ 274.3 61log35l629
8、1log12log18g261lg)()()( 3621093658794832 (5) 1 1()()log()l.70 6336i i ipxIxpxbit，7、 某一无记忆信源的符号集为0, 1 ，已知 P(0) = 1/4，P(1) = 3/4。(1) 求信源熵；(2) 有 100 个符号构成的序列，求某一特定序列（例如有 m 个“0”和（100 - m）个“1” ）的自信息量的表达式；(3) 计算(2)中序列的熵。解：(1) sybolitxpXHi ii / 81.43log1l4)(log)()( (2) 10103()4mmipx10()log()l4.58 i iI bit(
9、3) symolitXH/ 1108、某地区的女孩中有 25是大学生，在女大学生中有 75是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占半数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问获得多少信息量？解：设 A 为女大学生，B 为 1.6 米以上的女孩，则依题意有: ， ，1()4PA()2B， ，3(|)4P13()(|)46PAB3|()8所以信息量为 =1.415 比特228logl39、设离散无记忆信源 = ，其发出的消息为)x(PX8/13a42/80a321（202120130213001203210110321010021032 0112232
10、10） ，求：（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：(1) 因为离散信源是无记忆的，所以发出的消息序列中各符号是无依赖且统计独立的。因此，此消息的自信息就为该消息中各符号自信息之和。I（ ）= log P（ ） = log = 1.415 比特01a1a83I（ ）= log P（ ） = log =2 比特224I（ ）= log P（ ） = log =2 比特33I（ ）= log P（ ） = log =3 比特4a4a81则此消息的自信息是：I=18I（ ）+ 13I（ ）+12 I （ ）+ 6I（ ）01a12a23a34a18 1.41
11、5+13 2+12 2+6 3 93.47 比特(2)此消息中平均每个符号携带的信息量是：I =93.47 49 1.91 比特/ 符号210、从大量统计资料知道，男性中红绿色盲的发病率为 7，女性发病率为 0.5，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是” ，可能是“否” ，问这二个答案中各含多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：（1） 若男同志回答“是”：Ilog(1/7%)3.84 bit回答“否”：Ilog(1/93%)0.1 bit平均信息量为：I7%log7%93%log93%0.36 bit（2）
12、若问女同志，平均信息量为：I0.5%log0.5% 99.5%log99.5%0.045 bit11、设信源 求这信源的熵，并解释为什123456,()0.9.8017.XaaPx 么 ，不满足信源熵的极值性。()log6H解：信源的熵为： 22221.l5.log.log0.7log0.19.18.xbit/符号016765.是因为此信息的 ，不满足信息熵极值性的条件。()logHx61()iiPa12、设离散无记忆信源 ，其符号集为 ，已知其相应的概率分布为S2,qs。设另一离散无记忆信源 ， 其符号数为 信源符号数的两倍：12(,)qp SS，并且各符号的概率分布满足：2,Ss(1),1
13、,2iiiqpiq试求信源 的信息熵与信源 的信息熵的关系式。SS解： ()(1)log()lH13、设 有一概率空间，其概率分布为 , , ，并有 。若取 = ，1p2q1p21p= ，其中 ，其他概率不变。试证明由此所得新的概率空间的熵2p120是增加的，并用熵的物理意义加以解释。证明: 令 a= 0， 1-a= ， 展 开21p2pa +(1-a) = + = +12(1-a) +a = + = -221p21p1因为 f(x)=-xlogx 是型凸函数，根据型函数的性质有：f(a +(1-a) ) af( )+(1-a)f( ) 即 :p22f( + ) af( )+(1-a)f( )
14、2p-( + )log( + ) - log + log 221121p2同理有：-( + )log( + ) - log + log 1p121p1212两式相加，得：-( + )log( + )-( + )log( + ) - log - log11 pH( )H(X)X物理意义：当信源部分符号趋于等概分布时，信源的熵是增加的。14、 （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用 5105 个像素和 10 个不同的亮度电平，求传递此图像所需的信息率（比特/秒） 。并设每秒要传送 30 帧图像，所有像素独立变化，且所有亮度电平等概率出现。（2）设某彩电系统，除了满足对于黑
15、白电视系统的上述要求外，还必须有 30 个不同的色彩度，试证明传输这彩色系统的信息率约是黑白系统的信息率的 2.5 倍。解：（1）因为每帧图象可以看成是离散的数字图象，每个像素的亮度是随机而且等概率出现的，则每个像素亮度信源的概率空间为：= =1)(iaPX1.0,.21a10)(iiaP每个像素亮度含有的信息量为： H(X)=log210 3.32 比特/ 像素=1 哈特/像素现在，所有的像素是独立变化的，则每帧图象可以看成是离散亮度信源的无记忆 N 次扩展信源。故，每帧图象含有的信息量是：H(XN)=NH(X)=5 105log10=5 105 哈特/帧 1.66 106 比特 /帧而每秒
16、传送 30 帧图象，则传递这个图象所需要的信息率为R1=30 H(XN)=1. 5 106 哈特/秒 4.98 107 比特/ 秒（2）证明：每个像素具有 10 个不同的亮度和 30 个色彩度。由上面的计算得亮度等概率出现的情况下，每个像素含有的信息量是：H(X)=log 210 3.32 比特/ 像素。每个像素的色彩度也是等概率出现的，则色彩度信源的概率空间为：= =1)(jbPX30/1,./3012b301)(jjbP每个像素色彩度含有的信息量：H(Y)=log230 4.91 比特/像素而亮度和色彩度是相互独立的，所以亮度和色彩度同时出现，每像素含有的信息量：H(XY)=H(X)+H(
17、Y)=log10+log30=log300 8.23 比特/ 像素如果每帧所用的像素数和每秒传送的帧数都相同的情况下，传输这彩色系统的信息率与传输黑白系统的信息率之比就等于彩色系统每像素含有的信息量与黑白系统每像素含有的信息量之比：= 2.5 证毕。)(XHY10log315、每帧电视图像可以认为是由 5105 个像素组成，所有像素均是独立变化，且每一像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量?现有一广播员在约 10000 个汉字的字汇中选 1000 个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖
18、)? 若要恰当地描述此图像，广播员在口述中至少需要多少汉字?解: 亮度电平等概率出现 每个像素所含的信息量为 H(X)=log 128=7 bit/像素。 而每个像素均是独立变化的每帧电视图像所包含的信息量为 H(X)= 5105H(X)= 3.5106bit假设汉字字汇是等概率分布 每个汉字出现的概率均为 10从而每个汉字携带的信息量为 log 10000=13.2877 bit/字汉字间彼此无依赖， 广播员口述的 1000 个汉字所广播的信息量为100013.2877=13287.7 bit若要恰当地描述图像，广播员在口述中至少需要的汉字数为 2.63*105 个汉字。63.5102871
19、6、为了传输一个由字母 A、 B、C、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以 00 代表 A，01 代表 B，10 代表 C，11 代表 D。每个二元脉冲宽度为 5ms。（1）不同字母等概率出现时，计算传输的平均信息速率；（2）若每个字母出现的概率分别为 ，试计算传输的平均11,248ABCpp信息速率。解：（1）由题可知，当不同字母等概率出现时，平均自信息量为：H(x)=log4=2(比特/字母)又因为每个二元脉冲宽度为 5ms，故一个字母的脉冲宽度为 10ms则字母的传输速率为 100 字母/秒故传输的平均信息速率为：200 比特/秒(2) 当每个字母分别以题中的概率出现
20、时，平均自信息量为：H(x)=P(a i)logP(ai)=(1/2)*log2+ (1/4)*log4+2*(1/8)*log8=1.75(比特/ 字母)同样字母的传输速率为 100 个/秒故传输的平均信息速率为：175 比特/秒17、证明： 。答案略。1212()()()()N NHXXHX18、设有一个信源，它产生 0，1 序列的消息。它在任意时间而且不论以前发生过什么符号，均按 P(0)=0.4，P(1)=0.6 的概率发出符号。(1) 试问这个信源是否是平稳的？(2) 试计算 ， 及 ；2()HX312(/)XH(3) 试计算 并写出 信源中可能有的所有符号。44解：(1) 因为信源
21、发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的。所以这个信源是平稳信源，是离散无记忆信源。(2) ，计算 H(X)0.971 bit/符号)x(PX6.041因为信源是平稳无记忆信源，所以 H(X2)=2H(X)1.942 bit/两个符号H(X3|X1X2)=H(X3)=H(X)0.971 比特/ 符号= = = H(X)0.97 bit/符号lim()NH12li()NX 1lim()HX(3) H(X4)=4H(X)3.884 bit/四个符号 可能的所有 16 个符号:0000 0001 0010 0011 0100 0101 0110 0111 1000 1
22、001 1010 1011 1100 1101 1110 111119、有一个二元无记忆信源，其发 0 的概率为 ，而 约等于 1，所以在发出的二元序列p中经常出现的是那些一串为 0 的序列（称为高概率序列） 。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源 ，1231,n nSs s共有 n+1 个符号，它与高概率的二元序列的对应关系如下：二元序列： 1,01,001, 0001,0001(n 位),00 000(n 位)新信源符号： 12341, nss（1） 求 ；()nHS（2） 当 时求信源的熵 。)(lim)(nnSH解：依题意，因为是二元无记忆
23、信源，在发出的二元序列中符号之间彼此是无依赖的，统计独立的，所以有：1, 2Nkikii aPaP121., Nii.,21由此可得新信源 Sn 为： nnni PSS121 000 证明满足完备性： 11)(nininii PsP11)12 nnPP)(1log)log()(log)()( 111 PHPPsPSH nni niini ii nnn Him()(ml因为 所以 ，则：,100i )S20、有一信源，它在开始时以 ， ， 的概率发出 。如果().6Pa()0.3b(.1Pc1X为 时，则 为 的概率为 1/3；如果 为 ， 为 的概率为 1/3；1Xa2bc、 、 1X2abc
24、、 、如果 为 ， 为 的概率为 1/2，为 的概率为 0，而且后面发出 的概率只与c、 ci有关，又 ， 。试利用马尔可夫信源的图示法画出状态1i121(/)(/)iiPX3i转移图，并计算信源熵 。H解：由题可得，状态转移图为：a:0.6b:0.3c:0.1b:1/2a:1/2c:1/3a:1/3c:1/3a:1/3b:1/3b:1/3abcabcabcaE0E1E2E3E4E5E6E7E8E9E10E11b可见，状态 E1 和 E4、E 7、E 10 的功能是完全相同的， 状态 E2 和 E5、E 8、E 11 的功能是完全相同的，状态 E3 和 E6、E 12 的功能是完全相同的。其中
25、 E0 是过渡状态，而 E1、E 2、E 3 组成一个不可约闭集，具有遍历性。故有如下的状态转移图 A;由于此马尔可夫信源的状态必然会进入这个不可约闭集，所以计算信源熵时，可以不考虑过渡状态和过渡过程。由此，可得状态 E1、E 2、E 3 的极限概率：Q(E1)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)Q(E2)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)Q(E3)=1/3Q(E1)+1/3Q(E2)Q(E1)+Q(E2)+Q(E3)=1可得： Q(E1)=Q(E2)=3/8， Q(E3)=1/4c:1/3c:1/3 b:1/2b:1/3c:0.1b:0.3a:0.6c:
26、1/3b:1/2a:1/3E2E3E0E1a:1/3图 A所以 H =H2=Q(E1)H(1/3,1/3,1/3)+Q(E2)H(1/3,1/3,1/3)+Q(E3)H(1/2,1/2)=1.4388(比特/符号 )21、一阶马尔可夫信源的状态图如题图 2-21 所示，信源 的符号集为 并定义X0,12。1p(1) 求信源平稳后的概率分布 ；(0),1(2)P(2) 求此信源的熵；(3) 近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵并与 进行比较；()HX(4) 对一阶马尔可夫信源， 取何值时 取最大值？又当 时结果如何？pH01p解：（1） ，由图可得0,12EA()
27、1,23iiQEPa0,12iia于是得到/2/pp/2(0)() (0)1 12/()()1TpQQPp整理计算得 0(2)3Q即 ()()P（2） 据一阶马尔可夫信源的熵的表达式可得 321()|)(0)|1(2|),)(,),333logllog22lliiiHEHXPPXppppp（3） 信源近似为无记忆信源，符号的概率分布等于平稳分布，则此信源 0,12()/3/iXPa得到： 1()log()l31.58/iiiHPa由此计算结果可知 XH（4） 求一阶马尔可夫信源 的最大值。因为()log()logpp求其对 p 的一阶导数 11l()ln2ln2og1og2()lHp令 ，得
28、，所以 ，所以 时，02(1)l0p2(1)p23达到最大值； 的最大值等 。Hlog3.58/当 时0plogl02pHp当 时11/由此可以看出上面 的结论是正确的。()X2-22 一阶马尔可夫信源的状态图如题图 2-22 所示，信源 的符号集为0,1,2 。X（1） 求平稳后信源的概率分布；（2） 求信源的熵 ；H（3）求当 =0 和 =1 时信源的熵，并说明其理由。p解：（1）由图可知一阶马尔可夫信源的状态空间 E=A=0,1,2。平稳后信源的概率分布就等于一阶马尔可夫信源状态的极限分布，即Q(Ei) P(ai) i1,2,3Ei E,aiA,而 EA从状态图中分析可知，这三个状态都是
29、正规常返态，所以此马尔可夫链具有各态历经性，平稳后状态的极限分布存在。可得状态一步转移矩阵，P01)2()0()0(1)(QPT得 Q(0)Q(1)Q(2)1/3则可得 P(0)P(1)P(2)1/3(2) 一阶马尔可夫信源的熵H H 2 I=13Q(Ei)H(XE i)P(0)H(X E)+P(1)H(X1)+P(2)H(X2)1/3H(P 1,0,P)+1/3H(P,P1,0)+1/3H(0,P,P1)-P 1P 1-PPH(P)(3) 当 P0 ,H 0 当 P1 ,H 1因为信息熵是表示信源的平均不确定性，题中当 P=1 或 P=0 时表明信源从某一状态出发转移到另一状态的情况是一定发
30、生或一定不发生，即是确定的事件。当 P=1 时，从 0 状态一定转移到 2 状态，2 状态一定转移到 1 状态，1 状态一定转移到 0 状态。所以不论从何状态起信源输出的序列一定是 021021 序列，完全确定的。当 P=0 时，0 状态永远处于 0 状态，1 状态永远处于 1 状态，2 状态用于处于 2 状态。信源输出的符号序列也是确定的。所以当P=1 或 P=0 时，信源输出什么符号不存在不确定性，完全是确定的，因此确定信源的信息熵等于零。23、设有一个马尔可夫信源，它的状态集为 ，符号集为 ，其在某状123,s123,a态下发出符号的概率为 ， ，如题图 2-23 所示。(/)kiPas
31、,3s2s1s1:0.5a2.2:0.5a3:.3:1:a题图 2-23（1） 求出图中马尔可夫信源的状态极限概率并找出符号的极限概率。（2） 计算信源处在某一状态下输出符号的条件熵 ， 。(/)jHXs1,23（3） 求出马尔可夫信源熵 。H解: (1) 此信源的状态集不等于符号集，从状态转移图可知状态转移矩阵: P= 012/43从图可知 此状态马尔可夫链是时齐的，状态数有限的和是不可约闭集，所以其具有各态历经性，平稳后状态的极限概率分布存在。得到如下方程组：Q(s1)= Q(s3)Q(s2)=3/4 Q(s1)+1/2 Q(s2)Q(s3)=1/4 Q(s1)+1/2 Q(s2)Q(s1
32、)+ Q(s2)+ Q(s3)=1解得： Q(s1)=2/7， Q(s2)=2/7， Q(s3)=3/7符号的极限概率 P(ak) = iki1Q(s)Pa| =1,2i所以 P(a1)=Q(s1)P(a1|s1)+ Q(s2)P(a1|s2)+ Q(s3)P(a1|s3)=3/7，P(a 2)=2/7， P(a3)=2/7(2) 信源处于某一状态下的输出符号的条件熵H(X|sj)= - j=1,2,331(|)log(|)kjkjkPass=H(X|s1)= - P(a1|s1)log P(a1|s1) - P(a2|s1)log P(a2|s1) - P(a3|s1)log P(a3|s1
33、)=-1/2log21/2-1/4log21/4-1/4log21/4=1.5 比特/符号H(X|s2)=H(0,1/2,1/2)=1 比特/ 符号H(X|s2)=H(1,0,0)= 0 比特/ 符号（3）马尔可夫信源熵H =31()|)jjkQsX= Q(s1)H(X|s1)+ Q(s2)H(X|s2)+ Q(s3)H(X|s3)=2/71.5+3/71+0=6/7 比特/符号0.857 比特/符号2-24 黑白气象传真图的消息只有黑色和白色两种，即信源 黑，白 ，设黑色出现的X概率为 P（黑）0.3，白色出现的概率为 P（白）0.7。（1） 假设图上黑白消息出现前后没有关联，求熵 ；()H
34、（2） 假设消息前后有关联，其依赖关系为 P（白|白）0.9，P（黑|白）0.1，P（白|黑）0.2，P（黑| 黑）0.8，求此一阶马尔可夫信源的熵 ；2（3） 分别求出上述两种信源的剩余度，比较 和 的大小，并说明其物理意义。()X2解：（1）如果图上黑白消息出现没有关联，则熵为：H（X）=H（0.7，0.3）=0.881bit/符号（2）设白为 w，黑为 b 那么对应两种状态 Sw 和 Sb 那么转移概率为Sw Sb 0.1Sw Sw 0.9Sb Sw 0.2Sb Sb 0.8则 Q（S w）=0.9 Q（S w）+0.2 Q（S b）Q（S b）=0.8 Q （S b）+0.1 Q （S
35、 w）Q（S b）+ Q（S w）=1由以上三式可得出 Q（S w）=2/3，Q（S b）=1/3所以 P（w）= Q（S w）*0.9+ Q（S b）*0.2=2/3P（B） = Q（S w）*0.1+ Q（S b）*0.8=1/3由以上可得到：H2=H（ 0.9，0.1 ）*2/3+ H（0.8，0.2）*1/3 =0.554bit/符号（3）最大熵 H0=H（0.5，0.5）=1，则信源一的剩余度为 1-0.881=0.118信源二的剩余度为 1-0.554=0.446推出 H（x）H 2这说明消息前后有关联的熵小于信息前后没有关联的熵，即传送相同符号数后消息前后无关联所获得的信息量大于
36、前后有关联的信息量。2-25 给定语音信号样值 的概率密度为拉普拉斯分布 ，求X xexpx,21)(，并证明它小于同样方差的正态变量的连续熵。()cX解： eXHeeXHdxxxd xdexeeexpxEmxdede ydeydeyx xxxdedxpXEmsymboliteH ededxdxedxepdxpXHcc xxxyc xxxxxxxxxc2log)(2logl21)( 21)()(02121 2121)(21)()( / 2logl2log)( loglog中log2l 1og log)()(l 21log)(中00 00222 2|2200 000)(0| 220000| |
37、2-26 连续随机变量 和 的联合概率密度为： ，求XY221,(,)0xyrpxyr其 他， ， 和 。 （提示： ）()HX(Y)(;)I202logsinlogd202020020022222222222222sinlogc14cos1lg4ilsinlsinig4sinlosi )cos(g4cloglo)( / lg1l loo g)(lg lo)(lo g)( lo)( )( 1)(22 ddrdrr rdrxxxrdrxxpsymbliterdxrxpr xrdxrxpXH rxryryxxprr rrrrc xrr令其 中 ：eeddededderddr ddd22022020
38、22020220 202202020log1sinlcog1log1csolgsinlgcsin1sinloiilogisinl1ogcl1lsinlogcog sinlogc)l(l1l silsinogcoslgog 其 中 ：bit/symolerrXYHXYIit/sldxyprdxypxyXYHbit/smolerpy ryrdxdxyccccRRcCyrr logl 2)()();( l )(og1l )(log)()( l2)( )( 212222 222 2-27 设 是离散平稳有记忆信源，试证明：1N12 21312121()()(/)(/)(/)N NNHXXHXHX。 )
39、./(.)/()/()( )/log. /(l)()(log)( )./l. )/(log).(.)(og)( ././l ).(og)().(1212131212111221 1221111 11221 2 12211 122112 111212112 2121 NNiiiiiii iii ii iiiiii i iiiii iiiiii iiiiiiii iiii XHXHXHxpxpxxx xpxpppxxppNNNNNNN NN NNNN2-28 设 是 N 维高斯分布的连续信源，且 的方差分别 2,N是 ，它们之间的相关系数 。试证明：N221,.N ).,(0)( jijiji 维
40、高斯分布的连续信源熵为：。2121()(.)logNcc iiHXXe证明：相关系数 ，说明 是相互独立的。jiNjixji ,.2,1 0 NX.21 Nii NNccccii ccccceeXHXHe12 22122121log2 log1.l )(.)()()(log )()()().()(2-29 设有一连续信源 ，其概率密度函数为：X2,0()bxap其 他(1) 试求信源 的熵 ；cH(2) 试求 ( )的熵 ；YXA0()cY(3) 试求 的熵 。2c解：1) symboliteabXHFxeabxdxff dbxXHcXRRRc / log32l)(1)(,log92l l)()(l ogog)(33 22) RRRcAyY AydAybfdf bHbFf ydxAyXPPaax )(log)(2log ()(l)(l)()(3 )()()022232symboliteabYHFyFsbliteacY/ log32l)( 13)(,)/ l9l 333)symboliteabYHFybaebaydbyff dbdyyYHbFyfydxyXPYPyayxcYRRRcY / 1log32l)()(,4329log2l 8 log4log l)()( 8oglog)(824 )2()()()20333322320
