1、证明1 有两个随机变量 X 和 Y，其和为 Z = X + Y（一般加法） ，若 X 和 Y 相互独立，求证： H(X) H(Z), H(Y) H(Z)。证明： )(/ )()(log)()( )/(log)/(/l)/( )( 0)(/ 2YHZXYHypxp xzpxzxxzZypxzpxzYij jji ik ikiiikikki ikjikik 同理可得 。2.证明： H(X1X2 。 。 。 Xn) H(X1) + H(X2) + + H(Xn)。证明： . )/()( 0);( )./(./. 2133213 2 121XHI XHH nn )(.)()()().( ./ .; 3
2、2121 121nn NNXXH计算：2 有两个二元随机变量 X 和 Y，它们的联合概率为Y X x1=0 x2=1y1=0 1/8 3/8y2=1 3/8 1/8(2) H(X/Y) symbolitXHYXH symbolitxpxij jiji / 81.0.1)()/( / 81.log183llg3l)(log)()( 2 6 一阶马尔可夫信源的状态图如下图所示。信源 X 的符号集为0, 1, 2。(1) 求平稳后信源的概率分布；(2) 求信源的熵 H 。20 1PPPPP P解：(1)3/1)(/1)()()()()( )/()/()( /2321133322211 131333 2222111epepepepeepee 3/12/0)( 3/1)()()/()/()( /13131333 322222 2111XP pepexpexpxp(2)symbolitpp ppppeeeeepe ppeeeepeepHij ijiji / logl log31log31log31g3131 )/()/()/()/()/(log)/( log31log3131 )/()/()/()/()/(log)/( /l/ 332323 22212 133223
