1、2.4 同时掷一对均匀的子，试求：(1)“2 和 6 同时出现”这一事件的自信息量；(2)“两个 5 同时出现”这一事件的自信息量；(3)两个点数的各种组合的熵；(4)两个点数之和的熵； (5)“两个点数中至少有一个是 1”的自信息量。解： bitPaINnPc17.536log)(361)2( 48l21116样 本 空 间 ：(3)信源空间：X (1,1) (1,2)(1,3)(1,4)(1,5) (1,6)P(X) 1/36 2/36 2/36 2/36 2/36 2/36X (2,2) (2,3)(2,4)(2,5)(2,6)P(x) 1/36 2/36 2/36 2/36 2/36X
2、 (3,3) (3,4)(3,5)(3,6)P(x) 1/36 2/36 2/36 2/36X (4,4) (4,5)(4,6)P(x) 1/36 2/36 2/36X (5,5) (5,6)(6,6)P(x) 1/36 2/36 1/36bitxH32.46log3126log315)( (4)信源空间：X 2 3 4 5 6 7 8 9 10 11 12P(x) 1/362/363/364/365/366/365/364/363/362/361/36bitxH71.3log53l10 43logl2og)( (5) PaINnP6)(6332.11 设随机变量 和 的联合概率空间为12,0
3、,Xx12,0,Yy11212(,)(,)(,)(,)838XYxyxyP 定义一个新随机变量 （普通乘积） 。Z（1）计算熵 、 、 、 、 以及 ；()H()Z()HX()YZ()HX（2）计算条件熵 、 、 、 、 、|YZ、 、 以及 ；(|)ZY|（3）计算互信息量 、 、 、 、 以及(;)IXY(;)I(;)I(;|)I(;|)I；;|IX解 （1） 130,0,82pxypxy1log1iiiHXPx130,0,082pyypxy1xbit/symbollog1jjjYy的概率分布如下ZX07()8zP1271()()logl)0.54/8kKHZpbitsymol由 得xzz
4、x1(0,)(0)0)2ppx1 3(,)()()01)(,0)81, 11,xzxzpyxpypxzpxzx3()()logllog.406/288ikikHXZ btsym由对称性可得 1.406/Ybtsyml()(),()1pxyzpzxyz由 又 要 么 等 于 ， 要 么 等 于 0. 10, (0,)(0,)8pxypxy(1)(,) 3, 01(,1)(,1)(0)(,)01, (,)(,0)8()xyzxyzppzpzxyxyxypxypzp(1,)1,0(0,)1(1)(,)(,)8zpxyxyxypxy2log()1331loglll.81/88ijkijkijkHXYZ
5、pzpxyzbtsmol （2）H p p =-XYijjiyx2ji symbolit/81.lg83llg8loH =H -H/ symolbitY/1.0.1H =H -HYXH =H -HZX/ sylit/862.54.6.H =H -Hmob01H =H -HY/ sylit/.H =H -HZY46H =H -HX/ symolbitZ/0518.H =H -HYXH =H -HZ/ sylitY/(3)symolbitYXHYXI /189.0./: ZZ362sylitI /1/: symolbitYXHYX /457.080/ ZZI 6.1./: sylit/./2.13
6、.(1) 求 和 ，并判断作哪一个实验好些。1;IXY2;I(2) 求 ，并计算作 Y1 和 Y2 两个实验比作 Y1 或 Y2 中的一个实验各可多得多12;,少关于 的信息。(3) 求 和 21;IX，并解释它们的含义。12;IY答：（ 1） ， 要 求 和 需 要 先 求 ，111;=IHY1HY1X1PY， 已 知 。PXY， 要 求 和 需 要 先 求 ，222;IX222， 已 知 。由 及 联 合 概 率 分 布 与 边 缘 概 率 分 布 的 关 系 可 得11PXYP及 ， 如 表 2-1 所 示 ：表 2-11YPX0 12YPX0 10 1/4 0 0 1/4 01 0 1
7、/4 1 1/4 02 1/4 1/4 2 0 1/21PY1/2 1/2 2PY1/2 1/2所 以 1logl1 HY比 特 /符 号1l2log 44X比 特 /符 号11; =IX比 特 符 号同 样 可 求 出 及 ， 如 表 2-2 所 示 ：2PY2所 以 21logl1 H比 特 /符 号og042YX比 特 符 号22; IYX比 特 /符 号因 此 第 二 个 实 验 好 些 。（ 2） ， 因 此 要 求 出 ， 和1222;IXYH12PY12X。 由 于 、 是 相 互 独 立 的 实 验 ， 所 以 。1P 12=X（ 见 表 2-2 和 表 2-3）1212122
8、PXYY表 2-212PYX00 01 10 110 1 0 0 01 0 0 1 02 0 1/2 0 1/2表 2-312YPX00 01 10 110 1/4 0 0 01 0 0 1/4 02 0 1/4 0 1/41PY1/4 1/4 1/4 1/4logllogl2 HX比 特 符 号12144比 特 /符 号2213; = 2IYHYX比 特 符 号可 以 看 到 ： 做 和 两 个 实 验 比 做 一 个 实 验 可 多 得 到 的 信 息 为12123;1 2IXI比 特 /符 号可 以 看 到 ： 做 和 两 个 实 验 比 做 一 个 实 验 可 多 得 到 的 信 息 为1Y2Y122;= II比 特 /符 号（ 3） ， 它 表 示 做 完12 31;IXX比 特 符 号实 验 以 后 ， 从 实 验 可 得 到 关 于 的 信 息 量 。2YY， 它 表 示 做 完 实 验 以12121;= 2IIIY比 特 /符 号 1Y后 ， 从 实 验 可 得 到 关 于 的 信 息 量 。X2.161) symbolitXNHsybolitn/ 10.27103)()( / 8log652) sybolitlbitnN / 1328.10)()( / log3) 1580372.3)(6XHN
