1、期末考试试题 2008 年 1 月 8 日 第 1 页 /共 2 页 清 华 大 学 70230063 应用信息论基础 2007 年秋季学期考试时间： 2008 年 1 月 8 日 19:00 21:00 考试地点：三教 2301提示：答案请做在另外的答案纸上，答在本试题纸上无效。 1（ 30 分）求以下离散信道的容量，并给出一个取得容量时的输入分布。 a) （ 10 分）二元非对称信道，如下图所示： b) （ 10 分）两个独立的二进制对称信道的串联，如下图所示： c) （ 10 分）同一个信源 X，使用 p=0.1 的二进制对称信道进行两次独立观察，得到 Y=(Y1,Y2)，求此信道的容量
2、。 2（ 20 分）将 N 个二进制对称信道输入并联（如下图所示） 针对 N 个输出使用大数判决方法对 X 进行估计得到X ，求证其平均错误概率Pr ePXX=与 N 满足不等式关系 () ()1()eHX HPNHp期末考试试题 2008 年 1 月 8 日 第 2 页 /共 2 页 3（ 20 分）设信道输入字母表 X为 1,2,k-1，输出字母表 Y 为 1,2,k-1,e。信道转移概率为： 1(|)0y iPY y X i y e= = =其他a) 设输入 X 分布为 p(x)，求 I(X;Y)，以 H(X)的形式表示。 b) 定义错误指示变量 E 如下： 1,0YeE=,其他求 H(
3、Y,E)， H(Y,E|X)，以 H(X)和 的形式表示。 c) 设 X 是一个输入为 W 的离散无记忆信道的输出，求 I(W;Y)，以 I(W;X)的形式加以表示。 4（ 20 分） ，已知以下失真矩阵 D 0011001111001100D = a) 求信源分布为 (p1, p2, p3, p4)时的 Dmin和 Dmax。 b) 求信源均匀分布时的 R(D) 。 c) 求信源分布为 (p1, p2, p3, p4)时的 R(D)。 5（ 10 分）设随机序列对 (xn,yn) 满足联合分布1(, ) (,)nnniiip xy pxy=。求证：对于任意正实数 ，存在足够大的正整数 N ，使得当 nN 时，( ) ( ) 2()2nHYX nHYXnnpy x+ 。
