1、信息论习题集一、填空题1、 人们研究信息论的目的是为了 高效 、 可靠 安全地交换和利用各种各样的信息。2、单符号离散信源输出的消息一般用 随机变量 描述，而符号序列离散信源输出的消息一般用 随机矢量 描述。3、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和。4、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理 。5、必然事件的自信息是 0 ，不可能事件的自信息量是 。6、信 道 的 输 出 仅 与 信 道 当 前 的 输 入 有 关 ， 而 与 过 去 输 入 无 关 的 信 道 称 为 无 记 忆 信 道 。7、若纠错码的最小距离为 ，则可以纠正任意小于等于 t=
2、-1 个差错。mindmind8、必然事件的自信息量是 0 ，不可能事件的自信息量是 。9、一信源有五种符号a， b， c， d， e，先验概率分别为 =0.5， =0.25， aPb=0.125， = =0.0625。符号“a”的自信息量为_1_bit，此信源的熵为cPdPe_1.875_bit/符号。10、已知某线性分组码的最小汉明距离为 3，那么这组码最多能检测出 2 个码元错误，最多能纠正 1 个码元错误。11、克 劳 夫 特 不 等 式 是 唯 一 可 译 码 存 在 的 充 要 条 件 。 00， 01， 10， 11是 否 是 唯 一 可 译 码 ？ 是 。12、离散平稳无记忆信
3、源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍 。13、对 于 离 散 无 记 忆 信 源 ， 当 信 源 熵 有 最 大 值 时 ， 满 足 条 件 为 信 源 符 号 等概 分 布 。二、选择题1、下面哪一项不属于最简单的通信系统模型： （ B ）A信源 B加密 C信道 D信宿2、信道编码的目的是（ B ） 。A 提高通信系统的可靠性 B 提高通信系统的有效性C 提高通信系统的保密性 D 提高通信系统的实时性3、给定 xi 条件下随机事件 yj 所包含的不确定度和条件自信息量 I(yj /xi)， （ C ）A 数量上不等，含义不同 B 数量上不等，含义相同C 数量上相等，
4、含义不同 D 数量上相等，含义相同4、下面哪一项不是增加信道容量的途径： （D ）A 减小信道噪声功率 B 增大信号功率C 增加码长 D 增加带宽5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ） 。A B YXHYXI; YXHYXI;C D YXHYXI; YXHYXI;6、克劳夫特不等式是_A_的充要条件。A 判断唯一可译码 B 判断即时码C 判断即时码存在与否 D 判断唯一可译码存在与否7、一个珍珠养殖场收获 240 颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉 1 颗。一人随手取出 3 颗，经测量恰好找出了假珠，不巧假珠又滑落进去
5、，那人找了许久却未找到，但另一人说他用天平最多 6 次能找出，结果确是如此，这一事件给出的信息量（ A ） 。 A 0bit B log6bit C 6bit D log240bit8、率失真函数的下限为（ B ） 。 A H(U) B 0 C I(U; V) D 没有下限9、下面哪一项不属于熵的性质：（ D ）A 非负性 B 确定性 C 对称性 D 完备性10、香农编码方法是根据（ A）推导出来的。A 香农第一极限定理 B 香农第二极限定理C 香农第三极限定理 D 香农第四极限定理11、线性分组码不具有的性质是（ C ） 。 A 任意多个码字的线性组合仍是码字 B 最小汉明距离等于最小非 0
6、 重量 C 最小汉明距离为 3 D 任一码字和其校验矩阵的乘积 0TmHc12、率失真函数的下限为（ B ） 。 A H(U) B 0 C I(U; V) D 没有下限13、纠错编码中，下列哪种措施不能减小差错概率（ D ） 。 A 增大信道容量 B 增大码长 C 减小码率 D 减小带宽14、已知某无记忆三符号信源 a,b,c 等概分布，接收端为二符号集，其失真矩阵为 ,则信源的最大平均失真度 为（ D ） 。 12 dmaxA 1/3 B 2/3 C 3/3 D 4/3 15、 设 信 道 输 入 为 ， 输 出 为 y， 若 译 码 准 则 是 当 ， 对 所 有mx mxyp时 ， 将
7、y 判 为 ， 则 称 该 准 则 为 （ D ） 。 mA 最 大 后 验 概 率 译 码 准 则 B 最 小 错 误 概 率 准 则 C 最 大 相 关 译 码 准 则 D 最 大 似 然 译 码 准 则16、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ） 。A B YXHYXI;C D ;I17、下面编码方法惟一的是（ C ） 。A 费诺编码 B 哈夫曼编码 C 香农编码 D 游程编码18、信源编码的目的是（ B ） 。A 提高通信系统的可靠性 B 提高通信系统的有效性C 提高通信系统的保密性 D 提高通信系统的实时性 19、下面哪一项不属于熵的性质：（ B ）A 非负
8、性 B 完备性 C 对称性 D 确定性20、下面哪一项不属于最简单的通信系统模型：（ A ）A 加密 B 信源 C 信道 D 信宿三、判断题1、若要求发现 2 个独立随机错误，则要求最小码距 。 3mind（ ）2、信 息 率 失 真 函 数 R(D)的 定 义 域 为 ， 其 中 ， 是 满 足maxin,D0inax的 所 有 D 中 最 大 的 。 0R（ ） 3、信 源 冗 余 度 用 来 衡 量 信 源 的 相 关 性 程 度 ， 信 源 冗 余 度 大 说 明 信 源 符 号 间 的 依 赖关 系 较 小 。 ( )4、对 于 固 定 的 信 源 分 布 ， 平 均 互 信 息 量
9、 是 信 道 传 递 概 率 的 下 凸 函 数 。 （ ）5、对离散无记忆信源来说，当信源呈等概率分布情况下，信源熵取最大值。 ( )6、信源编码的目的是提高通信的可靠性。 （ ）7、概率大的事件自信息量大。 （ ） 8、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 （ ） 9、当随即变量 X 和 Y 相互独立时，条件熵等于信源熵。 （ ）10、利 用 状 态 极 限 概 率 和 状 态 一 步 转 移 概 率 来 求 m 阶 马 尔 可 夫 信 源 的 极 限 熵 。( ) 11、 冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。 ( )12、当 信 道 固 定 时
10、， 平 均 互 信 息 I(X;Y)是 信 源 分 布 的 型 凸 函 数 。 （ ） 13、一 个 唯 一 可 译 码 成 为 即 时 码 的 充 要 条 件 是 其 中 任 何 一 个 码 字 都 不 是 其 它 码 字 的前 缀 。 （ ）14、信 道 容 量 随 信 源 概 率 分 布 的 变 化 而 变 化 。 （ ）15、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。 （ ）16、信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。 （ ）17、互信息量可正、可负亦可为零。 ( ) 18、对于条件熵来说，条件多的熵大于
11、条件少的熵。 （ ） 19、校验矩阵的各行是线性无关的。 （ ）20、信息率失真函数 R(D)是关于平均失真度 D 的上凸函数。 ( )四、简答题1、写出香农公式，并说明其物理意义。当信道带宽为 5000Hz，信噪比为 30dB 时求信道容量。2、 对 于 一 个 一 般 的 通 信 系 统 ， 试 给 出 其 系 统 模 型 框 图 ， 并 结 合此 图 ， 解 释 数 据 处 理 定 理 。3、什么是保真度准则？对二元信源 ，其失真矩阵10up，求 a0 时率失真函数的 和 ？0aDminDax4、什么是平均自信息量与平均互信息，比较一下这两个概念的异同？5、解释信息传输率、信道容量、最佳
12、输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？6、解释无失真变长信源编码定理。五、计算题1、有 一 稳 态 马 尔 可 夫 信 源 ， 已 知 转 移 概 率 为 p(S1/ S1)= 2/3， p(S2/ S1)= 1/3， p(S1/ S2)= 1， p(S2/ S2)= 0。 求 ：(1)画 出 状 态 转 移 图 和 状 态 转 移 概 率 矩 阵 。(2)求出各状态的稳态概率。(3)求 出 信 源 的 极 限 熵2、设有离散无记忆信源 X，其概率分布为 P（X）=0.4，0.18，0.1，0.1，0.07，0.06，0.05，0.04，求： （1）信
13、源符号熵 H（X） ； （2 分） （2）用哈夫曼编码编成二元变长码，并计算其编码效率； （6 分）（3）在相同的信源、编码效率和译码差错的条件下，比较定长和变长编码。 （2 分）3、设一线性分组码具有一致监督矩阵 101H1）求此分组码 n=?,k=?共有多少码字？2）求此分组码的生成矩阵 G。3）写出此分组码的所有码字。4）若接收到码字（101001） ，求出伴随式并给出翻译结果。4、已知一个二元信源连接一个二元信道，如图所示。其中 4132xPX试求：1） , ， ； HYXI;2）求该信道的信道容量。 5、某线性分组码的生成矩阵为1010G求： （1）用系统码 的形式表示 G，并写出对应的系统码校验PI阵 H； （2）计算该码的最小距离； （3）接收到的码字为 R1=0010100，如何判断是否有错？ （4）接收码字 R2=1010100 对应的伴随式 S=？ 6、信源空间为，1234567()0.9.8017.01.XxxxP 试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程） 。
