信息论与编码.docx

1、信 息 论 与 编 码曹 雪 虹 张 宗 橙 编北 京 邮 电 大 学 出 版 社北 京 内 容 简 介本 书 重 点 介 绍 信 息 论 的 基 本 理 论 以 及 编 码 的 理 论 和 实 现 原 理 。 在 介 绍 了 有 关 信 息 度 量 的 基 础 上 , 重 点 讨 论 了 无 失 真 信 源 编 码 、 限 失 真 信 源 编 码 、 信 道 编 码 和 密 码 学 中 的 理 论 知 识 及 其 实 现 原 理 。 本 书 注 重 概 念 , 采 用 通 俗 的 文 字 , 联 系 目 前 通 信 系 统 , 用 较 多 的 例 题 和 图 示 阐 述 基 本 概 念 、

2、基 本 理 论 及 实 现 原 理 , 尽 量 减 少 繁 杂 的 公 式 定 理 证 明 ; 在 各 章 的 最 后 还 附 有 大 量 习 题 , 便 于 加 深 理 解 。 本 书 可 作 为 理 工 科 高 等 院 校 信 息 工 程 、 通 信 工 程 及 相 关 专 业 的 本 科 学 生 教 材 , 亦 可 供 信 息 、 通 信 、 电 子 等 有 关 专 业 的 科 技 人 员 作 为 参 考 书 。图 书 在 版 编 目 ( CIP) 数 据信 息 论 与 编 码 / 曹 雪 虹 , 张 宗 橙 编 .北 京 : 北 京 邮 电 大 学 出 版 社 , 2001.8ISBN

3、 7 5.635 0.524 5. . 信 . . 曹 . 张 . . 信 息 论 信 息 编 码 . T N911.2中 国 版 本 图 书 馆 CIP 数 据 核 字 (2001) 第 048272 号出 版 发 行 : 北 京 邮 电 大 学 出 版 社网 址 : www .buptpress .com社 址 : 北 京 市 海 淀 区 西 土 城 路 10 号 ( 100876)电 话 传真 : 010 6.2282185 (发 行 部 )/ 010 6.2283578( F AX )E .mail: publish bupt .edu .cn经 销 : 各 地 新 华 书 店印 刷

4、: 北 京 忠 信 诚 胶 印 厂 印 刷 开 本 : 787mm1 092 mm 1/ 16 印 张 : 12字 数 : 308 千字印 数 : 3 0016 000 册版 次 : 2001 年 8 月 第 1 版 2002 年 1 月第 2 次 印 刷ISBN 7 5.635 0.524 5./ TP53 定 价 : 22.00 元前 言当前 信 息 产 业 发 展 很 快 , 需 要 大 量 从 事 信 息 、 通 信 、 电 子 工 程 类 专 业 的 人 才 , 而 信 息 论 与 编 码 是 这 些 专 业 的 基 础 课 , 必 须 掌 握 , 它 可 以 指 导 理 论 研 究

5、 和 工 程 应 用 。由 于 信 息 论 与 编 码 这 门 课 本 身 理 论 性 很 强 , 介 绍 的 内 容 是 信 息 论 基 础 和 编 码 理 论 , 现 有 的 一 些 教 材 除 了 介 绍 理 论 和 公 式 外 , 都 用 了 大 量 篇 幅 来 证 明 这 些 理 论 和 公 式 , 这 些 用 作 研 究 生 教 材 是 比 较 适 合 的 。而 作 为 电 子 、 信 息 、 通 信 工 程 的 本 科 生 及 相 关 专 业 的 工 程 技 术 人 员 , 由 于 他 们 理 论 基 础 的 不 足 以 及 实 际 应 用 的 需 要 , 不 可 能 花 很 多

6、 精 力 去 研 读 那 些 在他 们 看 来 是 非 常 难 懂 而 枯 燥 乏 味 的 证 明 , 迫 切 需 要 一 本 介 绍 有 关 信 息 理 论 的基 本 知 识 且 与 实 际 应 用 紧 密 联 系 的 书 籍 , 本 书 就 是 出 于 这 样 的 目 的 而 写 。本 书 注 重 基 本 概 念 , 用 较 通 俗 的 文 字 解 释 其 物 理 意 义 , 辅 以 一 定 的 例 题 和 图 示 说 明 , 不 再 用 繁 杂 的 公 式 来 证 明 这 些 早 已 是 非 常 成 熟 的 公 理 。 联 系 当 前实 际 通 信 技 术 来 讲 述 , 使 读 者 研

7、 读 本 书 后 概 念 清 晰 , 有 目 标 地 应 用 在 实 际 工 作 中 。本 书 共 6 章 , 由 曹 雪 虹 主 编 。 第 5 章 由 张 宗 橙 编 写 , 其 余 各 章 由 曹 雪 虹 编 写 。 在 编 写 过 程 中 , 得 到 了 徐 澄 圻 教 授 和 胡 建 彰 教 授 的 大 力 帮 助 , 在 此 表 示 衷 心 感 谢 。限 于 编 者 的 水 平 , 书 中 不 妥 或 谬 误 之 处 难 免 , 殷 切 希 望 读 者 指 正 。编 者2001 年 6 月目 录第 1 章 绪 论 11.1 信 息 论 的 形 成 和 发 展 11.2 通 信 系

8、统 的 模 型 3第 2 章 信 源 及 信 源 熵 62.1 信 源 的 描 述 和 分 类 62.2 离 散 信 源 熵 和 互 信 息 72.2.1 自 信 息 量 72.2.2 离 散 信 源 熵 82.2.3 互 信 息 102.2.4 数 据 处 理 中 信 息 的 变 化 122.2.5 熵 的 性 质 132.3 连 续 信 源 的 熵 和 互 信 息 152.3.1 连 续 信 源 熵 152.3.2 最 大 熵 定 理 172 .4 离 散 序 列 信 源 的 熵 182 .4 .1 离 散 无 记 忆 信 源 的 序 列 熵 182 .4 .2 离 散 有 记 忆 信 源

9、 的 序 列 熵 182 .5 冗 余 度 27习 题 29第 3 章 无 失 真 信 源 编 码 343.1 编 码 的 定 义 343.2 定 长 编 码 定 理 373.3 变 长 编 码 定 理 403.4 最 佳 编 码 423.4.1 香 农 编 码 方 法 423.4.2 费 诺 编 码 方 法 433.4.3 哈 夫 曼 编 码 方 法 44习 题 48第 4 章 限 失 真 信 源 编 码 514.1 平 均 失 真 和 信 息 率 失 真 函 数 514.1.1 失 真 函 数 514.1.2 平 均 失 真 52 1 4.1.3 信 息 率 失 真 函 数 R ( D )

10、 534.1.4 信 息 率 失 真 函 数 的 性 质 554.2 离 散 信 源 和 连 续 信 源 的 R ( D ) 计 算 584.3 限 失 真 信 源 编 码 定 理 604.4 常 用 信 源 编 码 方 法 简 介 614.4.1 游 程 编 码 614.4.2 算 术 编 码 624.4.3 矢 量 量 化 664.4.4 预 测 编 码 684.4.5 变 换 编 码 70习 题 73第 5 章 信 道 编 码 755 .1 信 道 模 型 和 信 道 容 量 755 .1 .1 信 道 模 型 755 .1 .2 信 道 容 量 775 .2 有 扰 离 散 信 道 的

11、 编 码 定 理 835 .2 .1 随 机 编 码 835 .2 .2 编 码 定 理 855 .3 差 错 控 制 与 信 道 编 译 码 的 基 本 原 理 885 .3 .1 差 错 控 制 的 途 径 885 .3 .2 码 距 与 纠 、 检 错 能 力 915 .3 .3 最 优 译 码 与 最 大 似 然 译 码 925 .4 线 性 分 组 码 945 .4 .1 线 性 分 组 码 基 本 概 念 945 .4 .2 生 成 矩 阵 和 校 验 矩 阵 975 .4 .3 伴 随 式 与 译 码 1015.4.4 循 环 码 1065.5 卷 积 码 1145.5.1 卷

12、积 码 的 基 本 概 念 和 描 述 方 法 1145.5.2 卷 积 码 的 最 大 似 然 译 码 维 特 比 算 法 1205.5.3 卷 积 码 的 性 能 限 与 距 离 特 点 1275.6 网 格 编 码 调 制 与 级 联 码 简 介 1305.6.1 网 格 编 码 调 制 1305.6.2 级 联 码 简 介 136习 题 141第 6 章 密 码 学 1456.1 密 码 学 的 基 础 知 识 1456.1.1 密 码 学 的 基 本 概 念 1456.1.2 密 码 学 中 的 熵 概 念 148 2 6.2 数 据 加 密 标 准 DES 1506.2.1 换 位

13、 和 替 代 密 码 1506.2.2 DES 密 码 算 法 1516.2.3 DES 密 码 的 安 全 性 1556.2.4 DES 密 码 的 改 进 1576.3 国 际 数 据 加 密 算 法 1586.3.1 算 法 原 理 1586.3.2 加 密 解 密 过 程 1596.3.3 算 法 的 安 全 性 1616.4 公 开 密 钥 加 密 法 1616.4.1 公 开 密 钥 密 码 体 制 1616.4.2 RSA 密 码 体 制 1626.4.3 报 文 摘 要 1646.5 模 拟 信 号 加 密 1686.6 通 信 网 络 中 的 加 密 1686.7 信 息 安

14、 全 和 确 认 技 术 1696.7.1 信 息 安 全 的 基 本 概 念 1706.7.2 数 字 签 名 1706.7.3 防 火 墙 1736.7.4 密 码 学 在 电 子 支 付 系 统 中 的 应 用 1746.7.5 密 码 学 在 电 子 数 据 交 换 中 的 应 用 175习 题 175附 录 : 符 号 及 含 义 176部 分 习 题 参 考 答 案 179参 考 文 献 183 3 第 1 章 绪 论“信 息” 这 个 词 相 信 大 家 不 陌 生 , 几 乎 每 时 每 刻 都 会 接 触 到 。 不 仅 在 通 信 、 电 子 行 业 , 其他 各 个 行

15、业 也 都 十 分 重 视 信 息 , 所 谓 进 入 了 “ 信 息 时 代” 。 信 息 不 是 静 止 的 , 它 会 产 生 也 会 消 亡 , 人 们 需 要 获 取 它 , 并 完 成 它 的 传 输 、 交 换 、 处 理 、 检 测 、 识 别 、 存 储 、 显 示 等 功 能 。 研 究 这 方 面 的 科 学 就 是 信 息 科 学 , 信 息 论 是 信 息 科 学 的 主 要 理 论 基 础 之 一 。 它 研 究 信 息 的 基 本 理 论( Infor mation T heory) , 主 要 研 究 可 能 性 和 存 在 性 问 题 , 为 具 体 实 现

16、提 供 理 论 依 据 。 与 之 对 应 的 是 信 息 技 术 ( Infor mation Technology ) , 主 要 研 究 如 何 实 现 、 怎 样 实 现 的 问 题 。通 过 本 章 的 学 习 , 可 以 了 解 下 列 问 题 : 信 息 论 的 形 成 和 发 展 ; 信 息 论 研 究 的 内 容 及 信 息的 基 本 概 念 ; 并 结 合 通 信 系 统 模 型 介 绍 模 型 中 各 部 分 的 作 用 及 编 码 的 种 类 和 研 究 内 容 。1.1 信 息 论 的 形 成 和 发 展信 息 论 理 论 基 础 的 建 立 , 一 般 来 说 开

17、始 于 香 农 ( C .E .Sh annon ) 研 究 通 信 系 统 时 所 发 表的 论 文 。 随 着 研 究 的 深 入 与 发 展 , 信 息 论 具 有 了 较 为 宽 广 的 内 容 。信 息 在 早 些 时 期 的 定 义 是 由 奈 奎 斯 特 ( Nyquis t , H. ) 和 哈 特 莱 ( Hartley , L. V. R. ) 在 20 世 纪 20 年 代 提 出 来 的 。 1924 年 奈 奎 斯 特 解 释 了 信 号 带 宽 和 信 息 速 率 之 间 的 关 系 ; 1928 年 哈 特 莱 最 早 研 究 了 通 信 系 统 传 输 信 息

18、的 能 力 , 给 出 了 信 息 度 量 方 法 ; 1936 年 阿 姆 斯 特 朗( Ar mstrong) 提 出 了 增 大 带 宽 可 以 使 抗 干 扰 能 力 加 强 。 这 些 工 作 都 给 香 农 很 大 的 影 响 , 他 在 1941 1944 年 对 通 信 和 密 码 进 行 深 入 研 究 , 用 概 率 论 的 方 法 研 究 通 信 系 统 , 揭 示 了 通 信 系统 传 递 的 对 象 就 是 信 息 , 并 对 信 息 给 以 科 学 的 定 量 描 述 , 提 出 了 信 息 熵 的 概 念 。 指 出 通 信 系 统 的 中 心 问 题 是 在 噪

19、 声 下 如 何 有 效 而 可 靠 地 传 送 信 息 以 及 实 现 这 一 目 标 的 主 要 方 法 是 编 码 等 。 这 一 成 果 于 1948 年 以 通 信 的 数 学 理 论 ( A mat hematical th eory of communication ) 为 题 公 开 发 表 。 这 是 一 篇 关 于 现 代 信 息 论 的 开 创 性 的 权 威 论 文 , 为 信 息 论 的 创 立 作 出 了 独 特的 贡 献 。 香 农 因 此 成 为 信 息 论 的 奠 基 人 。50 年 代 信 息 论 在 学 术 界 引 起 了 巨 大 的 反 响 。 1951

20、 年 美 国 IRE 成 立 了 信 息 论 组 , 并 于1955 年 正 式 出 版 了 信 息 论 汇 刊 。 60 年 代 信 道 编 码 技 术 有 较 大 进 展 , 使 它 成 为 信 息 论 的 又 一 重 要 分 支 。 它 把 代 数 方 法 引 入 到 纠 错 码 的 研 究 , 使 分 组 码 技 术 发 展 到 了 高 峰 , 找 到 了 大 量 可 纠 正 多 个 错 误 的 码 , 而 且 提 出 了 可 实 现 的 译 码 方 法 。 其 次 是 卷 积 码 和 概 率 译 码 有 了 重 大 突破 ; 提 出 了 序 列 译 码 和 Viterbi 译 码 方

21、 法 。信 源 编 码 的 研 究 落 后 于 信 道 编 码 。 香 农 1959 年 的 文 章 ( Coding th eorems for a discrete source with a fidelity criterion) 系 统 地 提 出 了 信 息 率 失 真 理 论 , 它 是 数 据 压 缩 的 数 学 基 础 , 为 各 种 信 源 编 码 的 研 究 奠 定 了 基 础 。到 70 年 代 , 有 关 信 息 论 的 研 究 , 从 点 与 点 间 的 单 用 户 通 信 推 广 到 多 用 户 系 统 的 研 究 。 1972 年 盖 弗 ( Cover ) 发

22、表 了 有 关 广 播 信 道 的 研 究 , 以 后 陆 续 有 关 于 多 接 入 信 道 和 广 播 信 道模 型 的 研 究 , 但 由 于 这 些 问 题 比 较 难 , 到 目 前 为 止 , 多 用 户 信 息 论 研 究 得 不 多 , 还 有 许 多 尚 待1解 决 的 课 题 。信 息 论 主 要 应 用 在 通 信 领 域 , 在 含 噪 信 道 中 传 输 信 息 的 最 优 方 法 到 今 天 还 不 十 分 清 楚 。 特 别 是 当 数 据 的 信 息 量 大 于 信 道 容 量 的 情 况 , 更 是 毫 无 所 知 , 这 是 经 常 遇 到 的 情 况 。

23、因 为 从 信 源 提 取 的 信 息 常 常 是 连 续 的 , 也 就 是 信 号 的 信 息 含 量 为 无 限 大 。 在 一 般 信 道 中 传 输 这 样的 信 号 , 是 不 可 能 不 产 生 误 差 的 。 引 入 信 道 容 量 和 信 息 量 的 概 念 以 后 , 这 类 问 题 就 可 以 得 到 满 意 的 解 释 , 并 可 给 出 一 个 通 信 系 统 的 最 佳 效 果 , 这 样 就 为 设 计 通 信 系 统 提 供 了 理 论 依 据 。信 息 论 是 在 信 息 可 以 量 度 的 基 础 上 , 研 究 有 效 地 和 可 靠 地 传 递 信 息

24、的 科 学 , 它 涉 及 信 息 量 度 、 信 息 特 性 、 信 息 传 输 速 率 、 信 道 容 量 、 干 扰 对 信 息 传 输 的 影 响 等 方 面 的 知 识 。 通 常 把 上 述 范 围 的 信 息 论 称 为 狭 义 信 息 论 , 又 因 为 它 的 创 始 人 是 香 农 , 故 又 称 为 香 农 信 息 论 。 广 义 信 息 论 则 包 含 通 信 的 全 部 统 计 问 题 的 研 究 , 除 了 香 农 信 息 论 之 外 , 还 包 括 信 号 设 计 、 噪 声 理 论 、 信 号 的 检 测 与 估 值 等 。 当 信 息 在 传 输 、 存 储

25、和 处 理 的 过 程 中 , 不 可 避 免 地 要 受 到 噪 声 或 其 它 无 用 信 号 的 干 扰 , 信 息 理 论 就 是 为 能 可 靠 地 有 效 地 从 数 据 中 提 取 信 息 , 提 供 必 要 的 根 据 和 方 法 。 这 就 必 须 研 究 噪 声 和 干 扰 的 性 质 以 及 它 们 与 信 息 本 质 上 的 差 别 , 噪 声 与 干 扰 往 往 具 有按 某 种 统 计 规 律 的 随 机 特 性 , 信 息 则 具 有 一 定 的 概 率 特 性 , 如 度 量 信 息 量 的 熵 值 就 是 概 率 性 质 的 。 因 此 , 信 息 论 、 概

26、 率 论 、 随 机 过 程 和 数 理 统 计 学 是 信 息 论 应 用 的 基 础 和 工 具 。本 书 讲 述 的 信 息 理 论 的 基 本 内 容 是 与 通 信 科 学 密 切 相 关 的 狭 义 信 息 论 , 涉 及 到 信 息 理论 中 很 多 基 本 问 题 。 例 如 :(1 ) 什 么 是 信 息 ? 如 何 度 量 信 息 ?(2 ) 在 信 息 传 输 中 , 基 本 的 极 限 条 件 是 什 么 ? (3 ) 信 息 的 压 缩 和 恢 复 的 极 限 条 件 是 什 么 ? (4 ) 从 环 境 中 抽 取 信 息 的 极 限 条 件 是 什 么 ? (5

27、) 设 计 什 么 样 的 设 备 才 能 达 到 这 些 极 限 ? (6 ) 实 际 上 接 近 极 限 的 设 备 是 否 存 在 ?在 信 息 论 和 通 信 理 论 中 经 常 会 遇 到 信 息 、 消 息 和 信 号 这 三 个 既 有 联 系 又 有 区 别 的 名 词 。 下 面 将 它 们 的 定 义 比 较 如 下 :信息 : 信 息 是 指 各 个 事 物 运 动 的 状 态 及 状 态 变 化 的 方 式 。 人 们 从 来 自 对 周 围 世 界 的 观察 得 到 的 数 据 中 获 得 信 息 。 信 息 是 抽 象 的 意 识 或 知 识 , 它 是 看 不 见

28、 、 摸 不 到 的 。 人 脑 的 思 维 活 动 产 生 的 一 种 想 法 , 当 它 仍 储 存 在 脑 子 中 的 时 候 它 就 是 一 种 信 息 。消 息 : 消 息 是 指 包 含 有 信 息 的 语 言 、 文 字 和 图 像 等 , 例 如 我 们 每 天 从 广 播 节 目 、 报 纸 和 电 视 节 目 中 获 得 各 种 新 闻 及 其 他 消 息 。 在 通 信 中 , 消 息 是 指 担 负 着 传 送 信 息 任 务 的 单 个 符 号或符 号 序 列 。 这 些 符 号 包 括 字 母 、 文 字 、 数 字 和 语 言 等 。 单 个 符 号 消 息 的

29、情 况 , 例 如 用 x1 表示 晴 天 , x2 表 示 阴 天 , x3 表 示 雨 天 。 符 号 序 列 消 息 的 情 况 , 例 如 “今 天 是 晴 天 ”这 一 消 息 由 5 个 汉 字 构 成 。 可 见 消 息 是 具 体 的 , 它 载 荷 信 息 , 但 它 不 是 物 理 性 的 。信 号 : 信 号 是 消 息 的 物 理 体 现 , 为 了 在 信 道 上 传 输 消 息 , 就 必 须 把 消 息 加 载 ( 调 制 ) 到 具 有 某 种 物 理 特 征 的 信 号 上 去 。 信 号 是 信 息 的 载 荷 子 或 载 体 , 是 物 理 性 的 。 如

30、 电 信 号 、 光 信 号 等 。 按 照 信 息 论 或 控 制 论 的 观 点 , 在 通 信 和 控 制 系 统 中 传 送 的 本 质 内 容 是 信 息 , 系 统 中 实 际 传 输 的 则 是 测 量 的 信 号 , 信 息 包 含 在 信 号 之 中 , 信 号 是 信 息 的 载 体 。 信 号 到 了 接 收 端 ( 信 息 论 里 称 为 信 宿 ) 经 过 处 理 变 成 文 字 、 语 声 或 图 像 , 人 们 再 从 中 得 到 有 用 的 信 息 。 在 接 收 端 将2含 有 噪 声 的 信 号 经 过 各 种 处 理 和 变 换 , 从 而 取 得 有 用

31、 信 息 的 过 程 就 是 信 息 提 取 , 提 取 有 用 信 息 的 过 程 或 方 法 主 要 有 检 测 和 估 计 两 类 。 载 有 信 息 的 可 观 测 、 可 传 输 、 可 存 储 及 可 处 理 的 信 号 均 称 为 数 据 。信 息 的 基 本 概 念 在 于 它 的 不 确 定 性 , 任 何 已 确 定 的 事 物 都 不 含 有 信 息 。 其 特 征 有 : 接 收 者 在 收 到 信 息 之 前 , 对 它 的 内 容 是 不 知 道 的 , 所 以 信 息 是 新 知 识 、 新 内 容 ; 信 息 是 能 使 认 识 主 体 对 某 一 事 物 的

32、未 知 性 或 不 确 定 性 减 少 的 有 用 知 识 ; 信 息 可 以 产 生 , 也 可 以 消 失 , 同 时 信 息 可 以 被 携 带 、 贮 存 及 处 理 ; 信 息 是 可 以 量 度 的 , 信 息 量 有 多 少 的 差 别 。1.2 通 信 系 统 的 模 型图 1 2 . 1.是 目 前 较 常 用 的 、 也 是 较 完 整 的 通 信 系 统 模 型 , 下 面 介 绍 模 型 中 各 个 部 分 的 作 用 及 需 要 研 究 的 核 心 问 题 。图 1 2 .1. 通信 系 统 的 物 理 模 型信 源 是 向 通 信 系 统 提 供 消 息 ( u )

33、 的 人 和 机 器 。 信 源 本 身 是 十 分 复 杂 的 , 在 信 息 论 中 我们 仅 研 究 信 源 的 输 出 。 信 源 输 出 的 是 以 符 号 形 式 出 现 的 具 体 消 息 , 它 载 荷 信 息 。 信 源 输 出的 消 息 可 以 有 多 种 形 式 , 但 可 归 纳 成 两 类 : 离 散 消 息 , 例 如 由 字 母 、 文 字 、 数 字 等 符 号 组 成 的 符 号 序 列 或 者 单 个 符 号 。 连 续 消 息 , 例 如 话 音 、 图 像 、 在 时 间 上 连 续 变 化 的 电 参 数 等 。 因 为 通 信 系 统 的 接 收 者

34、 ( 信 宿 ) 在 收 到 消 息 之 前 并 不 知 道 信 源 所 发 出 消 息 的 内 容 , 所 以 一 般地 说 信 源 发 出 的 是 随 机 性 的 消 息 。 但 因 信 源 发 出 的 消 息 都 携 带 着 信 息 , 可 见 消 息 的 变 化 是具 有 一 定 规 律 性 的 , 因 此 严 格 地 说 信 源 发 出 消 息 并 不 是 完 全 随 机 性 的 。 信 源 的 核 心 问 题 是它 包 含 的 信 息 到 底 有 多 少 , 怎 样 将 信 息 定 量 地 表 示 出 来 , 即 如 何 确 定 信 息 量 。信 宿 是 消 息 传 递 的 对 象

35、 , 即 接 收 消 息 的 人 或 机 器 。 根 据 实 际 需 要 , 信 宿 接 收 的 消 息 ( v ) 其 形 式 可 以 与 信 源 发 出 的 消 息 ( u) 相 同 , 也 可 以 不 相 同 , 当 两 者 形 式 不 相 同 时 , v 是 u 的 一 个 映 射 。 信 宿 需 要 研 究 的 问 题 是 能 收 到 或 提 取 多 少 信 息 。信 道 是 传 递 消 息 的 通 道 , 又 是 传 送 物 理 信 号 的 设 施 。 信 道 可 以 是 一 对 导 线 、 一 条 同 轴 电 缆 、 传 输 电 磁 波 的 空 间 、 一 条 光 导 纤 维 等

36、 传 输 信 号 的 媒 质 。 信 道 的 问 题 主 要 是 它 能 够 传 送 多 少 信 息 的 问 题 , 即 信 道 容 量 的 大 小 。干 扰 源 是 整 个 通 信 系 统 中 各 个 干 扰 的 集 中 反 映 , 用 以 表 示 消 息 在 信 道 中 传 输 时 遭 受 干扰 的 情 况 。 对 于 任 何 通 信 系 统 而 言 , 干 扰 的 性 质 、 大 小 是 影 响 系 统 性 能 的 重 要 因 素 。密 钥 源 是 产 生 密 钥 k 的 源 。 信 源 编 码 器 输 出 信 号 x 经 过 k 的 加 密 运 算 后 , 就 把 明 文 x3变 换

37、为 密 文 y。 若 窃 听 者 未 掌 握 发 端 采 用 的 密 钥 k , 则 他 就 很 难 从 窃 听 到 的 信 号 z 解 出 明 文 。 而 收 端 的 信 宿 则 因 知 道 事 先 已 约 定 好 的 密 钥 k , 因 此 能 从 收 到 的 信 号 z 解 出 明 文 。 对 于 二 进 制 的 代 码 而 言 , 加 密 相 当 于 y = x p 运 算 ( 其 中 序 列 p 通 常 是 受 密 钥 控 制 的 伪 随 机 序 列 ) , 而 解 密 则 相 当 于 x = y p 运 算 。 这 里 x , y , z 之 所 以 不 同 于 发 端 的 x ,

38、 y, z , 是 考 虑到 信 号 z 在 信 道 中 传 输 时 所 受 到 的 干 扰 影 响 。 但 在 正 常 通 信 条 件 下 , 总 会 有 x x , y y, z z 的 结 果 。一 般 地 说 , 通 信 系 统 的 性 能 指 标 主 要 是 有 效 性 、 可 靠 性 、 安 全 性 和 经 济 性 。 通 信 系 统 优 化 就 是 使 这 些 指 标 达 到 最 佳 。 除 了 经 济 性 外 , 这 些 指 标 正 是 信 息 论 的 研 究 对 象 。 根 据 信 息论 的 各 种 编 码 定 理 和 上 述 通 信 系 统 的 指 标 , 编 码 问 题

39、可 分 解 为 三 类 : 信 源 编 码 、 信 道 编 码 和 密 码 。信 源 编 码 器 的 作 用 是 把 信 源 发 出 的 消 息 变 换 成 由 二 进 制 码 元 ( 或 多 进 制 码 元 ) 组 成 的 代 码 组 , 这 种 代 码 组 就 是 基 带 信 号 。 同 时 通 过 信 源 编 码 可 以 压 缩 信 源 的 冗 余 度 ( 即 多 余 度 ) , 以 提 高 通 信 系 统 传 输 消 息 的 效 率 。 信 源 编 码 可 分 为 无 失 真 信 源 编 码 和 限 失 真 信 源 编 码 。 前 者 适 用 于 离 散 信 源 或 数 字 信 号 ,

40、 后 者 主 要 用 于 连 续 信 源 或 模 拟 信 号 , 如 语 音 、 图 像 等 信 号 的 数 字 处 理 。 从 提 高 通 信 系 统 的 有 效 性 意 义 上 说 , 信 源 编 码 器 的 主 要 指 标 是 它 的 编 码 效 率 , 即 理 论 上 能 达 到 的 码 率 与 实 际 达 到 的 码 率 之 比 。 一 般 来 说 , 效 率 越 高 , 编 译 码 器 的 代 价 也 将 越 大 。 信 源 译 码 器 的 作 用 是 把 信 道 译 码 器 输 出 的 代 码 组 变 换 成 信 宿 所 需 要 的 消 息 形 式 , 它 的 作 用 相 当 于

41、 信 源 编 码 器 的 逆 过 程 。信 道 编 码 器 的 作 用 是 在 信 源 编 码 器 输 出 的 代 码 组 上 有 目 的 地 增 加 一 些 监 督 码 元 , 使 之 具 有 检 错 或 纠 错 的 能 力 。 信 道 译 码 器 具 有 检 错 或 纠 错 的 功 能 , 它 能 将 落 在 其 检 错 或 纠 错 范围 内 的 错 传 码 元 检 出 或 纠 正 , 以 提 高 传 输 消 息 的 可 靠 性 。 信 道 编 码 包 括 调 制 解 调 和 纠 错 检错 编 译 码 。 信 道 中 的 干 扰 常 使 通 信 质 量 下 降 , 对 于 模 拟 信 号

42、, 表 现 在 收 到 的 信 号 的 信 噪 比 下 降 ; 对 于 数 字 信 号 , 就 是 误 码 率 增 大 。 信 道 编 码 的 主 要 方 法 是 增 大 码 率 或 频 带 , 即 增 大 所 需的 信 道 容 量 。 这 恰 与 信 源 编 码 相 反 。密 码 学 是 研 究 如 何 隐 蔽 消 息 中 的 信 息 内 容 , 使 它 在 传 输 过 程 中 不 被 窃 听 , 提 高 通 信 系 统 的 安 全 性 。 将 明 文 变 换 成 密 文 , 通 常 不 需 要 增 大 信 道 容 量 , 例 如 在 二 进 码 信 息 流 上 叠 加 一 密 钥 流 ;

43、但 也 有 些 密 码 要 求 占 用 较 大 的 信 道 容 量 。在 实 际 问 题 中 , 上 述 三 类 编 码 应 统 一 考 虑 来 提 高 通 信 系 统 的 性 能 。 这 些 编 码 的 目 标 往往 是 相 互 矛 盾 的 。 提 高 有 效 性 必 须 去 掉 信 源 符 号 中 的 冗 余 部 分 , 此 时 信 道 误 码 会 使 接 收 端不 能 恢 复 原 来 的 信 息 , 也 就 是 必 须 相 应 提 高 传 送 的 可 靠 性 , 不 然 会 使 通 信 质 量 下 降 ; 反 之 , 为 了 可 靠 而 采 用 信 道 编 码 , 往 往 需 扩 大 码

44、 率 , 也 就 降 低 了 有 效 性 。 安 全 性 也 有 类 似 情 况 。 编 成 密 码 , 有 时 需 扩 展 码 位 , 这 样 就 降 低 有 效 性 ; 有 时 也 会 因 失 真 而 使 授 权 用 户 无 法 获 得 信 息 , 必 须 重 发 而 降 低 有 效 性 , 或 丢 失 信 息 而 降 低 可 靠 性 。 从 理 论 方 面 来 说 , 若 能 把 三 种 码 合 并 成 一 种 码 来 编 译 , 即 同 时 考 虑 有 效 、 可 靠 和 安 全 , 可 使 编 译 码 器 更 理 想 化 , 在 经 济 上 可 能 也 更 优 越 。 这 种 三 码

45、 合 一 的 设 想 是 当 前 众 所 关 心 的 课 题 , 但 因 理 论 上 和 技 术 上 的 复 杂 性 , 要 取 得 有 用 的 结 果 , 还 是 相 当 困 难 。 值 得 注 意 的 是 信 息 论 分 析 的 问 题 是 存 在 性 问 题 , 即 符 合 条 件 的 编 码 是 存 在 的 , 但 并 没 有 给 出 如 何 去 寻 找 。本 书 用 了 大 量 篇 幅 讨 论 编 码 问 题 , 着 重 介 绍 信 源 和 信 道 的 编 码 定 理 , 主 要 从 概 念 上 解 释 了 这 些 定 理 的 结 论 , 并 没 有 从 严 格 意 义 上 加 以

46、证 明 。 顺 便 指 出 , 不 是 所 有 的 通 信 系 统 都 采 用4如 图 1 2 . 1.所 示 的 那 样 全 面 的 技 术 。 例 如 , 点 对 点 的 有 线 电 话 , 只 要 有 一 对 电 话 机 和 一 条 电 话 线 路 ( 铜 线 ) 就 够 了 , 话 音 基 带 信 号 通 过 电 话 机 变 成 相 应 的 电 信 号 ( 模 拟 信 号 ) , 就 能 在 电 话 线 上 传 送 , 收 端 的 电 话 机 再 把 电 信 号 恢 复 成 人 耳 能 听 得 清 的 话 音 。 如 果 是 点 对 点 的 无 线 电话 , 则 在 发 端 需 要 一

47、 台 发 信 机 , 把 模 拟 信 号 调 制 到 射 频 上 , 再 用 大 功 率 发 射 机 经 天 线 发 射 出去 , 然 后 在 无 线 信 道 中 传 输 ; 收 端 则 应 使 用 收 信 机 把 收 到 的 调 制 射 频 信 号 解 调 恢 复 为 发 端 的 原 始 话 音 。 若 在 这 样 的 系 统 中 增 加 加 密 和 解 密 装 置 , 就 构 成 无 线 保 密 通 信 系 统 。 在 干 扰 大 、 信 道 容 量 有 限 的 通 信 系 统 中 , 就 需 要 采 用 信 源 编 码 和 信 道 编 码 技 术 , 以 提 高 传 输 消 息 的 有

48、效 性 和 可 靠 性 。这 里 首 先 举 几 个 例 子 来 说 明 编 码 的 应 用 , 如 电 报 常 用 的 莫 尔 斯 码 就 是 按 信 息 论 的 基 本编 码 原 则 设 计 出 来 的 ; 在 一 些 商 品 上 面 有 一 张 由 粗 细 条 纹 组 成 的 标 签 , 从 这 张 标 签 可 以 得 知 该 商 品 的 生 产 厂 家 、 生 产 日 期 和 价 格 等 信 息 , 这 些 标 签 是 利 用 条 形 码 设 计 出 来 的 , 非 常 方 便 ,非 常 有 用 , 应 用 越 来 越 普 遍 ; 计 算 机 的 运 算 速 度 很 高 , 要 保 证

49、 它 几 乎 不 出 差 错 , 相 当 于 要 求 有 100 年 的 时 间 内 不 得 有 一 秒 钟 的 误 差 , 这 就 需 要 利 用 纠 错 码 来 自 动 地 及 时 地 纠 正 所 发 生 的错 误 ; 每 出 版 一 本 书 , 都 给 定 一 个 国 际 标 准 书 号 ( ISBN ) , 大 大 方 便 图 书 的 销 售 、 编 目 和 收 藏 工 作 。 可 以 说 , 人 们 在 日 常 生 活 和 生 产 实 践 中 , 正 在 越 来 越 多 地 使 用 编 码 技 术 。本 书 的 内 容 安 排 如 下 :第 2 章 介 绍 信 息 论 的 一 些 基 本 概 念 , 包 括 自 信 息 量 、 条 件 自 信 息 量 、 互 信 息 量 、 条 件 互 信 息 量 、 平 均 互 信 息 量 、 单 符 号 熵 、 熵 的 性 质 以 及 连 续 信 源 熵