1、1青 岛 农 业 大 学本 科 生 课 程 论 文论 文 题 目 香农理论与信道编码的发展 学生专业班级 信息与计算科学 1 班 学生姓名（学号） 刘雪飞（20104618） 指 导 教 师 吴慧 完 成 时 间 2013.6.18 目录中文摘要 1英文摘要 2一、引言 3二、信道编码的相关知识 3三、信道编码的类型 43.1 分组码 43.2 卷积码 43.3 在分组码与卷积码基础上的探索 54、前景展望 6参考文献 7课程论文成绩评定表1香农理论与信道编码的发展信息与计算科学 2010 级 1 班 学生姓名：刘雪飞（20104618）指导教师：吴慧【摘要】本文通过对香编码农理论的产生背景介
2、绍，从而引出了香农理论与信息论的关系。全文以香农理论的基本原理为主要写作思路，在这一基础上详细介绍了信道编码定义、信道编码的发展历程、信道编码的分类、信道分类下每种编码的特点等，通过这些基本信息的具体说明，归纳了香农理论与信道编码的主要发展历程，并且对未来的通信技术的发展做了进一步展望。【关键词】信道编码 香农极限 码字 编码类型 通信技术2The development of Shannon theory and channel coding Information and Computing Sciences Grade2010 Class1 Name：Liu XuefeiTutor：Wu
3、 hui【Abstract】This paper introduces the background of Shannons theory，which leads to the relationship between Shannon theory and information theory . According to the basic principle of Shannon theory as the main of thought ,in this based development course ,channel coding ,channel coding classifica
4、tion of each encoding characteristics , the specific description of the basic information , and sums up the development process of Shannon theory and channel coding , and further development of the communication technology in the future .【keyword】channel coding Shannon limit codeword encoding type c
5、ommunication technology 3一、引言近年来，无线通信技术得到了广泛的发展，从移动的 G3，到联通的沃 3G 业务，再到电信的 WCDMA 业务，再到韩国最近研究的 4G 领域，无不显示了无线通信的蓬勃发展。而要实现信息的无线传输，满足信息传输的三个特性有效性、可靠性和保密性，就要对通信技术提出了更高的要求，为了达到这个目的，现在世界各国的通信方面的专家都在积极研究这个领域，以实现更高速、更有效地信源、信道编码及传输要求。 说起通信，需要回溯到香农与信息论的关系。香农在 1948 年发表了通信的一个数学理论完整地解决了通信速度上限的问题。“信息论”从此诞生。香农第二编码定理
6、证明，用任意接近信道容量 C 的传输速率 R 传送并且传输的差错率可以任意小的编码方法是存在的，信道编码的任务就是寻找这种编码。二、信道编码的相关知识为了与信道的统计特性相匹配，并区分通路和提高通信的可靠性，而在信源编码的基础上，按一定规律加入一些新的监督码元，以实现纠错的编码，这种编码即为信道编码。信 道 编 码 的 本 质 是 增 加 通 信 的 可 靠 性 。 但 信 道 编 码 会 使 有 用 的 信 息 数 据 传 输 减 少， 信 道 编 码 的 过 程 是 在 源 数 据 码 流 中 加 插 一 些 码 元 ， 从 而 达 到 在 接 收 端 进 行 判 错 和 纠错 的 目 的
7、 。 在 带 宽 固 定 的 信 道 中 ， 总 的 传 送 码 率 也 是 固 定 的 ， 由 于 信 道 编 码 增 加 了 数据 量 ， 其 结 果 只 能 是 以 降 低 传 送 有 用 信 息 码 率 为 代 价 了 。 利用信道编译码，可以显著改善信息在传输过程中的错误概率指标，有效增强系统抗干扰能力，提高数字通信系统的可靠性。信道编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理
8、所启示的限度，尤其是关于多用户信道 ，更显得不足。在连续信道中常采用正交函数系来代表消息 ，这在极限情况下可达到编码定理的限度。不是所有信道的编码定理都已被证明。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。4香农在证明他的信道容量定理中，引进了“典型序列”的概念。典型序列就是指序列中的符号出现的比例与符号的先验概率相同。对于足够长的序列，所有出现机率不为零的序列都是典型序列。通过选取一些典型序列作为码字，香农证明了最大传送速率。但是这个概念实行起来有困难。很长的序列在编码和解码两方面都会非常困难。而如果序列不长的话，就无法利用“典型序
9、列”的概念。所以，香农给出的传输速率，在几十年中都不能达到。三、信道编码的类型按照信道特性和设计的码字类型进行划分，信道编码可分为：纠独立随即差错码、纠突发差错码、纠混合差错码。按照纠错的功能划分，可分为：检错码、纠错码。按照监督码与信息码元的关系可分为：线性码、非线性码。按照对信息码元处理方法的不同可分为：分组码（包括循环码和非循环码）、卷积码。按照信息码元在编码后是否保持原来的形式不变可分为：系统码、非系统码。信道编码一般分为两类：分组编码和卷积编码。3.1 分组码编码类型在近几十年中经历了几个不同的的阶段，最早的编码类型是分组码（block code）。这也是最容易理解的一种码。在分组编
10、码中，二进制信源输入序列被划分为长度 k 的码字组。每个长度 k 的码字被映射为长度 n 的码字，映射关系是相互独立的，编码器的输出仅仅与当前 k 个信源输入比特有关，而与以前的序列无关。从而由长度 n 的码字组构成分组编码后的二进制信道输入序列，编码速率为 k/n 比特/次，记为（n,k）分组码。分组码的性能是由编码率和最小距离决定的,编码率决定了同样调制方式下信息传输的速度。最小距离决定了纠错的能力。纠错能力越强，就能在越强的噪声下（也就是越低的信噪比下）保持很低的误码率（也就是每一比特信息出错的几率）。所以，性能优越的码，就是要在同样的编码率下达到尽可能高的最小距离。我们还记得，香农定理
11、说，在给定的信噪比下有一个最大传送速率。只要数据转送速率在此限度以下，就可以做到没有错误。或者反过来说，给定传送速率时，有一个最小的信噪比，只要信噪比大于这个限度就可以做到没有错误。而对于现实的编码来说，绝对没有错误是不可能的。对于一个特定的码，它的传送速率是固定的。在不同的信噪比下，它有不同的误码率。我们可以在一个可以接受的误码率（如 10 的-7 次方）下比较它所需要的信噪比与不编码情况下（同样的信息传送速率）的信噪比。这两者的差称为编码增益（coding gain）。编5码增益越大，这个码的性能就越好。而香农定理给出了编码增益的上限，这个上限同时也是研究者的努力目标。3.2 卷积码 卷积
12、码，1954 年，Elias 提出了卷积码的概念，它是完全不同于线性分组码的一个码类。1961 年，卷积码的序列译码方法被提出。1963 年，Massey 提出了卷积码的代数译码方法门限译码。1967 年，维特比提出了卷积码的最大似然译码方法，称为维特比算法，直到现在，维特比算法仍是应用最为广泛的译码算法。在卷积编码中，也是把 k 个信息比特编成长度为 n 的信道输入，但该信道输入不但与当前 k 个信源输入比特有关，而且还与编码器前（L-1）k 个输入有关。译码算法的特点：当前码分组输出不仅与当前信息分组输入有关，还与前面 m 个信息分组有关；在相同码率、相同译码复杂性条件下，卷积码的性能要好
13、于分组码；卷积码仍是线性码，满足线性叠加关系；通常情况下非系统码的性能好于系统码。卷积码在低信噪比条件下解码增益高，而在高信噪比条件下表现就不那么好。也就是说，在输入数据含有很多错误时，它可以把误码率降低。但在低误码率的输入情况下，它的进一步的纠错能力就不高了。于是，人们把两种编码方法合起来使用。把分组码作为“外码”，即最先编码，最后解码。而卷积码作为“内码”。这样，在接收器中，收来的信号先经过维特比算法的解调/解码，产生较低误码率的比特序列。这个序列再经过分组码解码，进一步降低误码率。3.3 在分组码与卷积码基础上的探索以上谈到的分组码和卷积码有一个共性，就是码字是经过精心设计的，使得码字之
14、间的最小距离尽可能大，来增强纠错能力，降低误码率。分组码有着种种特别的数学性质，以便使用巧妙的解码方法。而卷积码通常用维特比算法来解码。另外，还有把调制和卷积码编码结合在一起的“格状编码调制”（Trellis Coding Modulation, TCM），这里就不细谈了。这些码的性能离开香农极限都有几个分贝。在一段时间内，人们认为要达到香农极限即使可能也是非常困难的。但是柳暗花明，九十年代初期人们走出了另一条路。回到香农定理的证明，那里的“码字”就是“典型序列”。而如果我们随机产生序列的话，只要足够长，绝大多数结果都是典型序列。所以随机产生的码字就是好码字。问题是，这样没有结构的码没有好的解
15、码方法。所以长的随机码是不现实的。但是人们发现了具有一定结构的码也可以具有这样随机的特性。而它们的结构可以帮助解码。首先发现的是 turbo 码。它也叫乘积6码。编码方法是把两个短码（分组码或卷积码），一个编码后把次序按一定规律打乱，再编一次码。这样，最后的码长是两个短码长度的乘积。解码时，也是对于两个短码分别解，但采用迭代的办法。第一次解码，只是得到一个“可能”的结果。把这个结果及其相关的概率再输入解码器一遍，就得到一个更加“可靠”一些的结果。如此反复，就能提高解码增益。从理论上讲这种方法不一定是最优的，但实际上最后性能非常接近香农极限。Turbo 码也是有结构的，但这个结构不是为了增加码字
16、间的最小距离，而是为了给解码提供方便。在 Turbo 码的码字中，可能有距离很近（也就是很容易出错）的码字。但这些码字只占总体的很小一部分，所以总的来说误码率还是很低。而在分组码，卷积码中，不同码字出错的几率是差不多的。可见，Turbo 码的思路与以前的编码技术有很大区别，可以说是一场革命。在此启发下，又有人重新发现了另一种随机码低密度奇偶校验码（LDPC）也有类似的特征。LDPC 码也可以用迭代方法解码，性能也接近香农极限。LDPC 码早在 1960 就被提出了，但后来几十年间这个技术慢慢被人遗忘了。直到 1990 年代中叶，人们用图论重新诠释 LDPC 码，找到了系统的设计方法和有效的解码
17、技术，才使得 LDPC 重振雄风。随机码的发明使得编码增益大大提高，基本达到了香农极限。到 2000 年代，这些码已经被现代通信系统采纳了。当然，它们的实现还是比较复杂，所以常常是作为可选功能。 四、前景展望香农的信息论提出后的半个多世纪，人们为了实现香农预言的传送速度极限作出了巨大的努力，发展了很多精致有效的数学工具，也进行了很多大海捞针式的搜寻。随着香农极限的基本达到，编码的研究是否到了终点呢？当然，性能和复杂性的权衡总是有工作要做的，特别是在硬件性能突飞猛进的今天。另外，除了香农所研究的基本信道外，还有许多更加复杂有趣的信道。特别是无线通信的发展，产生了多天线通信，协同通信等新技术，给信
18、道容量和实现信道容量提出了很多新课题。新的发展，新的机遇，在这个信息时代，科技日新月异，而通信事业的发展也必将是更加充满朝气和生机，中国在这方面需要做的还有很多，由于起步较晚，现在中国自己的技术还不能与国际一流水平相提并论，所以，机遇与挑战同在。而作为即将走上工作岗位的，或者是即将在学术领域做出深入研究的信息专业的我们，有义不容辞的责任。而对信息论的提出和发展的香农及其信源、信道编码理论的发展还远没有止步。我们有理由相信，在接下来的几十年里，我们会看到无线通信技术将以更加便捷、高效的形式服务于我们的生活。7参考文献1 吴伟陵 信息处理与编码M北京：人民邮电出版社,19912 傅祖芸 信息论基础
19、理论与应用M北京：电子工业出版社,20013 吕 锋，王 虹，刘皓春，苏 扬. 信息理论与编码M 人民邮电出版社,20044 曲 炜. 信息论与编码理论M 科学出版社,20075 周荫清. 信息理论与基础M 北京航空航天大学出版社,19986 Ewing J H,Gehring F W,Halmos P.R. Coding and Information Theory.Steven Roman,19927 曹雪虹，张宗橙.信息论与编码 北京：清华大学出版社,20048 朱雪龙，应用信息论基础.北京：清华大学出版社,20019 田丽华，编码理论.西安：西安电子科技大学出版社,200310 Cover Thomas M，Thomas Joy A. Elements of Information Theory.New York:Wiley,1991 8课 程 论 文 成 绩 评 定 表学生姓名 专业班级论文题目指导教师评语及意见：指导教师评阅成绩： 指导教师签字 年 月 日评阅人评语及意见：评阅人评阅成绩： 评阅人签字 年 月 日总评成绩（以百分记）：年 月 日
