第一章信息论与编码绪论.ppt

1、是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的科学；它的主要目的是提高信息系统的有效性和可靠性，最优化；其主要内容（或分支）包括：香农理论、编码理论、维纳理论、检测和估计理论、信号设计与估计理论、调制理论和随机噪声理论。,信息论与编码,目的：了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础。,课程概况,以信息理论为中心，区别与“信源编码”、“信道编码”以概念和物理意义为主，数学推导尽量放到课外结合通信系统实际应用,特点：,课程内容,信息论的基本问题信息的度量 无失真信源编码定理香农

2、第一定理 信道编码定理香农第二定理 限失真信源编码定理香农第三定理 信源编码 信道编码,教学目标,充分理解、熟练掌握教材的内容 熟练掌握基本的信息理论概念和定理 熟练掌握通信与信息工程中基本研究对象的数学描述 通过学习和习题练习，具备一定的解决问题分析问题的能力 掌握一定的科学思想方法(用信息论的思想和观点)和怎样描述,学信息论意义,信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后继课程、将来进一步从事通信和信息领域的科研和创新。要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人格基础，为将来的进一步学习和科研奠定坚实的基础。,有关事项,讲课:（概念、方法、

3、实际应用） 自学:（数学推导、定理证明） 考试：基本概念、基本计算、实际应用 平时成绩：上课情况+作业 成绩：考试成绩+平时成绩+实践成绩,参考书,1信息论基础理论与应用， 傅祖芸编，电子工业出版社，2001 2信息论与编码，陈运编著，电子工业出版社，2002 3. 信息理论与编码，吕锋等编著，人民邮电出版社，2004,第一章 绪论,1.1 信息 1.2 通信系统 1.3 信息论的形成和发展,1.1 信息,信息是指各个事物运动的状态及状态变化的方式。 人们从来自对周围世界的观察得到的数据中获得信息。 信息是抽象的意识或知识，它是看不见、摸不到的。 人脑的思维活动产生的一种想法，当它仍储存在脑子

4、中的时候它就是一种信息。,信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学。 信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。 信息技术主要研究如何实现、怎样实现的问题。,概率信息,1948年，美国一位数学家克劳特香农(C.EShannon)发表了一篇著名的论文通信的数学理论。差不多与此同时，美国另一位数学家诺伯特维纳也发表了题为时间序列的内插、外推和平滑化的论文以及题为控制论的专著。在这些著作中，他们分别解决了按“通信的消息”来理解的信息(狭义

5、信息)的度量问题，并得到了相同的结果。香农的论文还给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，这就是香农信息论，也叫狭义信息论(简称“信息论”)。,对通信过程作进一步分析就可发现，人们要进行通信，不外有两种情形：,一是自己有某种形式的信息要告诉对方，同时估计对方既会对这种信息感到兴趣，而又尚不知道这个信息。也就是说，对方在关于这个信息的知识上存在着不确定性；,另一种情况是，自己有某种疑问要向对方询问，而且估计对方能够解答自己的疑问。,接收者收到某一消息后所获得的信息，可以用接收者在通信前后“不确定性”的消除量来度量。简而言之，接收者所得到的信息量，在数量上等于通信前后“

6、不确定性”的消除量(或减少量)。,不确定性是与“多种结果的可能性”相联系的，而在数学上，这些“可能性”正是以概率来度量的。概率大，即“可能性”大；概率小，“可能性”小。显然，“可能性”大，即意味“不确定性”小；“可能性”小，即意味“不确定性”大。,由此可见，“不确定性”与概率的大小存在着一定的联系，“不确定性”应该是概率的某一函数；那么，“不确定性”的消除量(减少量)，也就是狭义信息量，也一定可由概率的某一函数表示。,狭义信息论：在信息可以度量的基础上，对如何有效、可靠地传递信息进行研究。涉及信息度量、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。又称为香农信息论。 广义

7、信息论：包含通信的全部统计特性问题的研究，除了香农信息论之外，还包括信号设计、噪声理论、信号的检测与估值等。 本书讲述的信息理论的内容为狭义信息论,信息的基本概念在于它的不确定性。 其特征如下：,接收者在收到信息之前，对其内容是未知的是新知识，新内容； 信息是能使认识主体对某一事物的未知性和不确定性减少的有用知识； 信息可以产生，也可以消失，同时它可以被携带、被存储及处理； 信息是可以度量的，信息量有多少的差别,例：气象预报 甲乙,“甲地晴”比“乙地晴”的不确定性来的小 某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率接近于1,即预料中肯定会出现的事件，那它的不确定性就接近于

8、零。,信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。,信息、消息、信号,信息是指各个事物运动的状态及状态的变化的方式。抽象的、非物理的，是哲学层表达。 消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它也是信息的载荷体。是信息论中主要描述形式 信息的数学层表达 信号是消息的物理体现。信号最具体，它是一物理

9、量，可测量、可显示、可描述，同时它又是载荷信息的实体 信息的物理层表达,消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的,信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。 反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外延。同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息,1.2通信系统模型,信源、信宿和信道,信源：发送消息的源 离散信源 模拟信源 信源是信息论的主要研究对象之一，但在信息论中并不探讨信源的内结构和物理机理，而把

10、注意力放在信源的输出上，重点讨论信源输出的描述方法及性质。 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信道：传输信息的物理媒介,信源编码器与译码器,信源编码器的作用 是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号； 同时通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。 信源编码器分为两类 一类是无失真信源编码,适用于离散信源或数字信号； 另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理,信源编码器与译码器,信源编码器的主要指标 是它的编码效率，即理论上能达到的码率与实际达到的码率之比。

11、 一般来说，效率越高，编译码器的代价也将越大。 信源译码器的作用 是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。,信道编码器与译码器,信道编码 主要作用是提高信息传送的可靠性。 信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力 信道编码的主要方法 增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。 信道译码器的作用 具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。,1.3 信息论的形成与发展,从历史上看，由两部分人共同努力完成（通信工程、统计学） 通信

12、技术的理论基础 人们关心的是信息能在接受端精确再现发送端，正因为此，人们苦苦追求一种理论，即信息论。 19世纪面临的主要问题是如何获得信息的电气表现形式，以及如何将它们进行远距离的传输。 19世纪30年代发明了电报1876年发明了电话（Bell）获得电信号形式1904年发明了二三级管，是远距离传输成为可能。,20世纪电信技术飞速发展，如何提高信道利用率问题。 20世纪30年代前：研究发送信号无失真地送到接受端 30、40年代后期：香农提出了信息论的一系列概念（除通用编码外），是信息论的创始人。 50年代：通信界，主要精力转向信源编码和信道编码。如Huffman、算术、通用编码。形成各种标准。如

13、：H.261、JPEG、MPEG。 (香农提出的理论缺陷是不能构造好的编码提出指导)！ 统计学的一个分歧。（略） 信号与信息处理的一般理论基础。,信息论的主要研究成果,语音信号压缩 长途电话网标准 1972年CCITT G.711标准中的 64kbit/s， 1995年 CCITT G. 723.1标准中的 6.3 kbit/s。 移动通信中 1989年GSM标准中语音编码速率为13.2 kbit/s 1994年在为半码速GSM研究的VSELP编码算法中，码速率为5.6 kbit/s 军用通信 美国NSA标准的速率在1975年已达2.4 kbit/s 目前在实验室中已实现600bit/s的低速

14、率语音编码,特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s,已接近信息论指出的极限,信息论的主要研究成果,图像信号压缩 图像信号的信息量特别巨大，这对图像信号的传输及存储都带来极大的不便 。 1989年 CCITT提出电视电话/会议电视的压缩标准H.261,其压缩比达到25:1到48:1左右 1991年CCITT与ISO联合提出的“多灰度静止图像压缩编码”标准JPEG,其压缩比为24:1 在运动图像方面,运动图像专家组继成功定义了MPEG-1和MPEG-2之后,于1993年7月开始制订全新的MPEG-4标准。随着MPEG-4标准的不断扩展,它不但能支持码率低于64kbit/

15、s的多媒体通信,也能支持广播级的视频。,信息论的主要研究成果,降低信息传输所需的功率 在远距离无线通信,特别是深空通信中如何降低信息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。 正是在这个领域信息论获得了它第一批令人信服的成果。60年代后期起，NASA发射的所有深空探测器无一例外地在其通信设备中采取了信道编码措施,信息论的主要研究成果,计算机网中数据传输可靠性的保证 在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使传输的信息发生差错。 一般情况下，局域网中的差错率在10-8左右,广域网中的差错率在10-310-5。这样高的差错率在实际应用中是无法接受的，目前普遍采用的解决办法是带自动重发请求的差错检测码。 差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验。,