1、信息理论与编码,第1章 绪论许海霞 xu_,绪论,课程名称：信息理论与编码课程内容：熵和互信息（1.）信源编码（3.5.）信道编码（4.7.8.9.）先修课： 概率论、线性代数 、通信原理,学习要求 按时上课、关闭手机 随堂消化、记好笔记考核办法 课堂表现+最终成绩,“通信的基本问题就是在一点准确地或近似地再现从另一点选择出来的消息”。 The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at
2、 another point. 这是数学家香农(Claude E.Shannon)在他的惊世之著通信的数学理论中的一句名言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论.,伟大的科学家香农,伟大的科学家香农,香农于1916 年4月30日出生于美国密歇根州的Petoskey ，并且是爱迪生的远亲戚。 1936 年毕业于密歇根大学并获得数学和电子工程学士学位，在那里他遇到了离散数学奠基人乔治布尔，上过他的课程。 1940年获得麻省理工学院(MIT)数学博士学位和电子工程硕士学位。 1941年他加入贝尔实验室数学部，工作到1972 年。 1956年他成为麻省理工学院
3、(MIT)客座教授，并于1958年成为终生教授，1978年成为名誉教授。 香农博士于2001年2月24日去世，享年84岁。,伟大的科学家香农,香农于1940年在普林斯顿高级研究所(The Institute for Advanced Study at Princeton)期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6月和10月在贝尔系统技术杂志(Bell System Technical Journal)上连载发表了他影响深远的论文通讯的数学原理。1949年，香农又在该杂志上发表了另一著名论文噪声下的通信。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模
4、型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。,香农的贡献,1948年发表“通信的数学理论”，标志着信息论的诞生； 1949年发表“噪声下的通信”，为信道编码奠定了理论基础； 1949年发表“保密通信的信息理论”，首先用信息论的观点对信息保密问题做了全面论述 1959年发表“保真度准则下的离散信源编码定理”，提出信息率失真理论，为信源压缩编码研究奠定理论基础。,信息论基础的重要性,信息论是信息科学和技术的基本理论，是信息科学大厦的地基； 没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情； 总
5、之，信息论是高层次信息技术人才必不可少的基础知识。,教学目标,充分理解、掌握教材的内容 熟练掌握基本的信息理论概念和定理 熟练掌握通信与信息工程中基本研究对象的数学描述 通过学习和习题练习，具备一定的解决问题分析问题的能力 掌握一定的科学思想方法（用信息论的思想和观点）,信息的一般概念,当代文明的三大支柱信息、材料、能源 信息的产生与传播人类社会在互通情报的实践过程中产生的 烽火狼烟 花朵色彩 照片 电话 短信 卫星云图 信息的五次变革1.声音、手势、语言 2.文字符号 3.印刷术 4.电磁波 5.计算机与通信完美结合,信息科学 信息时代 感测技术（信息获取）信息技术 通信技术（信息传输）计算
6、机技术（信息处理）自动控制技术（信息施效）,信息是什么？信息与消息不完全等同主观 客观 通信中传输的是信号，信号是消息的载体，消息中未知成分是信息。,香农理论信源信宿全过程收、发端联合最优化重点是编码。 维纳理论重点在接收端。研究一个信号如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰时，在接收端怎样把它恢复、再现，从干扰中提取出来。（最佳接收）,狭义信息论/经典信息论/香农信息论 一般信息论研究信息传输和处理问题。除香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论。 广义信息论不仅包括一般信息论内容，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学、语义学、社会学、经济管理中有关信息的问题。,信息科学的发展,概率论回顾,随机变量 分别取值于集合 和,当X,Y相互独立时,重点,通信的基本问题/本质是什么？信息的含义香农信息论研究的核心问题概率论相关知识,
