1、信 息 论,课程概况,目的：了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础特点：以信息理论为中心，区别与“信源编码”、“信道编码”以概念和物理意义为主，数学推导尽量放到课外结合通信系统实际应用,教学计划,参考书目,付祖云，朱雪龙，“应用信息论基础”，清华大学出版社吴伟陵，“信息处理与编码”，人民邮电出版社王育民等， “信息与编码理论”，西电出版社周炯槃，“信息理论基础”，人民邮电出版社McElice, The Theory of Information &Coding Proakis, Digital Communication Vi
2、terbi, Principle of Digital communication &Coding,其它有关事项,讲课:（概念、方法）自学:（数学推导、定理证明）考试：基本概念，基本计算。联系方式：email:Phone：689126158006,欢迎提出各种问题、意见和建议,是否学过信息论、信源编码或信道编码，程度如何？希望重点讲什么？希望哪些可以简略？希望增加哪些内容？对授课方式有什么意见和建议？,第一章：信息论与信息论方法概述,信息、信息科学与信息论信息论研究的对象、目的和内容信息论发展简史与现状信息论的形成与发展信息论方法的应用及其取得的成果,信息、信息科学与信息论,Informinf
3、ormation“某人被通知或告知的内容、情报、消息” 牛津英文字典广义的信息信息的形式、内容最广泛意义 技术术语的信息表达信息所用的形式或载体具体但无确切定义统计信息信息表达形式中统计方面的性质明确定义的科学名词 与内容无关、独立于形式,什么是信息？,信息、信息科学与信息论,IT -计算机所涉及的各种各样的技术 优点：笼统、不明确 适应种类繁多、不断发展 统一的、全面的、高层次的,什么是信息技术？,信息、信息科学与信息论,出现于图书馆学研究图书文献的检索计算机出现后新的含义不同国家含义不尽相同发展和长远的观点能与信息技术相对应的基础科学,什么是信息科学？,信息、信息科学与信息论,信息论统计信
4、息理论 四十年代末期C.E.Shannon，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。统计信息理论局限性不能解决一些问题 如：人工智能中启发式 搜索和学习发展的观点信息科学所不可缺少的理论 基石,什么是信息理论？,信息、信息科学与信息论,在通信中对信息的表达分为三个层次：信号、消息、信息。信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：1) 离散(数字)
5、消息，是一组未知量，可用随机序列来描述：U=(U1UlUL)2) 连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,)信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。,通信中的信息含义？,信息、信息科学与信息论,关系：信息-可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。信号-则是抽象信息在物理层表达的外延；消息-则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如
6、离散或连续)来定量描述；同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断 与通、低与高(电平)等等。,通信中的信息含义？,信息论研究的对象、目的和内容,信息论的研究范畴,信息论研究的对象、目的和内容,统计信息论对象信息传输系统,统一的通信系统模型,信息论研究的对象、目的和内容,统计信息论Shannon信息论（本课程的主要内容）主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。研究内容：1) 信源的描述，信息的定量度量、分析与计算。2) 信道的描述，信道传输的定量
7、度量、分析与计算。3） 信源、信道与通信系统之间的统计匹配，以及通信系统的优化。 Shannon的三个编码定理。信息论诞生五十年来，至今，仍然是指导通信技术发展的理论基础，是创新新通信体制的源泉。,信息论研究的对象、目的和内容,系统优化的实质就是要研究系统在不同优化指标下，两类参量（主、客观）之间的统计匹配与匹配的条件。优化的目标：系统传输最有效：对无失真信源、对限失真信源系统传输最可靠；系统传输最安全；有以上三个指标、四个方面所讨论的系统优化就构成了最著名的C. E. Shannon三个编码定理与一个密码学基本定理。,信息论研究的对象、目的和内容,工程信息论 以工程为背景，主要研究通信系统中
8、各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。研究内容主要包括：信源编、译码理论及其设计构造方法；信道编、译码理论及其设计构造方法；最佳调制与解调理论与实现；最佳检测、估值与最佳接收理论与实现；检测、估值、滤波理论最佳信息处理理论、方法与算法；均衡、模式识别、人工智能、随机控制,信息论研究的对象、目的和内容,目的找到信息传输过程的共同规律提高信息传输的可靠性、有效性、安全性可靠性：信源发出信道准确、不失真地再现于信宿有效性：尽可能短的时间、尽可能少的资源实现传送安全性：隐蔽、保护传送到消息达到信息传输系统最优化,信息论发展简史与现状信息论的形成与发展,通信技术的
9、理论基础,交通,物资运输,电网,能量（电力）运输,通信,？,信息的表现形式,通信,关心,简单、基础的广义信息,信宿不能准确再现信源时：,信息论发展简史与现状信息论的形成与发展,1948年以前Telegraph (Morse, 1830s); Telephone (Bell, 1876); Wireless Telegraph (Marconi, 1887); AM Radio (early 1900s) Single -Sideband Modulation(Carson,1922); Television (1925 -1927);Teletype (1931); Frequency Mod
10、ulation (Armstrong, 1936); Pulse-Code Modulation (PCM)(Reeves, 1937-1939); Vocoder (Dudley, 1939); Spread Spectrum (1940s).,通信技术的发展提出新的问题： 远距离传输、提高信道利用率等,信息论发展简史与现状信息论的形成与发展,Claude. E. Shannon的两篇论文 Shannon 信息论 1948年-信息时代的里程碑!“A Mathematical Theory in Communication”Shannon第一、二定理 1959年“Coding theorems
11、 for a discrete source with a fidelity criterion”. Shannon第三定理,信息论发展简史与现状信息论的形成与发展,1948年以后，调制解调 Digital Modulation: BPSK, QPSK, QAM,FH, DS, FDMA, TDMA, CDMA 空间时间自适应处理、智能天线技术 多用户检测、干扰抑制技术 多载波和OFDM,信息论发展简史与现状信息论的形成与发展,1948年以后，信源编码 Huffman, Fano Code (1950); 波形编码：PCM, DM, DPCM; 语音参量编码; 图象编码：DCT, 帧间预测插值
12、, 运动补偿 数据压缩编码 语音编码标准 图象编码标准,信息论发展简史与现状信息论的形成与发展,1948年以后、信道编码 Hamming Code, Cyclic Code (1950); Convolution Code (Fano, Viterbi, 1950); BCH Code, Reed Solumn Code (1959) 级连码（内码：RS码+外码：卷级码） Trellis coded Modulation (1976, 1982) Turbo Code (1993) (10-5，0.5dB) LDPC (Gallager,1963) (10-6, 0.04dB),信息论发展简史与现状信息论的形成与发展,统计数学的一个分支Fiser信息量、 Shannon熵、率失真理论 熵、阶熵、次熵、熵等信号与信息处理的一般理论基础密码学、最大熵谱估计、最大熵准则等,信息论发展简史与现状信息论方法的应用及其取得的成果,语音信号压缩：64Kbps-100bps-(极限）,信息论发展简史与现状信息论方法的应用及其取得的成果,降低信息传输所需的功率,信息论发展简史与现状信息论方法的应用及其取得的成果,
