1、信息论与编码主讲： 李伟福州大学物信学院QQ： 1350162701 Tel: 13960725322第一章 绪论第二章 离散信源及其信息熵第三章 离散信道及其信道容量第四章 信息率失真函数第五章 信源编码第六章 信道编码第 1章 绪 论 内容提要信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。首先引出信息的概念，进而简述信息传输系统模型的各个组成部分，及其各部分的核心问题。1.1 信息的概念物质、能量和信息是构成客观世界的三大要素。信息是关于事物运动的状态和规律 ，其内容具有 不确定性 。通信系统中形式上传输的是消息，实质上传
2、输的是信息，消息中包含信息，消息是信息的载体。信息论 是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。1.2 信息传输系统 通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。 各种通信系统，一般可概括为图 1.1所示的统计模型：干扰源 信道信道译码器信道编码器信源译码器信源编码器信宿信源等效信源等效信宿等效干扰信道图 1-1 信息传输系统模型 这个模型包括以下五个部分：3. 信道 信道是信息传输和存储的媒介。其核心问题是信道容量的大小4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。5. 信宿 信宿是消息的接收者。2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。1.信源 信源是产生消息的源。其核心问题是信息量的大小。编码器信源编码器，提高传输效率信道编码器，提高传输可靠性
