1、第一章 概论1.1 信息论的概念信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：( 或称为符号 )是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽
2、象为两大类型： 离散( 数字)消息，是一组未知量，可用随机序列来描述：U=(U1 Ul UL)连续( 模拟)消息，也是未知量，它可用随机过程来描述：U(t,) 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。 理解：信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等) 来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)
3、来定量描述。同样，同一信号形式，比如“0” 与“1” 可以表达不同形式的信息，比如无与有、断与通、低与高( 电平) 等等。 信息是宇宙中除物质和能量外的第三个“要素” 。人们对于信息的了解，比对于物质和能量的了解晚了许多。信息的特性：信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。 广泛性客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 抽象性信息是组成客观世界并促进社会发展的最基本的三大要素之一。三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc 2，物质可转换成能量，而能量又是改造客观世界的主要动力。1信息与物质、能量同属于宇
4、宙。2信息源于宇宙世界，用于（生命）精神世界。3信息具有伴随物质和能量的普遍性。4信息具有可度量性。5信息具有可创造性。6. 信息具有无耗性。7信息具有可传递性。8信息具有可存储性。9信息具有不增性。10信息具有相对性。11信息具有时效性。 12信息具有催化性。 13信息具有可加工性。 14信息具有排序性。 15信息具有理想性。 16信息的体积无限小。17信息具有独立性。 18信息具有无限性。 人们对信息的认识过程，至今尚未形成一个对信息的公认的、确切的定义。 香农信息 (概率信息 )信息是事物运动状态或存在方式的不确定性的描述。在通信系统中形式上传输的是消息，但实质上传输的是信息信源 信宿信
5、道消息干扰或噪声（发信者 ）（收信者）样本空间：某事物各种可能出现的不同状态，即所有可能选择的消息的集合。对于离散消息的集合，概率测度是对每一个可能选择的消息指定一个概率。一个样本空间和它的概率测度称为一个概率空间。表示：X，P在离散情况下：其中， 为选择符号 作为消息的概率，称为先验概率消息（符号）的 ai 自信息：后验概率：条件概率 p(ai/bj) )(,)(),)(21qaPaPxXi i)(1log)(ii PaI接收端收到消息（符号）bj 后而发送端发的是 ai 的概率。 互信息：先验的不确定性减去尚存在的不确定性（收信者获得的信息量）1.2 信息的分类从各种不同角度对信息进行分类
6、：1按层次分类，信息可分为：语法信息，语义信息和语用信息。2按时域性质分类，信息可分成：离散信息、连续信息。3按符号数分类，信息又可分成：二元信息、多元信息。4按专业分类，信息又可分成：自然信息，社会信息，科技信息，文艺信息，经济信息等。5按传递方向分类，信息又可分成：前馈信息和反馈信息。6按真伪分类，信息又可分成：真实信息和虚假信息。7按价值分类，信息又可分成：有用信息)|(1log)(1log);( jiiji baPaPbaI 和无用信息。8按符号概率空间分类，信息又可分成：概率信息，突发信息，确定信息和模糊信息。从应用、来源、载体等等许多另外的角度都可以对信息进行细致分类，信息的分类很
7、复杂。1.3 信息论研究的目的和范畴1.3.1 通信系统的基本模型通信系统模型：模型共有六个部分：1信源。信源是产生消息（或称符号）的源。2编码器。编码是把信源的原始信息按一定的理论或工程要求，编成另一种消息形态，称之为信号的器件。3信道。信道是信号从信源传输到信宿的通路。4噪声源。噪声是一种无处不在的干扰源。5译码器。译码器是编码器的逆器件，译码器把信道输出的包含干扰的信号进行反变换，以恢复信源消息。6信宿。信宿是消息传送的对象，信宿一般是合法的接收者。通信的方式：1单工。2半双工。3全双工。4广播。5网络。信息传输的有效性、可靠性、保密性和认证性。1有效性：信源编码。2可靠性：信道编码。3
8、保密性：加密编码。4认证性。1.3.2 信息论研究的目的信息论研究的目的就是要使有效性、可靠性、保密性、认证性尽善尽美。1.3.3 信息论研究的范畴信息论研究的范畴主要包括：1通信的统计理论研究主要研究利用数学工具（概率论、数理统计、近世代数等）分析信息和信息传输中的统计规律，主要内容有：（1）信息的度量。（2）信源熵和信息速率。（3）信道容量。 2各种信源的统计特性研究（1）文字的统计特性。（2）语言的统计特性。（3）图像的统计特性。（4）二元信源的统计特性。 3生物感官的研究（1）听觉特性的研究。（2）视觉特性的研究。（3）脑思维特性的研究。4编码理论与技术的研究（1）有效性编码：信源编码
9、。（2）抗干扰编码：信道编码。（3）安全性编码：加密编码。 5提高信息传输效率及利用率的研究（1）节省功率。（2）频带压缩。（3）码分复用。（4）缩短传输时间。 6抗干扰理论及相关技术的研究（1）各种调制方式的抗干扰性能。（2）理想接收机的实现。7噪声中信号检测理论与技术的研究（1）信号检测的最佳准则。（2）信号最佳检测的实现。8信息论和其它学科关系的研究（1）与生物医学的关系。（2）与光学的关系。信息论的研究范畴有三个方面：基础信息论 主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。工程信息论 以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。主要包括：信源编、译码理论及其设计构造方法 信道编、译码理论及其设计构造方法 最佳调制与解调理论与实现 最佳检测、估值与最佳接收理论与实现 最佳信息处理理论、方法与算法 广义信息论 核心问题是拓广，有三重含义：首先是在信息含义的拓广，以语言信息为例：其次是在描述方法上的拓广 最后是用途上的拓广
