1、第 2 章 基本信息论信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。Shannon 信息论的中心问题“信息论”，又称为“通信的数学理论 ”，是研究信息的传输、存储、处理的科学。信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。（具体地说，就是信源编码和信道编码。以下来看所要解决的具体问题。 ）问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：无尽的天空。因此优先捡有用的发送）问题二：信道因干扰而出现差错，如何进行检错和纠错。 第一个重要概念：信道上传送的是随机变量的值。注意：（1）这就是说，我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。（2）消
2、息随机变量有一个概率分布。（3）消息随机变量的一个可能取值就称为一个事件。 第二个重要概念：事件发生的概率越小，此事件含有的信息量就越大。 （不太可能发生的事件竟然发生了，令人震惊）例 事件“ 中国足球队 3：0 力克韩国足球队”含有的信息量大。 （小概率事件发生了，事件信息量大）例 事件“ 中国足球队 0：1 负于韩国足球队”含有的信息量小。 （大概率事件发生了，事件信息量小）第三个重要概念：消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。例 消息随机变量 X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量 X 含有的信息量小。（随机性小，可预见性大，因此该消息随机变量含有
3、的信息量小。 ）例 消息随机变量 X=“意大利足球队与德国足球队比赛的结果”，则消息随机变量 X 含有的信息量大。（随机性大，可预见性小，因此该消息随机变量含有的信息量大。 ） 第四个重要概念：两个消息随机变量的相互依赖性越大，它们的互信息量就越大（这里指的是绝对值大） 。例 X=西安明日平均气温 , Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则X 与 Y 互信息量大，X 与 Z 互信息量小得多，X 与 W 互信息量几乎为 0。 信息的可度量性-建立信息论的基础；信息度量的方法:结构度量统计度量语义度量模糊度量等；统计度量：用事件统计发生概率的对数来描述事物的不确定性，
4、得到消息的信息量，建立熵的概念；熵概念是香农信息论最基本最重要的概念。离散信源：可能输出的消息是有限的或可数的，每次只输出一个消息，即两两不相容。连续信源：可能输出的消息数是无限的或不可数的，每次只输出一个消息。离散无记忆信源：离散信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。离散无记忆信源 X 的 N 次扩展信源：由离散无记忆信源输出 N 长的随机序列构成的信源。有记忆信源：输出的随机序列 X 中各随机变量之间有依赖关系，但记忆长度有限。m 阶马尔可夫信源：信源每次发出的符号只与前 m 个符号有关，与更前面的符号无关。X，Y 代表随机变量，指的是信源整体；xi,yi 代表随机事件的
5、某一结果或信源的某个元素。不可混淆!概率复习 mjjijiijnijijiji jijiiji jij jijijiji mj ijiniji jnijimj ijni jimjjnii jiijjijii niyxpxypxpyxp yxyYXxppyxpyxypxyp yxyppxpxpyy xxYX11111111121 21 )()/(,)()/()6( (),(/ ),/()5( /()/)()(4 )(,)3( )(,)/( ,1)/(,)(,)()( )(,/,/,0:, ,相 互 独 立 时与当和 分 别 取 值 于 集 合随 机 变 量 信 源编 码 器 信 道编 码 器 信
6、 道 信 道译 码 器 信 源译 码 器干 扰 源信 源 信 宿将（3）代入（6）得到实用公式。2.1 信源及信源的不确定性实际有用的信源应具有不确定性(也称为不肯定性) 。2.1.1 不确定性的概念例 2.1.1如某二元信源 (含有两个不同消息的信源) 发送 1 的概率为 0.99，而发送 0 的概率为 0.01，信宿仅凭猜测就可以简单地认为信源发出的消息始终都是 1，即使如此，猜错的概率( 差错率 )也可以较低，仅为百分之一。说明在这种情况下，信源基本上在发送 1，信源的不确定性很小。例 2.1.2如果二元信源发 1 和发 0 的概率相等，均为 0.5，这时信宿如果不依赖通信而猜测的话，其
7、差错率就高达百分之五十，即会猜错一半。说明信宿要猜测信源发什么消息困难了，因为信源发什么消息相当不确定。例 2.1.3如果信源具有更多的消息，例如发 10 个阿拉伯数字 0，19（例如采用四位十进制数的中文电报）而且假定这 10 个消息是等概率分布的，均为十分之一，这对于信宿来讲更难猜了，因为现在变成了猜测 10 个消息里到底发的是哪一个的问题，显然比两个里猜一个难多了，因为信源发什么消息更不确定了。例 2.1.4现在讨论一种极端的情况。信源只发送一种消息，即永远只发送 1（信源相当于一个直流电源，例如+5V 的稳压电源）或者永远只发送 0（信源相当于一个电能耗尽，输出为 0V 的电池，或一根
8、电阻为零的短路导线） ，现在从这样的信源我们不可能获得任何消息，相当于我们从一节电池不可能获得任何例如语音或图像的信息（只可能获得能量） 。如果信源只发出一个确定的消息，则信源的不确定性为零。一个实际有用的信源应具有至少两种消息。可以用概率空间描述信源。对于信源 ，其概率空间为： XP(X) (2.1.1)各消息出现的概率满足：0p(xi)1 p(xi)=1(2.1.2)和(2.1.3)根据以上分析的四个例子可以写出对应的概率空间：例 2.1.1： 例 2.1.2：例 2.1.3： 例 2.1.4： 对上面四个例子进行归纳可得出以下有用的结论：（1）信源的不确定程度与其概率空间的消息数及其概率
9、分布有关。（2）信源的消息为等概率分布时，不确定度最大。（3）信源的消息为等概率分布且其数目越多，其不确定度也越大。（4）只发送一个确定消息的信源，其不确定度为零，这是一个实际无用的信源，因其实际上不发送任何信息。根据上面的例子，容易写出下列表示信源不确定度大小的不等式：0 = 例 2.1.4 例 2.1.1 例 2.1.2 例2.1.3 2.1.2 信源不确定度的定义哈特莱认为应该用概率空间的概率的倒数的对数来度量信源不确定度，即：H(X)=log(1/p)=-log p (2.1.4)如果信源消息不是等概率时，则用 I 来表示信源不等概率时输出一个消息所提供的信息量。现在来看哈特莱的定义是
10、否与人们的认识相一致，人们一般认为：（1）当某事件必然发生，就不存在不确定性，其不确定性为零；（2）当某事件几乎不发生（发生的概率极小）其不确定性应趋向无穷大；（3）发生概率小的事件其不确定性应比发生概率大的事件不确定性大；（4）两个互相独立事件的联合信息量应等于它们分别信息量之和。2.1.3 信息度量定义信息量的定量度量方法。用 I 表示消息提供的信息量，则： I(xi)=lg 1/p(xi) (2.1.5)称 I 为消息的自信息量，表示信源发出一个消息所带有的信息量。可以将信息量定义为：I（信息量） = 不肯定程度的减小量 (2.1.6)信宿在收信前后，其消息的概率分布发生了变化，即其概率
11、空间变了。设信源 X 的概率空间为：其不确定度为：H(X)=H(p(X) (2.1.7)信宿接收到信源发出的消息后，也形成了一个概率空间，称为信宿的概率空间 Y其不肯定程度为：H(X/Y)=H(p(X/Y) (2.1.8)根据式（2.1.6） ， （2.1.7） ， （2.1.8）可以得到信息量的表达式如下：I=H(X)-H(X/Y) (2.1.9)将式（2.1.5）代入式（2.1.9）得：(2.1.10)先 验 规 律后 验 概 率lg);(yixI信息量有三种单位：比特（bit） ，对数取 2 为底，奈特（nat） ，对数取为底，哈特莱（Hartley） ，对数取 10 为底。例 2.1.
12、5 某二元通信系统，它发送 1 和0 的概率为由于信道中有干扰。通信不能无差错地进行。即有 1/6 的 1 在接收端错成0，1/2 的 0 在接收端错成 1。问信宿收到一个消息后，获得的平均信息量是多少？2.1.4 离散信源的熵离散信源是一种仅输出有限个消息的信源。则其概率空间为：如果信道中无任何干扰，则后验概率为 1，通过无差错的通信，信宿完全消除了对信源的不确定度。 从离散信源输出的某个消息所获得的信息量为：Ij=Ii= -log p(xi) (2.1.11)信宿收到一个消息所获得的平均信息量：I 平均 =H(X) (2.1.12)把信源输出一个消息所提供的平均信息量或者信源的不确定度定义
13、为信源的熵。如果个消息中每个概率均相等，这是一种信源消息等概率分布情况，且概率 P=1/N，则：H(X)=lbN 比特 /消息(2.1.13)例 2.1.6 仍以 例 2.1.5为例，计算该信源的熵。例 2.1.7 仍以 例 2.1.5为例，计算该通信系统信宿端，消息组成的概率空间的不确定度。例 2.1.8计算分析某二元数字通信系统中输出 1，0 两个消息的信源的信源熵。例 2.1.9 计算能输出 26 个英文字母的信源的信源熵。假设各字母等概率分布，且互相独立。2.1.5 熵函数 H（X）的性质已经定义熵函数H（X）=-p(x) lb p(x) （2.1.14)1熵函数具有非负性2熵函数具有
14、确定性3熵函数是的连续函数4熵函数具有极值性最大离散熵定理H(X) lbn (2.1.16)当且仅当信源中各消息为等概率分布时，上式取等号。定理说明，当离散信源中各消息等概率分布时，可得最大熵，其值为：H(X)=lbn (2.1.19)5单调增函数6条件熵小于等于无条件熵2.1.6 加权熵的概念1234562621 222 ,()090.18.70.1.7()log6()l0.og.0.19log.0.18log.(7l)62.6/iiiXxxxPHXHXpxxbitsym 设 信 源 求 这 信源 的 熵 ， 并 解 释 为 什 么 不 满 足 信 源 熵 的 极 值 性 。解 ： 61log58()0190.8.170.6.17.01ii lpx概 率 空 间 不 满 足 归 一 化不 满 足 最 大 离 散 熵 定 理为了要引入加权熵的概念，需要确定一个非负的实数作为信源各离散消息的权重，对信源应再构建一个相应的权重空间.
