1、信息论与编码理论 第3章 离散信源,3.1 信源的数学模型,信源是信息的发源地。 信息十分抽象，要通过消息（0-1序列、汉字、字母、图像等）来研究信源。 信源可以输出多个符号，每个符号以一定的概率出现。 因此可以用概率来描述信源。,信源的数学模型,X是信源能取的符号的集合；xi是信源符号；p(xi)是信源符号出现的概率。 二进制信源： X=0,1 汉语： X=我,一,的,教,俄, 英语： X=a,b,c,x,y,z,信源的例子,数学模型 则信源的输出有可能是 111011111011001110110011101110011010110010110011011100010011 （23个0，3
2、7个1） 110101100110010001111111000010001010011000011100001101001110 （31个0，29个1）,3.2 信源的分类,信源符号彼此之间的依存关系 无记忆信源 有记忆信源,3.2.1 无记忆信源,无记忆信源：信源发出的一个个消息符号是相互独立的。 通俗来讲：前面已经出现的信源符号对后面将要出现哪个信源符号没有影响 例如：从一个袋子里摸球，50个红的、50个白的，每次摸完之后放回 则无论已经摸过的球是红的还是白的，再摸一次球，红白出现的概率都是1/2 如何用概率的方法定义无记忆信源？ 已经出现的符号对将要出现的符号的概率没有影响：p(x|y
3、) = p(x) 更确切地，设X=x1x2xM是信源发出的符号序列,3.2.2 有记忆信源,有记忆信源：信源先后发出的消息符号之间彼此依存、互不独立。 例如：自然语言、数字图像等。p(们)=0.01, p(碗)=0.01 p(们|我)=0.05, p(碗|我)=0.001 现实存在的信源多是有记忆信源 有记忆信源分类 有限记忆信源 无限记忆信源,我,们、要、的、把、看、,碗、机、水、书、框、,有限记忆信源和无限记忆信源,有限记忆信源：信源发出的消息符号只与前若干个符号的关系比较密切，与更前面符号的关系逐渐减弱，直至无关。 p(xi | xi-1 xi-2 xi-m) m叫做记忆长度 无限记忆信
4、源：信源发出的消息符号与前面出现的所有符号都有关系。 p(xi | xi-1 xi-2 xi-3 ),3.3 离散无记忆信源 3.3.1 定义及熵,定义3-1 信源X符号集为(x1, x2 , , xn)，n为信源发出的消息符号的个数，每个符号发生的概率为p(xi), i=1,2,n，这些消息符号彼此互不相关，且有则称X为离散无记忆信源。,3.3.1 信源的熵,定义3-2 信源中某个消息符号的自信息量 I(xi) = -log p(xi) 定义3-3 信源的平均自信息量（信源熵）信源熵的单位 信源符号（消息符号）的自信息量表示该符号带有多少比特的信息量 因此信源熵表示的是平均每个符号带有多少比
5、特的信息量 所以定义信源熵的单位为：比特/符号,信源输出哪个符号是不确定的,一旦输出一个符号，便消除了这种不确定性,即带来了信息,因此仍然用概率衡量信源包含的信息量的大小,信源熵的例子,例3-5 二元信源 它的熵为：二元信源的信息熵H(X)是概率p的函数，通常用H(p)表示。,信源熵的例子,例3-6,可以一个符号一个符号的来研究信源，但有时这样不能满足实际应用的需要。 汉语：更多地考察的是句子，而不是汉字。 英语：更多地考察的是单词，而不是字母。 图像：更多地考察的是整幅图像，而不是单个像素。 N次扩展信源：集合中的每一个元素是一个N维随机矢量 二进制信源： X=00,01,10,11, N=
6、2 汉语： X=我们在上课，张三睡着了，, N=5 英语： X=the, car, ear, she, you, , N=3,3.3.2 离散无记忆信源的扩展信源,3.3.2 N次扩展信源 无记忆二元信源的扩展信源,二次扩展信源（N=2）qN=4=22，q=2，N=2例如： p(01)=p(0)p(1)=p(1-p),三次扩展信源（N=3）qN=8=23，q=2，N=3例如： p(011)=p(0)p(1)p(1)=p(1-p)2,N次扩展信源的熵,定理3-1 离散无记忆信源X的N次扩展信源XN的熵等于信源X的熵的N倍，即 H(XN) = NH(X) 证明：,扩展信源熵的例子,例3-8 方法一
7、方法二,一,二,马尔可夫信源 的定义和性质,状态转移矩阵和状态转移图,三,平稳马尔可夫信源定义、判断、熵,3.4 马尔可夫信源（有限记忆信源）,1, 马尔可夫信源的定义 2, 状态转移矩阵和状态转移图等价 3，平稳马尔可夫信源的判断、熵,重点难点：,马尔可夫 简介,安德烈马尔可夫(1856-1922)，俄罗斯人。物理-数学博士。 1896年被选为圣彼得堡科学院院士。1905年被授予“功勋教授”称号。一生中最重要的研究是解释自然过程的“马尔可夫过程”。,数学上的马尔可夫过程,每个状态受前若干个状态影响的随机过程。 马尔可夫链（马氏链）性质：一环扣一环 直观理解： “将来”只与“现在”有关，而与“
8、过去”无关。 举例1：在贝努利过程中，知道第n次掷一颗骰（tu ）子时出现的点数，今后出现的点数与过去出现的点数无关。,举例2：天气转变。假设今天天气仅与昨天的天气存在概率上的关联，而与前天及前天以前的天气没有关系。 举例3：传染病和谣言的传播规律。,1. 通信技术中的马尔可夫信源,定义3-5 在信源X中，如果将要出现的符号仅与刚刚出现的m个符号有关，与更早出现的符号无关，则称X为m阶马尔可夫信源，即(3-6),m个符号看作一个整体，称为状态Station。 符号对符号序列的依赖关系就变为状态对状态的依赖关系，即(3-7),举例1：语音识别（汉字相关性） 举例2： 例题3-9 信源X=0, 1
9、, 2, 3，信源将要发出的符号是前面两个符号的和对4的余数，即得到信源发出的序列为：12310112,2 状态转移矩阵和状态转移图,转移概率（也称条件概率） 公式(3-7)pkl表示由状态Sk转移为状态Sl的概率 一步转移矩阵（简称转移矩阵） 矩阵中每行之和为1,描述马尔可夫链的数学工具,状态转移图状态转移矩阵和状态转移图一一对应，两者等价。 用描述工具定义马尔可夫信源，见书中P35定义3-7。,继续例题3-9 ，即例3-11。书中P36，P37表格3-1 结果：有的马尔可夫信源输出的状态序列与系统的初始状态有关，导致信源熵不确定，不是平稳分布。,经过K步（K趋向无穷大）转移，信源的nm个状
10、态出现的概率 p(Sj) 为一稳定值，与初始状态（时间起点）无关。 称为稳定分布，即平稳分布。 即书中P35定义3-7的两条件与“时刻”无关。,3 平稳马尔可夫信源,平稳马尔可夫信源的判定,如何判断？ 状态转移图：各个状态是互相可达的。 状态转移矩阵：存在一个正整数N，使转移矩阵PN中的所有元素均大于0。,定理3-2 遍历的马尔可夫信源是平稳马尔可夫信源。（各态历经性）,定理3-3 设P为马尔可夫信源的一步状态转移矩阵，该信源为平稳马尔可夫信源的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于0。,例3-13 设有一个二进制二阶马尔可夫信源，其信源符号集为0, 1，条件概率为 p(0
11、| 00) = p(1 | 11) = 0.8 p(1 | 00) = p(0 | 11) = 0.2 p(0 | 01) = p(0 | 10) = p(1 | 01) = p(1 | 10) = 0.5 试判断这个信源是否为平稳马尔可夫信源。 解：,平稳马尔可夫信源的熵,m阶平稳马尔可夫信源的熵是在知道了已经出现的m个符号的条件下，信源符号带有的信息量的平均值，换句话说，平稳马尔可夫信源的熵实际上是一个条件熵 （3-16）如果 则有：解方程可以求得各个p(Sj),Phase 1,Phase 2,Phase 3,求马尔可夫信源熵的步骤,判断是否为平稳马尔可夫信源。,对平稳马尔可夫信源，求出状
12、态的平稳分布,根据公式（3-16）求得马尔可夫信源的熵。,例3-14 接例3-13，求该平稳马尔可夫信源的熵。 解：例3-13中已经求出该信源为平稳信源。 设S = p(00) p(01) p(10) p(11)，有解得 因此信源熵,对无限记忆信源，记忆长度无限，此时的熵叫做极限熵 极限熵又叫做实际熵,P40 即当前符号实际上能够带给我们的信息量。,极 限 熵,3.5 离散平稳信源,如果信源输出各个符号的概率与时间无关，即 则称此信源为一维平稳信源。 如果信源输出长度为N的符号序列的概率与时间无关，即则称此信源为N维平稳信源。,平稳信源的熵,平稳信源输出的长度为N的符号序列的联合熵为长度为N的
13、信源符号序列中平均每个符号所携带的信息量为平均符号熵，即设信源符号序列之间的记忆长度为N，若已知前面N1个符号，则第N个符号所携带的平均信息量为条件熵，即,性质,1. 性质1的含义是：我们知道的条件越多，越容易判断事件的结果 2. 3. 4. 性质2、3、4说明，当平稳信源输出的符号序列长度达到无限大时，平均符号熵HN(X)和条件熵H(XN | X1X2XN1)都非递增地收敛于平稳信源的极限熵。,3.6 信源的相关性和剩余度 相关性,H(XN|X1, XN-1)H(XN-1|X1, XN-2) H(XN-2|X1, XN-3)H(X2|X1)H(X1) 输出符号等概率分布时，熵最大，记H0=l
14、og q。 因此：H0H1H2H3H4，这就是信源的相关性。 含义：由于信源符号间存在依赖关系，信源输出的符号越多，越容易判断将要输出的符号是什么，即信源熵（不确定性）越小。 更通俗讲，就是知道的条件越多，越容易判断结果。,剩余度,【熵的相对率的定义】信源实际的信息熵与具有同样符号集的最大熵的比值，也称为相对熵率或信源效率。,【剩余度的定义】剩余度，也称冗余度，或多余度1减去相对熵率所得之差。,剩余度产生的原因,信源符号分布的不均匀性。当信源发出符号之间相互统计独立，不存在统计依赖关系，并等概率分布时信源熵最大，每发一个符号提供最大的平均信息量。而实际应用中大多是不均匀分布，使得实际熵减小。,
15、剩余度和熵的关系,剩余度R越大，实际熵H越小。说明信源符号之间的依赖关系越强，即符号之间的记忆长度越长。,剩余度和熵的关系,剩余度R越小，表明信源符号之间依赖关系越弱，即符号之间的记忆长度越短。,剩余度和熵的关系,当剩余度等于零时，信源的信息熵就等于最大值H0，这表明信源符号之间不但统计独立无记忆，而且各符号还是等概率分布。 【剩余度的物理意义】剩余度R表示给定信源在实际发出消息时所包含的多余信息，是衡量离散平稳有记忆信源符号间依赖程度大小的尺度。,剩余度的物理意义,在实际通信系统中，从提高信息传输效率（通信的有效性）的角度出发，总是希望减少或消除剩余度，往往需要把信源的大量冗余进行压缩，这是
16、信源编码的作用。,【举例1】,在发中文电报时，为了节约经费和时间，总是设法在能表达自己基本意思的前提下，尽量把电文写得简短些。比如把“中华人民共和国”压缩成“中国”，可以将电文的剩余度大大减小，通信的有效性也随之提高。,剩余度的物理意义,从提高信息抗干扰能力（通信的可靠性）来看，总是希望信源增加或保留一定的剩余度。因此在传输之前通常加入某些特殊的剩余度，这是信道编码。 在通信系统中，除了在传输或恢复信息时所必须的最少消息外，其他的符号或系统都是剩余的。,【举例】,要求传送两个可能的消息“是”、“否” ，用编码“+-”、“+-+-+”，这个信源的剩余度就很高，因为同样的消息只需用“+”和“-”来
17、表示即可。,剩余度的物理意义,剩余度的用途 剩余度大的消息具有强的抗干扰能力。 当干扰使消息在传输过程中出现错误时，能通过前后字之间的关联关系纠正错误。,【举例】,收到电文“华人民和国”，很容易纠正为“中华人民共和国”。 若发的是压缩后的电文“中国”，而接收端收到的是“国”，就不知道电文是“中国”、“美国”、“英国”还是“德国”。 若收到的电文是“中”，则原文有可能是“中国”、“中立”、“中心”,剩余度的物理意义,从提高抗干扰能力角度出发，总希望增加或保留信源的剩余度。,本章小结,信源可以从不同的角度分类。重点研究的是: 平稳无记忆信源、平稳有记忆信源、 平稳无记忆信源相对简单，给出了信源及扩展信源的模型和熵。 平稳有记忆信源中重点研究平稳有限记忆信源，即平稳马尔可夫信源。包括m阶马尔可夫信源的定义、状态转移矩阵、状态转移图、熵（包括熵的求解方法）。 最后是信源的相关性和剩余度。,
