1、1,第二章 离散信源及其信息测度,第一节 信源的数学模型及分类,第二节 离散信源的信息熵,第三节 信息熵的基本性质,第四节 离散无记忆的扩展信源,第五节 离散平稳信源,第六节 马尔可夫信源,第七节 信源剩余度与自然语言的熵,2,3,第一节 信源的数学模型及分类,一、信源分类： 根据消息在时间/空间和幅度取值是否连续分类：,4,信源分类,5,离散信源分类,6,离散信源分类,7,离散信源分类,8,离散信源的数学模型,9,第二节 离散信源的信息熵,10,信息的度量,11,信息的度量,12,自信息,13,自信息,14,自信息,15,自信息,16,自信息,例2.1 从英文字母中任意取一个字母的信息是多少
2、？,例2.2 设随机选择一个m位的二进制串，该m位串包含 多少信息？,例2.3 设每一页书包含100个字符，每个字符从26个字 母中等概率选取，一页书包含的信息是多少？两页书包 含的消息又是多少？,请思考课后习题2.5,17,信息熵（或信源熵）,请使用熵的定义再次计算课后习题2.5,18,信息熵（或信源熵）,19,信息熵（或信源熵）,20,信息熵（或信源熵）,21,信息熵（或信源熵）,22,第三节 信息熵的基本性质,23,信息熵的基本性质,24,信息熵的基本性质,25,信息熵的基本性质,3.,26,信息熵的基本性质,等概率分布信源的平均不确定性为最大。 称为最大离散熵定理。,27,信息熵的基本
3、性质,4.扩展性,说明：信源的消息数增多时，若这些消息发生的概率很小（接近于0），则信源的熵不变。,28,信息熵的基本性质,5.可加性,29,信息熵的基本性质,30,信息熵的基本性质,31,信息熵的基本性质,32,信息熵的基本性质,利用强可加性-1来理解强可加性-2,33,举例,一个班共有40人，其中男生30人，女生10人；男生 中身高在1.6-1.7之间的有5人，在1.7-1.8之间的有20人， 在1.8以上的有5人；女生中身高在1.5-1.6之间的有3人， 在1.6-1.7之间的有5人，在1.7以上的有2人。求该信源 的熵。,34,信息熵的基本性质,7.递增性,35,信息熵的基本性质,例：
4、,36,信息熵的基本性质,37,正因为熵函数具有上凸性，所以熵函数具有极值和最大值存在。,38,信息熵的基本性质,39,第四节 离散无记忆的扩展信源,前面讨论的只是最简单的离散信源，即信源每次输出只是单个符号的消息。实际信源输出的消息往往是时间上或空间上的一系列符号。如电报系统，序列中前后符号间一般是有统计依赖关系的。如在电报系统中，我们可以把两个二元数字看成一组，会出现四种可能情况：00、01、10和11，我们可以把这四种情况看成一个新的信源,称为二元无记忆信源的二次扩展信源；相应的，如果把N个二元数字看成一组，则新的信源称为二元无记忆信源的N次扩展信源。,40,一般情况 设一个离散无记忆信
5、源为：,则该信源的N次扩展信源为：,第四节 离散无记忆的扩展信源,式中，每个 是对应于某一个由N个 组成的序列。,41,其中：,根据信息熵的定义：,可以证明，对于离散无记忆的扩展信源,第四节 离散无记忆的扩展信源,42,例: 有一离散无记忆信源 而,2次扩展信源为：,信源的9个符号为：,求其二次扩展信源的熵。,43,其概率关系为 :,计算可知,推广：信源 每个输出符号 含有的平均信息量为,44,第五节 离散平稳信源,1、离散平稳信源的数学定义,所谓平稳随机序列，就是序列的统计性质与实践的 推移无关，即信源所输出的符号序列的概率分布与 时间起点无关。,45,一维离散平稳信源,具有这样性质的信源称
6、为一维离散平稳信源。,46,二维离散平稳信源,若信源输出的随机序列 同时还满足二维联合概率分布也与时间起点无关，即,则信源称为二维离散平稳信源。,表示任何时刻信源连续输出两个符号的联合概率分布 也完全相等。,47,二维平稳信源及其信息熵,最简单的平稳信源二维平稳信源，信源发出序列中只有前后两个符号间有依赖关系，我们可以对其二维扩展信源进行分析。 二维离散平稳信源的概率空间:连续两个信源符号出现的联合概率分布为：,48,已知符号 出现后，紧跟着 出现的条件概率为：,由二维离散信源的发出符号序列的特点可以把其分 成每两个符号一组，每组代表新信源 中的一个 符号。并假设组与组之间是统计独立的，互不相
7、关的。,得到一个新的离散无记忆信源 ，其联合概率空间为：,二维平稳信源及其信息熵,49,根据信息熵的定义，可得： （1）联合熵,可以表征信源输出长度为2的平均不确定性，或所含有的信息量。因此可以用 作为二维平稳信源的信息熵的近似值。,二维平稳信源及其信息熵,50,(2)条件熵,则：,二维平稳信源及其信息熵,表示：当前面一个符号已知时，再输出后面一个符号的 总的平均不确定性。,51,另外还可以得到：,只有信源统计独立时等号成立。 这里 都取自同一概率空间X且信源是平稳的，则有,可以证明：,二维平稳信源及其信息熵,52,例题,53,联合熵与条件熵,54,联合熵与条件熵,55,56,57,58,59
8、,60,61,62,63,联合熵与条件熵,64,联合熵与条件熵,65,3、离散平稳信源的极限熵,平均符号熵,对于一般的离散平稳有记忆信源，假设信源符号 之间的依赖长度为N，为了计算离散平稳信源的信息 熵， N长的信源符号序列中平均每个信源符号所携带 的信息量为：,66,条件熵,有以下几点性质：,（1）条件熵随N的增加是非递增的（2）N给定时，平均符号熵大于等于条件熵（3）平均符号熵随N的增加是非递增的（4）,称 为极限熵。,67,可以证明，对于二维离散平稳信源，条件熵等于极限熵，因此条件熵就是二维离散平稳信源的真实熵。对于一般信源，求出极限熵是很困难的，然而，一般来说，取N不大时就可以得到与极
9、限熵非常接近的条件熵和平均符号熵，因此可以用条件熵和平均符号熵来近似极限熵。,3、离散平稳信源的极限熵,68,第六节 马尔可夫信源,在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前边已经发出的若干个符号有关，而与更前面的符号无关。为了描述这类信源除了信源符号集外还要引入状态集。这时，信源输出消息符号还与信源所处的状态有关。,69,信源状态和符号集,设符号集为X 和状态为S。信源输出的信息符号还与信源所处的状态有关。状态SE1,E2,Ej符号Xx1,x2, ,xn每一时刻信源发出一个符号后，所处的状态将发生转移。 信源输出的随机符号序列为 X1,X2, ,Xl
10、-1,Xl, 信源所处的随机状态序列为 S1,S2, ,Sl-1,Sl, ,70,（1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关。即,当符号输出概率与时刻L无关，称为具有时齐性。即,第六节 马尔可夫信源,若一个信源满足下面两个条件，则称为马尔可夫信源：,71,（2）信源的下一个状态由当前状态和下一刻的输出唯一确定。,条件（2）表明，若信源处于某一状态 ，当它发出一个符号后，所处的状态就变了，一定转移到另一状态。状态的转 移依赖于发出的信源符号，因此任何时刻信源处 在什么状态完全由前一时刻的状态和发出的符号决定。,第六节 马尔可夫信源,72,状态转移图,马尔可夫链的
11、状态转移图：每个圆圈代表一种状态，状态之间的有向线代表某一状态向另一状态的转移。有向线一侧的符号和数字分别代表发出的符号和条件概率。,73,举 例,例2.2.3 设信源符号 Xx1, x2, x3 ，信源所处的状态Se1, e2, e3, e4, e5 。各状态之间的转移情况由图2.2.1给出。,74,将图中信源在ei状态下发送符号xk 的条件概率p(xk /ei)用矩阵表示 由矩阵看出：,由图中看出：,由图中可得状态的一步转移概率： 该信源满足马尔可夫信源定义。,75,第七节 信源剩余度与自然语言的熵,对一般离散平稳信源，H就是极限熵。理论上只要有传送H的手段，就能把信源包含的信息全部发送出
12、去。但实际上确定H非常困难，只好用实际信源熵Hn来代替。 而HnH，所以在传输手段上必然富裕，这样做很不经济，特别是有时只能得到H1，甚至H0，就更不经济。这种浪费是由信源符号的相关性引起的。,76,信源熵的相对率 ：为了衡量符号间的相互依赖程度，定义信源极限熵与实际熵的比值为信源熵的相对率：= H/Hn 信源冗余度：1减去信源熵的相对率，即=1-=(Hn-H)/Hn 信息冗余In：In= Hn -H。,剩余度（冗余度）,77,信源的极限熵为H，但H很难得到，于是用Hn来表达信源。两者之差代表了冗余的信息。 I n越大，冗余度越大。冗余度可以衡量符号间的依赖程度，也表明了信源可压缩的程度。信源编码就是通过减少或消除冗余度来提高通信效率。,剩余度（冗余度）,78,自然语言的熵,（1）对于英文字母,（2）对于中文,我们可以压缩剩余度来压缩信源，提高通信的可靠性。,
