1、4.1 波形信源的统计特性和离散化 4.2 连续信源和波形信源的信息测度 4.2 连续信源熵的性质及最大差熵定理 4.3 熵功率 4.4 连续信道和波形信道的信息传输率 4.5 高斯加性波形信道的信道容量,4.1 波形信源的统计特性和离散化,实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源，其输出消息可以用随机过程x(t)来表示。,随机过程x(t)可以看成由一族时间函数 组成 称为样本函数。每个样本函数是随机过程的一个实现。,图4.1 一个随机过程,连续信源：信源输出的消息是在时间上离散，而取值上连续的、随机的。如遥控系统中有关电压、温度、压
2、力等测得的连续数据。,随机波形信源：信源输出的消息不仅在时间上是连续的而且在取值上也是连续的、随机的。,于是定义,随机波形信源的特点：（1）随机波形信源中消息数是无限的。每一个可能的消息是随机过程的一个样本函数。每个样本函数是随机过程的一个实现。,（2）随机波形信源可用有限维概率密度函数族以及与各维概率密度函数有关的统计量来描述。,平稳随机过程：统计特性不随时间平移而变化。,非平稳随机过程：统计特性随时间平移而变化。,随机过程,时间离散的随机序列,取样定理,时间连续函数f(t)的频带受限（上限频率为F）取样间隔为,这样，通过取样，随即过程就成为可数的无限维 的随机序列 。,如果随机过程又是限时
3、的，时间间隔为T，则就,成为2FT个有限维的随机序列。取样之后还要对取 值的离散化。取样加量化才使随机过程变换成时间 的取值都是离散的随机序列。量化必然带来量化噪 声，引起信息损失。,4.2.1 连续信源的差熵,先看单个变量的基本连续信源的信息测度。基本 连续信源的输出是取值连续的单个随机变量。可用变 量的概率密度，变量间的条件概率密度和联合概率密 度来描述。,4.2 连续/波形信源的信息测度,变量的一维概率密度函数为,联合概率密度函数为,一维概率分布函数为,条件概率密度函数为,它们之间 的关系为,图4.2 概率密度分布,并满足,基本连续信源的 数学模型为,于是，连续信源的熵定义为,无限大常数
4、,单位为：奈特/自由度,同理，两个连续随机变量X、Y的联合熵和条件熵可以定义为,4.2.2 连续平稳信源和波形信源的差熵,连续平稳信源输出的消息是连续型的平稳随机序列。其数字模型是概率空间X,p(x),连续平稳无记忆信源,1.N维联合差熵,2.N维条件差熵,且当随机序列中各变量统计独立时等式成立。,所以得，波形信源的差熵,由于波形信源输出的消息是平稳的随机过程，它通过取样分解成取值连续的无穷维随机序列,对于限频F/限时T的平稳随机过程，它可以近似地 用有限维N=2FT平稳随机序列来表示。这样，一 个频带和时间都为有限的波形信源就转化为多维 连续平稳信源来处理。,4.2.3 两种特殊连续信源的差
5、熵,1.均匀分布连续信源的差熵,若限频（F）、限时（T）,均匀分布的波形信源的熵率,2.高斯信源的熵值,一维高斯 连续信源,可见，正态分布的连续信源的熵与数学期望m无关，只与其方差 有关。当均值m=0时，X的方差 就等于信源输出的平均功率P：,如果N维连续平稳信源输出的N维连续随机矢量是正态分布则称此信源为N维高斯信源。,若各随机变量之间统计独立，可得N维统计独立的正态分布随机矢量的差熵为,4.3 连续信源熵的性质及最大差熵定理,连续信源的差熵只具有熵的部分含义和性质。,1.可加性,并当且仅当X与Y统计独立时,所以可得,2.凸状性和极值性,4.3.1差熵的性质,3.差熵可为负值,在a,b区间内
6、均匀分布的连续信源,其差熵为,图4.3 空间A一一对应地映射成空间B,4.变换性,连续信源输出的随机变量（或随机矢量）通过一一对应变换，其差熵会发生变化。,结论：连续信源的差熵不具有变换的不变性。,图4.4 信息处理网络,例4.1 P154,增加熵值,4.3.2 具有最大差熵的连续信源,1. 峰值功率受限条件下信源的最大差熵,图4.5 输出幅度受限的信源当熵为最大时的概率密度分布,若当N维随机矢量受限时，也只有各随机分量统计独立，并均匀分布时具有最大熵。,2. 平均功率受限条件下信源的最大差熵,4.5 熵功率,图4.7 波形信道转化成多维连续信道,当信道的输入和输出都是随机过程 和,4.6 连
7、续信道和波形信道的分类,4.6.1 按信道输入和输出的统计特性分类,时，这个 信道称之 为波形信 道或模拟 信道,多维连续信道的输入是N维连续型随机序列 输出也是N维连续型随机序列，而信道转移概率密度函数是,图4.8 基本连续信道,基本连续信道就是输入和输出都是单个连续型随机变量的信道。,4.6.2 按噪声统计特性分类,高斯信道、白噪声信道、高斯白噪声信道和有色噪声信道,高斯白噪声信道：信道中的噪声是高斯白噪声。,低频限带高斯白噪声 可以看成是无限带宽的高斯白噪声 通过一个理想低通滤波器后所得。传递函数的频率响应为,低频限带高斯白噪声的功率谱密度为,按噪声对信号的作用功能分类,加性和乘性信道,
8、加性信道：信道中噪声对信号的干扰作用表现为与信号相加的关系。,图4.8 加性信道,在加性连续信道中， 信道的转移概率密度函 数等于噪声的转移概率 密度函数。,在加性信道中，条件熵为,4.7 连续信道和波形信道的信息传输率,4.7.1 基本连续信道的平均互信息,输入信源X为,输出信源Y为,信道的转移概率密度函数满足,基本连续信道的信息传输率为,比特/自由度,4.7.2 多维连续信道的平均互信息,信道的转移概率密度函数,多维连续信道的平均互信息,多维连续信道的信息传输率为,比特/N个自由度,比特/自由度,平均每个自由度的信息传输率为,4.7.3 波形信道的信息传输率,比特/秒,2、对称性,3、凸状
9、性,4、信息不增性,图4.10 两个串接连续信道,与离散信道的证明类似,4.7.4 连续信道平均互信息的特性,1、非负性,5、坐标变换平均互信息的不变性,图4.11 一般通信系统的信号变换,变换前后概率密度函数有,结论：在一一变换条件下，平均互信息保持不变。,信源无记忆,信道无记忆,信源信道皆无记忆,4.8 连续信道和波形信道的信道容量,一般加性波形信道的信道容量为：,比特/秒,在实际信道中，输入信号和噪声的平均功率总是有限的。现在平均功率受限的条件下，讨论各种连续信道和波形信道的信道容量。,4.8.1 单符号高斯加性信道,平均功率受限高 斯信道的信道容量,单符号高斯加性信道的输入和输出都是取
10、值连续的一维随机变量，而加入信道的噪声是加性高斯噪声。,设信道迭加的噪声n是均值为零，方差为 的一 维高斯噪声，噪声信源的熵为,单符号高斯加性 信道的信道容量,只有当信道的输入信号是均值为零，平均功率为高斯分布的随机变量时，信息传输率才能达到最大值。,4.8.5 限带高斯白噪声加性波形信道,而加入信道的噪声是加性高斯白噪声 （均值 为零、功率谱密度为 ），所以输出信号满足,此信道称为高斯白噪声加性波形信道。,信道的输入和输出信号都是随机过程,图4.14限带高斯白噪声加性信道变换成N个独立并联高斯加性信道,在0，T高斯白噪声加性信道的信道容量为,高斯白噪声加性信道单元时间的信道容量为,比特/秒,
11、其中Ps是信号的平均功率， 为高斯白噪声在带宽W内的平均功率。可见，信道容量与信噪功率比和带宽有关。这就是重要的香农公式。当信道输入信号是平均功率受限的高斯白噪声信号时，信息传输率才达到此信道容量。,把信道的统计参量（信道容量）和物理量（频带宽W、T、信噪功率比 ），联系了起来。,4.8.7 香农公式的重要实际指导意义,由香农公式得出的几个重要结论：,1.提高信号与噪声功率之比能增加信道的信道容量。,例4.4（p181）,比特/秒,2.当噪声功率 时，信道容量 ，这意味着无干扰连续信道的信道容量为无穷大。,3.增加信道带宽（也就是信号的带宽）w，并不能无限制地使信道容量增大。,令,，可得,由于
12、当,时，,，所以,比特/秒,由香农公式可以看出，当带宽W增大时，信道容量 也开始增大，当 时， 趋于一极限值。,4.信道容量一定时，带宽W、传输时间T和信噪功率比 三者之间可以相互转换。 （1）若传输时间T固定，则扩展信道的带宽W就可以降低信噪比的要求；反之，带变窄，就要增加信噪功率比。,例4.5 （p181）,注：带宽与信噪功率比互换的过程并不是自然而然地实现的，可以采用调制解调方法。,图4.16 理想系统的方框图,结论：增加带宽能明显地改善输出信噪比。,（2）如果信固定不变，则增加信道的带宽W就可以缩短传送时间T，换取传输时间的节省；或者花费较长的传输时间来换取频带的节省。（3）如果保持频带不变，我们可以采用增加时间T来改善信噪比。这一原理已被应用于弱信号接收技术中，即所谓积累法。这种方法是将重复多次收到的信号叠加起来。由于有用信号直接叠加，而干则是按功率相加，因而经积累相加后，信噪比得到改善，但所需接收时间相应增长。,
