1、通信原理第 1章绪论第 1章绪论 1. 1 通信的基本概念 通信的目的：传递 消息 中所包含的 信息 。 消息 ：是物质或精神状态的一种反映，例如语音、文字、音乐、数据、图片或活动图像等。 信息 ：是消息中包含的有效内容。 实现通信的方式和手段： 非电的：如旌旗、消息树、烽火台 电的：如电报、电话、广播、电视、遥控、遥测、因特网和计算机通信等。第 1章绪论 电信发明史 1837年：莫尔斯发明有线电报 1876年：贝尔发明有线电话 1918年：调幅无线电广播、超外差接收机问世 1936年：商业电视广播开播 后面讲述中，“通信”这一术语是指“电通信”，包括光通信，因为光也是一种电磁波。 在电通信系
2、统中，消息的传递是通过电信号来实现的。第 1章绪论 1.2 通信系统的组成 1.2.1 通信系统的一般模型 信息源 （简称信源）：把各种消息转换成原始电信号，如麦克风。信源可分为模拟信源和数字信源。 发送设备 ：产生适合于在信道中传输的信号。 信道 ：将来自发送设备的信号传送到接收端的物理媒质。分为有线信道和无线信道两大类。 噪声源 ：集中表示分布于通信系统中各处的噪声。第 1章绪论 接收设备：从受到减损的接收信号中正确恢复出原始电信号。 受信者（信宿）：把原始电信号还原成相应的消息，如扬声器等。第 1章绪论 1.2.2 模拟通信系统模型和数字通信系统模型 模拟信号和数字信号 模拟信号：代表消
3、息的信号参量取值连续，例如麦克风输出电压：t t(a) 话音信号 (b) 抽样信号图 1-2 模拟信号第 1章绪论 数字信号：代表消息的信号参量取值为有限个，例如电报信号、计算机输入输出信号： 通常，按照信道中传输的是模拟信号还是数字信号，相应地把通信系统分为模拟通信系统和数字通信系统。tt(a) 二进制信号 (b) 2PSK信号图 1-3 数字信号第 1章绪论 模拟通信系统模型 模拟通信系统是利用模拟信号来传递信息的通信系统： 两种变换：模拟消息 原始电信号（基带信号）基带信号 已调信号（带通信号）图 1-4 模拟通信系统模型第 1章绪论 数字通信系统模型 数字通信系统是利用数字信号来传递信
4、息的通信系统 信源编码与译码目的： 提高信息传输的有效性 完成模 /数转换 信道编码与译码目的：增强抗干扰能力 加密与解密目的：保证所传信息的安全 数字调制与解调目的：形成适合在信道中传输的带通信号 同步目的：使收发两端的信号在时间上保持步调一致图 1-5 数字通信系统模型第 1章绪论 1.2.3 数字通信的特点 优点 抗干扰能力强，且噪声不积累 传输差错可控 便于处理、变换、存储 便于将来自不同信源的信号综合到一起传输 易于集成，使通信设备微型化，重量轻 易于加密处理，且保密性好 缺点： 需要较大的传输带宽 对同步要求高第 1章绪论 1.3 通信系统分类与通信方式 1.3.1 通信系统的分类
5、 按通信业务分类：电报通信系统、电话通信系统、数据通信系统、图像通信系统 按调制方式分类：基带传输系统和带通（调制）传输系统调制传输系统又分为多种调制，详见书中表 1-1。 按信号特征分类：模拟通信系统和数字通信系统 按传输媒介分类：有线通信系统和无线通信系统 按工作波段分类：长波通信、中波通信、短波通信 按信号复用方式分类：频分复用、时分复用、码分复用第 1章绪论 1.3.2 通信方式 单工、半双工和全双工通信 单工 通信：消息只能单方向传输的工作方式 半双工 通信：通信双方都能收发消息，但不能同时收发的工作方式 全双工 通信：通信双方可同时进行收发消息的工作方式第 1章绪论 并行传输和串行
6、传输 并行传输 ： 将代表信息的数字信号码元序列以成组的方式在两条或两条以上的并行信道上同时传输优点：节省传输时间，速度快：不需要字符同步措施缺点：需要 n 条通信线路，成本高发送方接收方同时发送 8比特01101100第 1章绪论 串行传输 ： 将数字信号码元序列以串行方式一个码元接一个码元地在一条信道上传输优点：只需一条通信信道，节省线路铺设费用缺点：速度慢，需要外加码组或字符同步措施 其他分类方式： 同步通信和异步通信 专线通信和网通信第 1章绪论 1.4 信息及其度量 信息 ：是消息中包含的有效内容 如何度量离散消息中所含的信息量 ? 度量信息量的原则 能度量任何消息，并与消息的种类无
7、关。 度量方法应该与消息的重要程度无关。 消息中所含信息量和消息内容的不确定性有关【例】 “某客机坠毁”这条消息比“今天下雨”这条消息包含有更多的信息。上例表明：消息所表达的事件越不可能发生，信息量就越大。第 1章绪论 度量信息量的方法 事件的不确定程度可以用其出现的概率来描述：消息出现的概率越小，则消息中包含的信息量就越大。 设： P(x) 消息发生的概率，I 消息中所含的信息量， 则 P(x) 和 I 之间应该有如下关系： I 是 P(x) 的函数： I I P(x) P(x) ， I ； P(x) ， I ；P(x) = 1时， I 0； P(x) = 0时， I ； 满足上述 3条件的
8、关系式如下：信息量的定义 )()()()(2121xPIxPIxPxPI)(log)(1log xPxPIaa第 1章绪论 上式中对数的底：若 a = 2，信息量的单位称为 比特 (bit) ，可简记为 b若 a = e，信息量的单位称为奈特 (nat)，若 a = 10，信息量的单位称为哈特莱 (Hartley) 。 通常广泛使用的单位为比特，这时有(b) 【 例】 设一个二进制离散信源，以相等的概率发送数字“ 0”或“ 1”，则信源每个输出的信息含量为 在工程应用中，习惯把一个二进制码元称作 1比特)(log)(1log xPxPIaa221log log ( )()I PxPx)b(12
9、log2/11log)1()0(22 II第 1章绪论 若有 M个等概率波形（ P = 1/M），且每一个波形的出现是独立的，则传送 M进制波形之一的信息量为 若 M是 2的整幂次，即 M = 2k，则有当 M = 4时，即 4进制波形， I = 2比特，当 M = 8时，即 8进制波形， I = 3比特。)b(log/11log1log222MMPI 2log 2 ( )kIkb第 1章绪论 对于非等概率情况设：一个离散信源是由 M个符号组成的集合，其中每个符号 xi(i = 1, 2, 3, , M)按一定的概率 P(xi)独立出现，即且有则 x1 , x2, x3, xM 所包含的信息量
10、分别为于是，每个符号所含平均信息量为由于 H(x)同热力学中的熵形式相似，故称它为信息源的 熵 1212,MMxx xPx Px PxLL1() 1MiiPx21 22 2log () log () log ()MPx Px Px L，121 222 221() ()log () ()log () ( )log ( )()g () ( / (1.46)MMMiiiHx Px Px Px Px Px PxPxlo Px L比特 符号）第 1章绪论 【 例 1】 一离散信源由“ 0”，“ 1”，“ 2”，“ 3”四个符号组成，它们出现的概率分别为 3/8， 1/4， 1/4， 1/8，且每个符号的
11、出现都是独立的。试求某消息2010201302130 01203210100321010023102002010312032100120210的信息量。【解】 此消息中，“ 0”出现 23次，“ 1”出现 14次，“ 2”出现 13次，“ 3”出现 7次，共有 57个符号，故该消息的信息量每个符号的算术平均信息量为)b(1088log74log134log143/8log232222I符号）比特符号数/(89.157108II第 1章绪论若用熵的概念来计算：则该消息的信息量以上两种结果略有差别的原因在于，它们平均处理方法不同。前一种按算数平均的方法，结果可能存在误差。这种误差将随着消息序列中符
12、号数的增加而减小。当消息序列较长时，用熵的概念计算更为方便。符号）（比特 /906.181log8141log4141log4183log832222H)b(64.108906.157 I第 1章绪论 连续消息的信息量关于连续消息的信息量可以用概率密度函数来描述。可以证明，连续消息的平均信息量为式中， f (x) 连续消息出现的概率密度。 () logaH x f x f xdx第 1章绪论 1.5 通信系统主要性能指标 通信系统的主要性能指标：有效性和可靠性 有效性：指传输一定信息量时所占用的信道资源（频带宽度和时间间隔），或者说是传输的“速度”问题。 可靠性：指接收信息的准确程度，也就是传
13、输的“质量”问题。 模拟通信系统： 有效性：可用有效传输频带来度量。 可靠性：可用接收端最终输出信噪比来度量。第 1章绪论 数字通信系统 有效性：用传输速率和频带利用率来衡量。 码元传输速率 RB：定义为单位时间（每秒）传送码元的数目，单位为波特（ Baud），简记为 B。式中 T 码元的持续时间（秒） 信息传输速率 Rb：定义为单位时间内传递的平均信息量或比特数，单位为比特 /秒，简记为 b/s ，或 bps )B(1TRB第 1章绪论 码元速率和信息速率的关系或对于二进制数字信号： M = 2，码元速率和信息速率在数量上相等。对于多进制，例如在八进制（ M = 8）中，若码元速率为 120
14、0 B，则信息速率为 3600 b/s。)b/s(log2MRRBb)B(log2MRRbB第 1章绪论 频带利用率：定义为单位带宽（ 1赫兹）内的传输速率，即或 可靠性：常用误码率和误信率表示。 误码率 误信率，又称误比特率在二进制中有)B/Hz(BRBHz)b/(sBRbb传输总码元数错误码元数eP传输总比特数错误比特数bPebPP 第 1章绪论 1.6 小结 通信的目的、电信发明史 通信系统的模型 数字信号、模拟信号，基带信号、已调信号（带通信号、频带信号） 数字通信特点 通信系统分类 单工、半双工、全双工通信，并行传输和串行传输 信息及其度量 通信系统的有效性和可靠性通信原理第 2章确
15、知信号第 2章确知信号 2.1 确知信号的类型 按照周期性区分： 周期信号：T0信号的周期， T0 0 非周期信号 按照能量区分： 能量信号：能量有限， 功率信号： 归一化功率： 平均功率 P为有限正值： 能量信号的功率趋于 0，功率信号的能量趋于 tTtsts ),()(0dttsE )(022/2/2)(1limTTTdttsTP2222/ IVRIRVP 第 2章确知信号 2.2 确知信号的频域性质 2.2.1 功率信号的频谱 周期性功率信号频谱（函数）的定义式中， f0 1/T0， n为整数， - 2时， 2211)(axerfcxF22() 1 ()txerfc x erf x e
16、dt 21()xerfcx ex36第 3章随机过程 用 Q函数表示正态分布函数： Q函数定义： Q函数和 erfc函数的关系： Q函数和分布函数 F(x)的关系： Q函数值也可以从查表得到。2/21()2txQx e dt221)(xerfcxQ )2(2)( xQxerfc axQaxerfcxF 12211)(37第 3章随机过程 3.4 平稳随机过程通过线性系统 确知信号通过线性系统 （复习） ：式中 vi 输入信号， vo 输出信号对应的傅里叶变换关系： 随机信号通过线性系统： 假设： i(t) 是平稳的输入随机过程，a 均值，Ri() 自相关函数，Pi() 功率谱密度；求输出过程
17、o(t)的统计特性，即它的均值、自相关函数、功率谱以及概率分布。 dtvhtvthtvii)()()()()(0)f()f()f(0 iVHV dthti)()()(038第 3章随机过程 输出过程 o(t)的均值对下式两边取统计平均：得到设输入过程是平稳的 ，则有式中， H(0)是线性系统在 f = 0处的频率响应，因此输出过程的均值是一个常数。 dthti)()()(0 dtEhdthEtEii)()()()()(0atEtEii )()( )0()()(0HadhatE 39第 3章随机过程 输出过程 o(t)的自相关函数： 根据自相关函数的定义根据输入过程的平稳性，有于是上式表明 ,输
18、出过程的自相关函数仅是时间间隔 的函数。由上两式可知，若线性系统的输入是平稳的，则输出也是平稳的。ddttEhhdthdthEttEttRiiii)()()()()()()()()()(),(11111010110)()()(11 iiiRttE)()()()(),(0110 RddRhhttRi40第 3章随机过程 输出过程 o(t)的功率谱密度对下式进行傅里叶变换：得出令 = + - ，代入上式，得到即结论：输出过程的功率谱密度是输入过程的功率谱密度乘以系统频率响应模值的平方。应用：由 Po( f )的反傅里叶变换求 Ro() )()()()(),(0110 RddRhhttRi deRf
19、Pj)()(00 deddRhhji)()()( 0)()()()( deRdehdehfPjijj)()()()()()(20fPfHfPfHfHfPii41第 3章随机过程 输出过程 o(t)的概率分布 如果线性系统的输入过程是高斯型的，则系统的输出过程也是高斯型的。因为从积分原理看，可以表示为：由于已假设 i(t)是高斯型的，所以上式右端的每一项在任一时刻上都是一个高斯随机变量。因此，输出过程在任一时刻上得到的随机变量就是无限多个高斯随机变量之和。由概率论理论得知，这个“和” 也是高斯随机变量，因而输出过程也为高斯过程。注意，与输入高斯过程相比，输出过程的数字特征已经改变了。kkkkih
20、ttk)()(lim)(000 dthti)()()(042第 3章随机过程 3.5 窄带随机过程 什么是窄带随机过程？若随机过程 (t)的谱密度集中在中心频率fc附近相对窄的频带范围 f 内，即满足 f 30 MHz 距离 : 和天线高度有关(4.1-3)式中， D 收发天线间距离 (km)。例 若要求 D = 50 km，则由式 (4.1-3) 增大视线传播距离的其他途径 中继通信： 卫星通信：静止卫星、移动卫星 平流层通信：ddh接收天线发射天线传播途径D地面rr图 4-3 视线传播图 4-4 无线电中继第 4章信道50822DrDh mm505050508222DrDh8图 4-7 对
21、流层散射通信地球有效散射区域第 4章信道 散射传播 电离层散射机理 由电离层不均匀性引起频率 30 60 MHz距离 1000 km以上 对流层散射机理 由对流层不均匀性（湍流）引起频率 100 4000 MHz最大距离 600 km9第 4章信道 流星流星余迹散射流星余迹特点 高度 80 120 km，长度 15 40 km存留时间：小于 1秒至几分钟频率 30 100 MHz距离 1000 km以上特点 低速存储、高速突发、断续传输图 4-8 流星余迹散射通信流星余迹10第 4章信道 4.2 有线信道 明线11第 4章信道 对称电缆：由许多对双绞线组成 同轴电缆图 4-9 双绞线导体 绝缘
22、层导体金属编织网保护层实心介质图 4-10 同轴线12第 4章信道 光纤 结构 纤芯 包层 按折射率分类 阶跃型 梯度型 按模式分类 多模光纤 单模光纤折射率n1n2折射率n1n27 10125折射率n1n2单模阶跃折射率光纤图 4-11 光纤结构示意图(a)(b)(c)13损耗与波长关系 损耗最小点： 1.31与 1.55 m第 4章信道0.7 0.9 1.1 1.3 1.5 1.7光波波长（ m）1.55 m1.31 m图 4-12光纤损耗与波长的关系14第 4章信道 4.3 信道的数学模型 信道模型的分类： 调制信道 编码信道编码信道调制信道15第 4章信道 4.3.1 调制信道模型式中
23、 信道输入端信号电压； 信道输出端的信号电压； 噪声电压。通常假设：这时上式变为： 信道数学模型f ei(t) e0(t)ei(t)n(t)图 4-13 调制信道数学模型)()()( tntefteio)(tei)(teo)(tn)()()( tetktefii)()()()( tntetkteio16第 4章信道 因 k(t)随 t变，故信道称为时变信道。 因 k(t)与 e i (t)相乘，故称其为 乘性干扰 。 因 k(t)作随机变化，故又称信道为 随参信道 。 若 k(t)变化很慢或很小，则称信道为 恒参信道 。 乘性干扰特点：当没有信号时，没有乘性干扰。)()()()( tntetk
24、teio17第 4章信道 4.3.2 编码信道模型 二进制编码信道简单模型 无记忆信道模型 P(0 / 0)和 P(1 / 1) 正确转移概率 P(1/ 0)和 P(0 / 1) 错误转移概率 P(0 / 0) = 1 P(1 / 0) P(1 / 1) = 1 P(0 / 1)P(1 / 0)P(0 / 1)0011P(0 / 0)P(1 / 1)图 4-13 二进制编码信道模型发送端 接收端18第 4章信道 四进制编码信道模型0123 3210接收端发送端19第 4章信道 4.4 信道特性对信号传输的影响 恒参信道的影响 恒参信道举例：各种有线信道、卫星信道 恒参信道 非时变线性网络 信号
25、通过线性系统的分析方法。线性系统中无失真条件： 振幅频率特性：为水平直线时无失真左图为典型电话信道特性用插入损耗便于测量(a) 插入损耗频率特性20第 4章信道 相位频率特性：要求其为通过原点的直线，即群时延为常数时无失真群时延定义：频率 (kHz)（ms）群延迟(b) 群延迟频率特性dd)(0相位频率特性21第 4章信道 频率失真：振幅频率特性不良引起的 频率失真 波形畸变 码间串扰 解决办法：线性网络补偿 相位失真：相位频率特性不良引起的 对语音影响不大，对数字信号影响大 解决办法：同上 非线性失真： 可能存在于恒参信道中 定义：输入电压输出电压关系是非线性的。 其他失真：频率偏移、相位抖
26、动 非线性关系直线关系图 4-16 非线性特性输入电压输出电压22第 4章信道 变参信道的影响 变参信道：又称时变信道，信道参数随时间而变。 变参信道举例：天波、地波、视距传播、散射传播 变参信道的特性： 衰减随时间变化 时延随时间变化 多径效应 ：信号经过几条路径到达接收端， 而且每条路径的长度（时延）和衰减都随时间而变，即存在多径传播现象。下面重点分析多径效应23第 4章信道 多径效应分析：设 发射信号为接收信号为(4.4-1)式中由第 i条路径到达的接收信号振幅；由第 i条路径达到的信号的时延；上式中的都是随机变化的。tA0cosniniiiiitttttttR1100)(cos)()(
27、cos)()( )(ti)(ti)()(0ttii )(),(),( tttiii24第 4章信道应用三角公式可以将式 (4.4-1)改写成：(4.4-2)上式中的 R(t)可以看成是由互相正交的两个分量组成的。这两个分量的振幅分别是缓慢随机变化的。式中 接收信号的包络接收信号的相位niniiiiitttttttR1100)(cos)()(cos)()( 缓慢随机变化振幅缓慢随机变化振幅niniiiiitttttttR00sin)(sin)(cos)(cos)()( )(cos)(sin)(cos)()(000tttVttXttXtRsc)()()(22tXtXtVsc)()(tan)(1tX
28、tXtcs25第 4章信道所以，接收信号可以看作是一个包络和相位随机缓慢变化的窄带信号：结论 ：发射信号为单频恒幅正弦波时，接收信号因多径效应变成包络起伏的窄带信号。这种包络起伏称为 快衰落 衰落周期和码元周期可以相比 。另外一种衰落： 慢衰落 由传播条件引起的。26第 4章信道 多径效应简化分析： 设发射信号为： f(t)仅有两条路径，路径衰减相同，时延不同两条路径的接收信号为： A f(t - 0) 和 A f(t - 0- ) 其中： A 传播衰减，0 第一条路径的时延， 两条路径的时延差。求 ：此多径信道的传输函数设 f (t)的傅里叶变换（即其频谱）为 F()：)()( Ftf 27
29、第 4章信道（ 4.4-8）则有上式两端分别是接收信号的时间函数和频谱函数 ，故得出此多径信道的传输函数为上式右端中， A 常数衰减因子， 确定的传输时延， 和信号频率 有关的复因子，其模为)()( Ftf 0)()(0jeAFtAf)(00)()(jeAFtAf)1()()()(000jjeeAFtAftAf)1()()1()()(00jjjjeAeFeeAFH0je)1(je2cos2sin)cos1(sincos1122jej28第 4章信道按照上式画出的模与角频率 关系曲线：曲线的最大和最小值位置决定于两条路径的相对时延差 。而 是随时间变化的，所以对于给定频率的信号，信号的强度随时间
30、而变，这种现象称为 衰落 现象。由于这种衰落和频率有关，故常称其为 频率选择性衰落 。图 4-18 多径效应2cos2sin)cos1(sincos1122jej29图 4-18 多径效应第 4章信道定义：相关带宽 1/实际情况：有多条路径。设 m 多径中最大的相对时延差定义：相关带宽 1/m多径效应的影响：多径效应会使数字信号的码间串扰增大。为了减小码间串扰的影响，通常要降低码元传输速率。因为，若码元速率降低，则信号带宽也将随之减小，多径效应的影响也随之减轻。30第 4章信道 接收信号的分类 确知信号 ：接收端能够准确知道其码元波形的信号 随相信号 ：接收码元的相位随机变化 起伏信号 ：接收
31、信号的包络随机起伏、相位也随机变化。 通过多径信道传输的信号都具有这种特性31第 4章信道 4.5 信道中的噪声 噪声 信道中存在的不需要的电信号。 又称加性干扰。 按噪声来源分类 人为噪声 例：开关火花、电台辐射 自然噪声 例：闪电、大气噪声、宇宙噪声、 热噪声32第 4章信道 热噪声 来源：来自一切电阻性元器件中电子的热运动。 频率范围：均匀分布在大约 0 1012Hz。 热噪声电压有效值：式中k = 1.38 10-23（ J/K） 波兹曼常数；T 热力学温度（ K）；R 阻值（ ）；B 带宽（ Hz）。 性质： 高斯白噪声)V(4kTRBV 33第 4章信道 按噪声性质分类 脉冲噪声
32、： 是突发性地产生的，幅度很大，其持续时间比间隔时间短得多。其频谱较宽。电火花就是一种典型的脉冲噪声。 窄带噪声 ：来自相邻电台或其他电子设备，其频谱或频率位置通常是确知的或可以测知的。可以看作是一种非所需的连续的已调正弦波。 起伏噪声 ：包括热噪声、电子管内产生的散弹噪声和宇宙噪声等。讨论噪声对于通信系统的影响时，主要是考虑起伏噪声，特别是热噪声的影响。34第 4章信道 窄带高斯噪声 带限白噪声：经过接收机带通滤波器过滤的热噪声 窄带高斯噪声：由于滤波器是一种线性电路，高斯过程通过线性电路后，仍为一高斯过程，故此窄带噪声又称窄带高斯噪声。 窄带高斯噪声功率：式中 Pn(f) 双边噪声功率谱密
33、度 dffPPnn)(35第 4章信道 噪声等效带宽：式中 Pn(f0) 原噪声功率谱密度曲线的最大值噪声等效带宽的物理概念 ：以此带宽作一矩形滤波特性，则通过此特性滤波器的噪声功率，等于通过实际滤波器的噪声功率。利用噪声等效带宽的概念，在后面讨论通信系统的性能时，可以认为窄带噪声的功率谱密度在带宽 Bn内是恒定的。图 4-19 噪声功率谱特性Pn(f)()()(2)(000fPdffPfPdffPBnnnnnPn(f0)接收滤波器特性噪声等效带宽36第 4章信道 4.6 信道容量信道容量 指信道能够传输的最大平均信息速率。 4.6.1 离散信道容量 两种不同的度量单位： C 每个符号能够传输
34、的平均信息量最大值 Ct 单位时间（秒）内能够传输的平均信息量最大值 两者之间可以互换37第 4章信道 计算离散信道容量的信道模型 发送符号： x1， x2， x3， ， xn 接收符号： y1， y2， y3， ， ym P(xi) = 发送符号 xi 的出现概率 ，i 1， 2， ， n； P(yj) = 收到 yj的概率，j 1， 2， ， m P(yj/xi) = 转移概率，即发送 xi的条件下收到 yj的条件概率x1x2x3y3y2y1接收端发送端xn。 。ym图 4-20 信道模型P(xi)P(y1/x1)P(ym/x1)P(ym/xn)P(yj)38第 4章信道 计算收到一个符号
35、时获得的平均信息量 从信息量的概念得知：发送 xi时收到 yj所获得的信息量等于发送 xi前接收端对 xi的不确定程度（即 xi的信息量）减去收到 yj后接收端对 xi的不确定程度。 发送 xi时收到 yj所获得的信息量 = -log2P(xi) - -log2P(xi/yj) 对所有的 xi和 yj取统计平均值，得出收到一个符号时获得的平均信息量：平均信息量 / 符号 nimjnijijijiiyxHxHyxPyxPyPxPxP11122)/()()/(log)/()()(log)(39第 4章信道平均信息量 / 符号 式中为每个发送符号 xi的平均信息量，称为信源的 熵 。 为接收 yj符
36、号已知后，发送符号 xi的平均信息量。由上式可见，收到一个符号的平均信息量只有 H(x) H(x/y)，而发送符号的信息量原为 H(x)，少了的部分 H(x/y)就是传输错误率引起的损失。nimjnijijijiiyxHxHyxPyxPyPxPxP11122)/()()/(log)/()()(log)(niiixPxPxH12)(log)()(mjnijijijyxPyxPyPyxH112)/(log)/()()/(40第 4章信道 二进制信源的熵 设发送“ 1”的概率 P(1) = ，则发送“ 0”的概率 P(0) 1 - 当 从 0变到 1时，信源的熵 H()可以写成： 按照上式画出的曲线
37、 ： 由此图可见，当 1/2时，此信源的熵达到最大值。这时两个符号的出现概率相等，其不确定性最大。)1(log)1(log)(22 H图 4-21 二进制信源的熵H()41第 4章信道 无噪声信道 信道模型 发送符号和接收符号有一一对应关系。 此时 P(xi/yj) = 0；H(x/y) = 0。 因为，平均信息量 / 符号 H(x) H(x/y) 所以在无噪声条件下，从接收一个符号获得的平均信息量为 H(x)。而原来在有噪声条件下，从一个符号获得的平均信息量为 H(x) H(x/y)。这再次说明 H(x/y)即为因噪声而损失的平均信息量。x1x2x3y3y2y1接收端发送端。yn图 4-22 无噪声信道模型P(xi)P(y1/x1)P(yn/xn)P(yj)xn42第 4章信道 容量 C的定义：每个符号能够传输的平均信息量最大值(比特 /符号 ) 当信道中的噪声极大时， H(x / y) = H(x)。这时 C = 0，即信道容量为零。 容量 Ct的定义：(b/s) 式中 r 单位时间内信道传输的符号数)/()(max)(yxHxHCxP)/()(max)(yxHxHrCxPt
