分享
分享赚钱 收藏 举报 版权申诉 / 16

类型第七讲西电通院考研复试资料(试题+课件).ppt

  • 上传人:wspkg9802
  • 文档编号:5462660
  • 上传时间:2019-03-04
  • 格式:PPT
  • 页数:16
  • 大小:129.50KB
  • 配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    第七讲西电通院考研复试资料(试题+课件).ppt
    资源描述:

    1、2019/3/4,1,第三章:信源编码(一) 离散信源无失真编码,3.1 信源及其分类 3.2 离散无记忆(简单)信源的等长编码 3.3 离散无记忆(简单)信源的不等长编码 3.4 最佳不等长编码 3.5 算术编码和LZ编码,2019/3/4,2,3.1 信源及其分类,信源的概念 (直观地理解,信源就是信息的来源。但是这里必须要注意两点): 在一个固定的时刻,信源发出的是一个随机变量。 随着时间的延续,信源发出的是一个随机过程。 (因此,一般的信源种类太多,其统计性质太复杂。怎样做工程实用的简化?),2019/3/4,3,3.1 信源及其分类,离散信源 信源每隔一个定长时间段就发出一个随机变量

    2、;随着时间的延续,信源发出的是随机变量序列 U-2U-1U0U1U2, 其中 Uk为第k个时间段发出的随机变量; 每个Uk都是一个离散型的随机变量。 离散无记忆信源 离散无记忆信源是这样的离散信源:随机变量、U-2、U-1、U0、U1、U2、相互独立。 离散无记忆简单信源 离散无记忆简单信源是这样的离散无记忆信源:随机变量、U-2、U-1、U0、U1、U2、具有相同的概率分布。,2019/3/4,4,3.1 信源及其分类,(总结:离散无记忆简单信源就是时间离散、事件离散、各随机变量独立同分布的信源。课程学习所面对的信源将主要是离散无记忆简单信源)一般的信源 连续信源:有时间连续的信源,也有事件

    3、连续的信源; 有记忆信源:信源在不同时刻发出的随机变量相互依赖; 有限记忆信源:在有限时间差内的信源随机变量相互依赖; 非简单信源:信源在不同时刻发出的随机变量具有不同的概率分布。 马尔可夫信源:信源随机过程是马尔可夫过程。,2019/3/4,5,3.2 离散无记忆(简单)信源的等长编码,(顺序地叙述以下的概念) (1)设有一个离散无记忆简单信源,信源发出的随机变量序列为:U-2U-1U0U1U2。设信源随机变量U1的事件有K个:a1, a2, , aK,则L维信源随机向量(U1U2UL)的事件有KL个: (u1u2uL)|其中每个分量ul跑遍a1, a2, , aK。 (2)设有一个含D个字

    4、母的字母表b1, b2, , bD。需要用字母串来表示(U1U2UL)的事件,每一个事件都要用一个字母串来表示。 这种表示方法称为D元编码; 每一个事件所对应的字母串称为一个码字。,2019/3/4,6,3.2 离散无记忆(简单)信源的等长编码,例:离散无记忆简单信源发出的随机变量序列为:U-2U-1U0U1U2。其中U1的事件有3个:晴, 云, 阴。 (U1U2)有9个事件 (晴晴),(晴云),(晴阴),(云晴),(云云),(云阴),(阴晴),(阴云), (阴阴)。 用字母表0, 1对(U1U2)的事件进行2元编码如下: (晴晴)0000,(晴云)0001,(晴阴)0011, (云晴)010

    5、0,(云云)0101,(云阴)0111, (阴晴)1100,(阴云)1101,(阴阴)1111。,2019/3/4,7,3.2 离散无记忆(简单)信源的等长编码,(3)如果限定码字的长度为N(即每个码字都是一个N维向量),则称此编码为等长编码,能够选择的不同码字的个数为DN。 (4)如果限定码字的长度为N(即每个码字都是一个N维的向量),则称此编码为不等长编码,能够选择的不同码字的个数为 D1+D2+DN=D(DN-1)/(D-1)。(注意:在不等长编码中,并不能同时使用D(DN-1)/(D-1)个不同的码字。一个长度为2的字母串究竟是两个长度为1的码字相连,还是一个长度为2的码字?无法识别。

    6、 在等长编码中不存在这样的识别问题 ),2019/3/4,8,3.2 离散无记忆(简单)信源的等长编码,(本节以下将专门讨论等长编码) (5)编码速率 R=NlogD/L。 (6)无错编码 (U1U2UL)的不同事件用不同的码字来表示。能够实现无错编码的充要条件是DNKL。(即编码速率R=NlogD/LlogK) (7)有错编码 (U1U2UL)的有些不同事件用相同的码字来表示。 (8)有错编码的译码方法与 “译码错误”概率 当使用有错编码时,必须给出译码方法(一个码字究竟翻译成哪个事件)。“译码错误”的概率定义为 pe= P(U1U2UL)=(u1u2uL) | (u1u2uL)的码字在译码

    7、时并不译为(u1u2uL)。,2019/3/4,9,3.2 离散无记忆(简单)信源的等长编码,(关于编码速率的说明: 编码速率本来是编码设备的性能指标。这就是说,首先有了编码设备的编码速率R0,然后选择N和L,使得实际的编码速率NlogD/L不能超过编码设备的编码速率R0 : R=NlogD/LR0。 当编码速率R比较高时,可以选择比较大的N,因此可供选择的码字比较多,因此更容易设计出能够快速识别的码,降低译码的难度。 当编码速率R比较低时,意味着使用低成本的编码设备。此时只能选择不大的N,因此更需要编码的技巧。 ),2019/3/4,10,3.2 离散无记忆(简单)信源的等长编码,(9)在无

    8、错编码的前提下,编码的最低代价 当RlogK时,能够实现无错编码。 当RRH(U1)时,虽然无论怎样编码都是有错编码,但可以适当地编码和译码使译码错误的概率pe任意小。这就是所谓“渐进无错编码”。,2019/3/4,11,3.2 离散无记忆(简单)信源的等长编码,(10)渐进无错编码 (简单地说就是:当RH(U1)时,可以适当地编码和译码使得译码错误的概率pe任意小。严格地说就是:) 设给定了编码设备的编码速率R0,R0H(U1)。则对任意的0,总存在一个L0,使得对任意的LL0,都有对(U1U2UL)的等长编码和对应的译码方法,满足 实际的编码速率R=NlogD/LR0, 译码错误的概率pe

    9、。 (11)渐进无错编码的原理 大数定律。随着L的增加,(U1U2UL)的所有事件中,某些事件所占的比例越来越小(0),其发生的概率却越来越大(1)。,2019/3/4,12,3.2 离散无记忆(简单)信源的等长编码,(12)不能渐进无错的编码 (简单地说就是:当RH(U1)时,无论怎样编码和译码都不能使译码错误的概率pe任意小。严格地说就是: ) 设给定了编码设备的编码速率R0,R0H(U1)。则无论怎样编码和译码都不能同时满足 实际的编码速率RR0, 译码错误的概率pe任意小。,2019/3/4,13,3.2 离散无记忆(简单)信源的等长编码,设U-2U-1U0U1U2是离散无记忆(简单)

    10、信源的输出随机变量序列。设U1的概率分布为取Vl是Ul的如下函数:当Ul=ak时, Vl=loga(1/qk)。则 随机变量序列V-2V-1V0V1V2相互独立,具有相同的概率分布; ,2019/3/4,14,3.2 离散无记忆(简单)信源的等长编码,取IL是(V1V2VL)的如下函数:则 IL最终是(U1U2UL)的函数; 因此有切比雪夫不等式:对任意0有 P(U1U2UL)=(u1u2uL)| H(U1)-ILH(U1)+,2019/3/4,15,3.2 离散无记忆(简单)信源的等长编码,取L0使得则当LL0时总有因此当LL0时总有 P(U1U2UL)=(u1u2uL)| H(U1)-ILH(U1)+ 1-。,2019/3/4,16,3.2 离散无记忆(简单)信源的等长编码,定义3.2.1(p46) 定义 TU(L, )=(u1u2uL)|H(U1)-ILH(U1)+, 称TU(L, )为-典型序列集。 称TU(L, )的补集为非-典型序列集。 (综上所述有) 定理3.2.1(信源划分定理,p47) 对任意0,取L0使得则当LL0时总有P(U1U2UL)TU(L, )1-。,

    展开阅读全文
    提示  道客多多所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:第七讲西电通院考研复试资料(试题+课件).ppt
    链接地址:https://www.docduoduo.com/p-5462660.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    道客多多用户QQ群:832276834  微博官方号:道客多多官方   知乎号:道客多多

    Copyright© 2025 道客多多 docduoduo.com 网站版权所有世界地图

    经营许可证编号:粤ICP备2021046453号    营业执照商标

    1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png



    收起
    展开