1、信息论基础 Elements of Information Theory教材：信息论基础Thomas.M.Cover 著 参考教材：工程信息论北邮 田宝玉编,瞄绞宝踌滇供乙修潘托依凑虎或愚矽峨粗谗闹铸尺谣掌拂粪镑睡赎钉味酝通信工程信息论第一章绪论通信工程信息论第一章绪论,第一章：绪论 ( Introduction ), 信 息 论 基 础 ,信息、消息与信号 从通信系统模型了解信息论的研究内容与目的 三. 信息论在信息科学中的地位与作用 四. 简介信息科学与生命科学的关系,越鸳栏勤詹鹏核朔掺墅漏愿贷曰挝湘操椭凋柞阶惋快猿厨烛弃帮哭炙浇姨通信工程信息论第一章绪论通信工程信息论第一章绪论,第一章
2、绪论,信息、消息与信号( Information Message and Signal )信息是我们在现实世界生活中赖以生存的三大资 源之一。 物质（材料） (material) 能量（能源） (energy) 信息 (information)“没有物质什么都不存在；没有能量什么都不 发生；没有信息什么都没意义。”(“Without materials nothing exists, Without energynothing happens, Without information nothing makes sense.” ),快休态闯凿婶鲸医蹭奉镍东趋吠杂龋毯仑赘命虚诛棘媒线口搐账射搽蛰
3、幻通信工程信息论第一章绪论通信工程信息论第一章绪论,第一章 绪论,组成客观世界的三大基本要素是： 物质、能量和信息。( Material Energy and Information ),如何合理开发和利用三大资源来促进人类社 会的发展就形成了三大科学：材料科学 ( Material Science )能源科学 ( Energy Science )信息科学 ( Information Science ),蹿定苫茧沟版掷贤留硕叠脏浸趾糕辈仑弯掌市举眶背眉兆睛支公讼蛙讥窃通信工程信息论第一章绪论通信工程信息论第一章绪论,一. 信息、消息与信号,这三大科学是我们现代科学的三大支柱，但是 由于现代社会
4、已经从过去仅仅依赖于物质的时代开 始走向自觉或不自觉地认识和利用信息的时代即信 息时代或信息社会。 ( Information Era )信息科学的定义：以信息为主要研究对象，以阐明信息的 运动规律和应用方法为主要研究内容；以扩 展人类的信息功能（特别是其中的智力功能） 作为主要研究目标的一门科学。,讽好颧膜副佑娶森倪桔近蛊沮八嗓肪帮痰宅笋簿殃丰冕眼缔帖傅球剥钵勘通信工程信息论第一章绪论通信工程信息论第一章绪论,一. 信息、消息与信号,信息究竟是什么概念？它的基本属性是什么？能否给它下确切的定义？你能解释信息是属于物质(matter)还是精神(mind)？以下从三个层次了解信息的含义和基本概念
5、：1. 信息的通俗理解2. 信息的概念理解3. 概率信息的定义理解,子抨忌改姿疲凳膏蠢龋砸去晌圈瘁旋赃羡躲救犁实坎朝士愉旅禾滞讹挟杭通信工程信息论第一章绪论通信工程信息论第一章绪论,一. 信息、消息与信号,1 信息的通俗理解简而言之：所谓信息就是所获得的新知识。( Information is the new knowledge ),（唐）韩愈的名篇师说：古之学者必有师。师者，所以传道受业解惑也。 人非生而知之者，孰能无惑？惑而不从师，其为惑 也，终不解矣。这里解惑即意味获得了知识以解除了困惑，也就 是获得了信息的含义，而不获取知识也就得不到信息， 也无法解除困惑。,俗刺守钠植券遗适客漓些耪烤
6、梳朴然媚彭驰忙形位维戎袖量吞秘苍怖诊焉通信工程信息论第一章绪论通信工程信息论第一章绪论,1. 信息的通俗理解,但是信息不是消息，更不是信号，这三者有本质的 区别。 消息： ( message ) 把客观物质运动和主观 思维活动的状态表达出来的形式就是消息。 如:文字符 号、语声、图象以及各式各样的随机事件( random event) 和消息符号所构成的消息序列。 消息的特征：不具备物理性能的随机事件；在接受消息 之前，接受者不知消息的内容否则通信将失去意义。,信号：( signal ) 是一种具有某种特定物理性质的表达 形式，即物理现象。如，电、光、声等都是具有某种 物理属性的信号。因此我们
7、说信号是消息的物理体现，是 为了传输消息而变化的物理量。,瓶饰佯鹃卓捉礁虾泰绎臣扭愈斡暖迭煽躺颅望具狡掳喉碗娠症胶宪囚愁革通信工程信息论第一章绪论通信工程信息论第一章绪论,1. 信息的通俗理解,消息与信息是两个截然不同的概念，不可混淆! 从概念的角度理解：消息（Message） 是由符号、文字、数字或音素所 组成的序列而构成，此消息所载荷（表达）的事件存 在的不确定度（ Uncertainty）的变化才是信息（Information）。信息就是消息事件（Event）不确定度的解除量。,通俗的讲：消息是信息的载体；信息是消息的内涵。Message is a carrier of informat
8、ion ; information is the connotation for the message .,福刷琶凶决律债棋塌乡慕佰兹深硼矣裂肥酶荒抓氓碰驾豺樊蓖减哀暴烃毖通信工程信息论第一章绪论通信工程信息论第一章绪论,一. 信息、消息与信号,2. 信息的概念理解首先我们给出信息的广义定义：The general definition of information :“Information is the knowledge for event motion state and manner.”“ 信息是关于事物运动的状态和状态改变方式上（或发展过程中）的知识。它的作用在于消除观察者在相应
9、认识上的不定性；它的数值则以消除不定性的大小或等效地以新增加知识的多少来度量。”,兵浊窄顾嗜瓮宣钵础梧输狞讣狼覆数胞佰蒸锁孺泌损偿做咒姑揖愧罐田刮通信工程信息论第一章绪论通信工程信息论第一章绪论,2. 信息的概念理解,之所以是广义的定义，是该定义中所指的对象都没 有任何限制。,客观存在的物质（matter）,主观思维的精神 ( mind ),运动(motion)泛指一切变化(change),机械运动,物理运动,化学运动,生物运动,思维运动,社会运动,天体运动,坞埋炙刀硷谗滚郝改拦根无瘁个胜戈宁仰康吃绣琅鉴残腕晾傈侯膘喂苟呛通信工程信息论第一章绪论通信工程信息论第一章绪论,2. 信息的概念理解,
10、运动状态： (moving state)是事物运动在空间上所展现的形状和态势。 运动方式： (moving manner) 则是事物运动在时间上所呈现出的过程和规律。,知识 knowledge,知识也是一种广义的概念 它可以是,群栏裁筑后廖琶讲茹蛾囚疽停邑嘛蛔董韦念撩允苍砰贿轮稍察隋贼膜媚攀通信工程信息论第一章绪论通信工程信息论第一章绪论,1. 信息的通俗理解,凡是由不知到确知的过程都是获得新知识的过程。因而消息事件中所含有的不确定度由大变小，即它的解除量就可定义为信息的大小，我们称为信息量。 ( Information quantity),由此看来：得到信息的过程就是获得新知识的过程。 “信
11、息就是知识”(Information is the new knowledge),信息就是知识这非常有利于我们对信息属性的理解，即信息具有知识的属性可积累性；反映到信息属性的数学描述上就是它的可加性。( Additive property),邱狡墙孰红盈杨做痛吊风怕楼帝记友咱粥刘伯玉还砸莹釉蓟管诡烬赵鼎民通信工程信息论第一章绪论通信工程信息论第一章绪论,2. 信息的概念理解,如果对信息的广义定义加以限制，则信息的概念 将衍生出三个层次： 语法信息 (syntactic information) 语义信息 (semantic information) 语用信息 (pragmatic inform
12、ation),如果限定观察者仅对事物的运动方式和运动状态的形式(formalized relations)感兴趣，而不涉及状态、方式的含义和效用(logical implication & value) 。在这一层次所得的信息我们称为语法信息，也叫作概率信息。,这是最抽象、最基本的层次，也是了解信息的基础。 由于语法信息主要体现在消息符号本身的构造上，或者 是由事物本身的客观特性所表现出的变化；而与接受者 的主观要求无关。,章勾铱棚谍袄潞六鼎丸簇夯井教盅纂可秸会怪巴倒慎晶毗揩戒卫雏雁拽榆通信工程信息论第一章绪论通信工程信息论第一章绪论,2. 信息的概念理解,例11. 从爱因斯坦方程看信息的三个
13、不同层次的理解。Einsteins formula: E = mc 这是著名的能量E与质量m之间的转换关系式。,英文字母与数学符号之间的特定排列可以构成消息，但公式 未出现之前，我们无法确知公式。一经公布即可解除我们阅读 前的不定度。只要具有初中代数水平，就可得到它的语法信息。,不仅知道代数法则，而且从大学物理中知E 代表能量；m 代 表质量，c 表示光速；这样就得到了公式的语义信息。但这个公 式并不一定对每一个得到语义信息的人都有价值。,3. 显然对于一个高能物理学家来说，在弄清公式的含义及从试验中证实了逻辑上的合理性，则物理学家就可得到语用信息；即通过改变原子核的质量状态来获得巨大的原子核
14、能。,鞍郑镇释邪蛙垄伤虾喳打倪恕镁乙曲切禾挚掂进话撰咬寄凿恩漠始靳苛冉通信工程信息论第一章绪论通信工程信息论第一章绪论,一. 信息、消息与信号,概率信息(Probability Information)的定义理解概率信息的主要特征是从事物的客观性出发讨论 问题，而与事物的主观性无缘；因而它也称为窄义信 息(Special Information) 以下给出它的定义：所谓概率信息是指一个随机事件发生之后，它所 带给人们的新知识，或者说是对原来该事件不定度的 解除量；是指事物运动状态和状态变化方式的客观反 映。,在概率信息定义中包含了三个含义，一般称为定义的三要素： a. 代表了一种随机事件的属性
15、； (random event) b. 在运动状态和变化方式上的客观反映； (objective reflect) c. 不确定度的解除量(必然所得的新知识);(relieved quantity of uncertainty),顷柄尾锰捣瘸屏苏登姿闰线转朽妆箕件遣橱辑犹器季平汝旋疆虽茁洲卷铭通信工程信息论第一章绪论通信工程信息论第一章绪论,3.概率信息的定义理解,概率信息的定义三要素既反映了它的基本概念，也 确定了对这种信息的研究方法和研究手段。,首先因概率信息本身就是一个随机变量，所以我们 可建立数理统计模型，利用概率论、集合论和随机过程 等数学工具来研究问题。,其次由于信息是自然界的客观
16、反映，因此讨论问题 仅局限在事物的客观性一面，而不要考虑接受者的主观 性，所以讨论问题的难度则大大降低，从而给采用数学 方法来定性、定量地给出信息的度量方法带来了方便。,最后一个要素则直接给定了度量（测度）概率信息的方法。即定义不确定度的解除量可以纯客观、定量地描述所应获得的新知识。,舟幼蜗么瞅钱惑距判渤考砂或糕洲围鬃粥窿奴毁游圃阔盎打渭沁咒货浑菏通信工程信息论第一章绪论通信工程信息论第一章绪论,3. 概率信息的定义理解,显然要定义概率信息的度量方法，首先就要比较 随机变量不确定度的大小。从概率论中可知：随机变 量的统计概率就可表示其不定度，但是如何比较大小 则我们就得定义一个“单位(unit
17、)”，由此得出不定度的 大小。下面举一个二进制单位的例子：,例12. 有八只灯泡，只知其中有一只灯丝已断，用一节电池 来测，问只需测几次就可接除其不定度。,葱夺葬河助雨腊如俩肃捧尖苯蹄梯行剿茎垮房弊屿侩红从麓持缘吠授籽牙通信工程信息论第一章绪论通信工程信息论第一章绪论,3. 概率信息的定义理解,这是一个二元判断(Binary Judge)问题;每一次判断 后我们可得到一个是/否信息，亦称二元信息 ( BinaryInformation)。由于它是解除不定度的最小单位，所以 我们由此定义出信息量的最小单位比特(bitBinaryDigits) 。,Definition: bit,该事件不确定度的
18、大小为： bit,蹬龙显句用竖紫环滨潜粉狸暖吟匙轿握省揪罢舵兼扎高肚屁辙笛洲垒耸删通信工程信息论第一章绪论通信工程信息论第一章绪论,一共测了三次， 共得3比特信息,3. 概率信息的定义理解,鞍肥壹渝樱八监邑沾瓦昂弄蜡便月渝除嚏侮畜硼拂舍讣响涛它肩嫂般喊杏通信工程信息论第一章绪论通信工程信息论第一章绪论,3. 概率信息的定义理解,再举一个三元信息(Triple Information)的例子：所谓三元信息是依赖于一次判断可得三种不同的 结果所解除的不定度，这也是一种衡量不定度大小的 单位；定义为 Tet triple digits,例13. 有27个大小形状相同的小球，知其中有一重球。问若用天平
19、来判断，最多称几次就可找出这个重球？当完全解除不定度后所得的信息量是否要比前一例大？,逗究肢寻莉蛋驰洛真元势爆庶脆惟擅拜蚊襟洁仔诧询省杉窝逛予苟数桩谰通信工程信息论第一章绪论通信工程信息论第一章绪论,3. 概率信息的定义理解,题解：因为其余26个球都是重量相同的标准球，故这也是一 个等概率的随机事件；若用天平称重，则一次可得一个三元 判断，即解除1Tet信息。该事件不定度的大小从以下求出：,Tet,这里运用了一个信息量的定义计算公式，下次课我们会 讲到。但是我们也可以采用解除不定度的方式来求此信息。,因为判断过程是一步一步完成的，其不定度的解除也是 一部分一部分的进行；因而我们所获得的信息也是
20、一点一点 的积累所得。为此我们先了解实际的处理后再给予数学描述。,硅邓舀咖糠船汲谎极碧将唇巍椽孤祟佃迁按翟遭础氰隶窄梭殆赚娠笋只靴通信工程信息论第一章绪论通信工程信息论第一章绪论,解除不定度判断实例3,准备工作：分堆、编号,平滓却锚治栖撰獭僻订遂滩咸敛呕勤咬两误骆芍攒苛笛掂霍寸剧庆袭尉轻通信工程信息论第一章绪论通信工程信息论第一章绪论,解除不定度判断实例3,第一步：解除1 Tet 的不定度，使问题留在九球之中。,御削是贯热联莹仙进拆走锚蒜帖尘拙状褪频彦邻衡己已奥许哄顺锣更毯蔷通信工程信息论第一章绪论通信工程信息论第一章绪论,解除不定度判断实例3,第二步：再解除1 Tet 不定度，将问题留在三球
21、之中。,连脆铰耀晨滥岭仙巡宙冒埠庞尊最氨胞翰恫遁勉网骄无与笛捡泄诧奠军吹通信工程信息论第一章绪论通信工程信息论第一章绪论,解除不定度判断实例3,第三步：完全解除不定度，将重球找出。,级就内恨熬闺镰沾侠俺脱爷怠悼泵灰茄嫂栈岛耐谬龋绪御埃主码镜揭铭绒通信工程信息论第一章绪论通信工程信息论第一章绪论,解除不定度判断实例分析,在上述处理过程中，不定度是一步一步地 解除，而信息则是一点一点地获得，如何用数 学方法定量地进行描述？这是信息论的任务。,第一步： Tet,第二步： Tet,Tet,便给酿合稿撕绑努返廓焦七憋湾遮兄茵嘱恤捆艘逊钩瓮说焦叛奸涤余匆曝通信工程信息论第一章绪论通信工程信息论第一章绪论,
22、解除不定度实例分析,从上面的例题中我们可以清楚地看出信息量的大 小就是不确定度的解除量的大小，这个概念就是我们 所获得的新知识。另外信息的可加性反映就是知识的 可积累性。,上面的例子都是表明实际问题如何用数学方法描述？,下面的例子我要介绍如何用数学方法来指导和解 决实际问题。这是一类信息论的经典问题，它不仅使 同学们进一步了解信息与不定度的关系，而更重要的 是它反映出理论对实际工程问题的指导作用。换句话 讲，信息理论它可以在实际问题未解决之前就能把握 它的最好前景。,斋辣咱患忻李量琉补插河崩挪渭版寨址辑呜痞驭怜次筋搐锐马寂博慑摇户通信工程信息论第一章绪论通信工程信息论第一章绪论,用一架天平,最
23、少需要称几次，才能找出这个异常球？而且能知其轻或重？,问题的提出,有十三个外形完全一样的小球,其中有一个与其它的小球重量不同,信息论经典问题实例分析,篮页敖餐恕械臭功养伏旦睡曾册疹扶文惋僧徐汁锻蔼话邑御芯绽氢花古捏通信工程信息论第一章绪论通信工程信息论第一章绪论,题解：如果采用信息理论将此类实际问题的解决方案 优化评估出来，这是信息论在实际工程中的基本应用； 如果能进一步将解决实际工程问题的技术路线用数学 物理方法描述出来，这将是信息论的精髓应用。为此 我们解题分为两步进行。,1. 因为异常球存在于十三个球中，这还是一个等概 率事件，如果仅考虑将此球找出，其不定度如前几例 相同为 log N
24、, 但是还要考虑判断其是重？还是轻？我 们还得增加一个二元判断（1比特信息）,因此整个随 机事件的完全不确定度就等于：,信息论经典问题实例分析,絮龄镀楞磁剥沾淀甚崖崭程疗锅益浦然湿手八侗焉机磕盘量瓢照悬荤断衙通信工程信息论第一章绪论通信工程信息论第一章绪论,显然，只需称三次一定可以完全解除不确定度； 但少于三次则根本不可能求解。如何来称？这已属于智力游戏的范畴。虽然信息论并不一 定都能给出具体的解决方法，但它至少可以指出解决问题的方 向或技术路线及分析方法。这正是我们建立理论平台的目的。 (Theoretical Platform)它可使大家从分析问题到解决问题 的功底上一个台阶，而且它还可在
25、问题解决之前就可评估出将 实施的方法是否最优？是否可行？使我们及时决策出是否值得 花代价去实施行动。,又因为， ,信息论经典问题实例分析,惺窟钮郸用疯擂段榜科挤八姜会还秽教锐棋研寄脸直弹徐徒瓷沧柳妓嗡羡通信工程信息论第一章绪论通信工程信息论第一章绪论,. 解决问题所采用的技术路线分析（在这步中我们尝试一下如何得到解决问题的最佳路线）问题的关键在于第一称如何称，要保证剩下的球在两称之 内解决问题。分析如下：若剩下5个球则会产生这样的结局；,显然剩下5个球后再用两称无法解除其不定度， 所以得到第一称必须解除9个小球的部分不定度，而 留下4个原态小球。,如何一称解决9个球，这是问题的难点，但是依据信
26、息论的极限编码原理（实际也是数学中的大数定理）找一个标准球参与判断，则问题将迎刃而解。这样解决是运用了信息论的精髓思想，大家目前还无法接受。等学完此课程后或许开窍理解。下面我在不加标准球的思路下给出一种解决方法，也许同学们会有很多高招，但我不想使大家追求这个目标，而是希望大家探讨各种解法的形式逻辑描述（即编码方法）。,信息论经典问题实例分析,惨利苯曰绑橱享冒脂油摹砌坤淋琅万软词尾葱铀憾井馅炉密墙揣中啤一榆通信工程信息论第一章绪论通信工程信息论第一章绪论,准备工作,1 2 3 4 5 6 7 8 9 10 11 12 13,改造天平,将小球编号,信息论经典问题实例分析,档箭摔篱澳铅屠乒喉犯营唤胎
27、酶色邵擒抄须郧弯纱踏桔纸挺驰庭闸狠漂吊通信工程信息论第一章绪论通信工程信息论第一章绪论,改造天平,改造前天平的力矩比是5:5,信息论经典问题实例分析,望茅喝撂娱陌篓沁恬伎咀批婴胳暮奄奇妈乒疽一犊醋丘临浙杨虐劣返杠哲通信工程信息论第一章绪论通信工程信息论第一章绪论,改造天平,改造天平后的力矩比是4:5,信息论经典问题实例分析,增擎阮词瞄篓来丫侣诀籍顽讣剑帛级揭康纂冠眯恭臼投腆悟孩缄娥趴茅靠通信工程信息论第一章绪论通信工程信息论第一章绪论,第一称,10,11,12,13剩余,信息论经典问题实例分析,路王汹桔磋另脏块弄急渴挚岗伯减雌吊痊甜廓女托窍椅凌掀铣闸呵顺撇级通信工程信息论第一章绪论通信工程信息
28、论第一章绪论,异常球在另4个球之中，此时的不定度,第一称如果,天平平衡,信息论经典问题实例分析,嗓恕埠测说筛烫弯椭苏翠萨渍壹兜怕蜒以序腊栓陶凄检他曼面带黎蓖篱潘通信工程信息论第一章绪论通信工程信息论第一章绪论,我们用以下的符号表示：,“=”表示此球为标准球；“ - ”表示此球比标准球轻；“+ ”表示此球比标准球重；“？”表示仍不知此球轻重；那么，上一种情况可以表示为：,信息论经典问题实例分析,屎啦炔泽队窑抓窘互却沃要励单漾枉殴咏涵赶弊邀应彰厘访犊霜谰线彬背通信工程信息论第一章绪论通信工程信息论第一章绪论,同理，第一称也可能是,信息论经典问题实例分析,嚣面鼎碑椰恫亡噶伴瑟蚊蔚齐御疽敛袍儿撇噶衰膜
29、缎鞠瓷屎郭寥坊睹丢暇通信工程信息论第一章绪论通信工程信息论第一章绪论,另外一种情况,信息论经典问题实例分析,它色突享萍楞忆宝疗痒野重风突帮坟勾境曳晤绅跳佩仆躬臻后裂哎正畔湘通信工程信息论第一章绪论通信工程信息论第一章绪论,当第一称为平衡时：,?,我们紧接再续三只新球,信息论经典问题实例分析,搭螺撅烦散海拢菜泛摈匀侥务讽奸化阐秀瑚雌藻捣侨饼姿泄麦砚末酉誓玉通信工程信息论第一章绪论通信工程信息论第一章绪论,第二称如果,?,左右平衡,异常球,信息论经典问题实例分析,同淄噶泛遁氨花侠谐酗驻吮淡覆佰鸵液耐猎陷挥错肄廊颊怂匹俞漓晶怠挂通信工程信息论第一章绪论通信工程信息论第一章绪论,当第二称,如果左轻右重
30、,如果左重右轻,其它情况以此类推,=,信息论经典问题实例分析,游肌平庸辣攀蒸嘉屉犹占朱款草蜂没蛔阅角摇噬蹦氖斡皿韭店琴难孺狗测通信工程信息论第一章绪论通信工程信息论第一章绪论,当第二称,如果左轻右重,为第三称重新配重,其它情况以此类推,=,信息论经典问题实例分析,斯读佐毒镇闲鹤贱惭毒井缎准翼犀紊纠谭磺圃踏拦专靳高叔宠接摧具沉捻通信工程信息论第一章绪论通信工程信息论第一章绪论,则第三称,如果左轻右重,=,则异常球为轻球,信息论经典问题实例分析,绰调缨兽众蔷王啮嘱乾拢举装递蝉屡馁递丈帛啊翁叮械邓吮推鲸霸凿闸颧通信工程信息论第一章绪论通信工程信息论第一章绪论,当第二称,如果左轻右重,如果左重右轻,其
31、它情况以此类推,=,信息论经典问题实例分析,洞犀万钟沂词呼傈决馁坊涩恭膳牧庚楞键膏潞冒冀击蝎爹剑宁因凄俞缸把通信工程信息论第一章绪论通信工程信息论第一章绪论,当称左轻右重时编码为 1 当称左重右轻时编码为-1 当称两边平衡时编码为 0 比如：001表示第一称，第二称左右平衡，第三称左轻右重。 其结果是第13球为重球，即：,用编码表示,+,= 001,完整的结构如下：,信息论经典问题实例分析,腑闭撬吾炼丹挚芽挂鹤撞虑焉涝想滨奠钞雍培愤腔绎苑言菱妓模受坍贝愚通信工程信息论第一章绪论通信工程信息论第一章绪论,1 -1,:,=,0,+,+,-,:,:,=,=,?,+,+,-,-,=,+,:,信息论经典
32、问题实例分析,范影光咙渍坷缺拧虐谈搅轻沪赂婆赛硒摧斟隘赐体膊老炽若妮硷纱硬赋蕾通信工程信息论第一章绪论通信工程信息论第一章绪论,:,1 0 -1,续上页,+,+,-,=,-,+,=,=,+,其它情况请自己写出,信息论经典问题实例分析,秩漆臭踌对凋神瑟牲娥湘颅群颁翼挣勃屋儒来伸望氖逢顷欧沧卸稚察勇至通信工程信息论第一章绪论通信工程信息论第一章绪论,第一章 绪论,二. 从通信系统模型入手了解信息论的研究内容与目的首先，从信息论的发展史谈起，让我们了解创建 通信系统模型的伟大意义。 信息论之父：C. E. Shannon (19162001.3.24) 在19481949年发表了奠基之作： The
33、mathematical theory of communication& Communication in the presence of noiseShannon 的伟大贡献：将复杂的通信工程问题抽象地用数学物理模型来 形式化的定量描述、分析，从而诞生出一门新学科。,确性除悯迄更靶杀扯掸横椅灰顺授交遗焦奢速惠双攫杆萧剔阁厨坷褐患郭通信工程信息论第一章绪论通信工程信息论第一章绪论,二. 信息论的通信系统模型,Shannon的高明之处就在于他抓住了通信工程的本质：通信的实质旨在信息的传递，但在通信工程仅体 现在使收端精确地或近似地复制发端的信号的形式， 而与信号形式的逻辑含义与其价值无关。因而
34、能创立抽象化、理想化的通信系统基本模型：,noise,message,signal,Signal+noise,message+noise,The model of communication system,洒篡睹攀庞羡版词几块余颤计壹楷肌梨氖藤簧交瘁程辙割亥油谗耶艰酶睬通信工程信息论第一章绪论通信工程信息论第一章绪论,二. 信息论的通信系统模型,概括地说：信源是在发送载荷着信息的消息；而消息又 要变换成适合信道传输的信号；收端则是从所收到的信号 中恢复出消息；至于接收者能否得到信息，这要看所收到 的消息随机事件所包含的不确定度是否减少来决定。,归负惯蹄贮邻颇羽碌吃夜殆俗亲灰诈搞驴惯涝丛橱笔疚和
35、缓费披驶禽抄朗通信工程信息论第一章绪论通信工程信息论第一章绪论,二. 信息论中系统模型的功能与作用,信源：产生消息和消息序列的源泉，亦称消息集合 (message set) 。广义的看信源有三大类： (1). 自然信源(Natural source); 包括物理、化学、天体、生物等。 (2). 社会信源(Social source);包括管理、金融、商情及统计调查报告等。 (3). 知识源(Knowledge source);包括古今中外记录下的知识和专家经验等。2. 编码器：为了克服时间、空间的限制，对消息加工处理使其变换成适合传输的信号，这种变换设备就是编码器。,崩礼栽褥幸辆烦臃俯柬罐葬段
36、墅抽曼递毅毙其椅螺扯咸坷窿匈概冷淌榆蹋通信工程信息论第一章绪论通信工程信息论第一章绪论,二. 信息论中系统模型的功能与作用,信道：把信号从发端到收端的通道或称媒介 (medium) 传输是为了克服空间的限制；存储则是为 克服时间上的限制。它们都是信道的功能干扰源（噪声源）：噪声是通信的天敌，为了 便于分析将自生和外界的干扰用一噪声源模拟。解码器：可以进行编码处理的逆变换设备，即 把信号再变换回消息。信宿: 消息的接收者，可以是人或机器。对窄义 信息论来说，对信宿要有一定的限制，一般称为理 想化的信宿条件。(idealize destination),餐酚疾镐刨甄饭洒说擎教兑廖痪鞋讯问琴哺挡点碌
37、仕赴搓瓦饼粟驾达怎云通信工程信息论第一章绪论通信工程信息论第一章绪论,二. 信息论中系统模型的功能与作用,由系统模型可以概括出经典信息论 ( Classical Information Theory)的基本研究内容:(a). 信源问题：首先要解决信息的度量(measure) ， 其次解决客观描述信源发送信息的能力以及如何达 到最大发送能力的条件。(b). 信道问题：信息论所关心信道最大可传送（存 储）信息的能力即信道容量(Channel Capacity) 。另 外在系统设计时，考虑如何达到系统的最佳匹配。(c). 信宿问题：从客观性来看，当信宿理想化后接 收者究竟可以最经济地得到多少信息。（
38、在付出特 定代价之后，所应该得到的最大信息量问题。）,武足恕沂称溶佐狱滑福勘烽吸磺导欢惜六绿陋约寝睛饶维齐唆柏诺奏烫魂通信工程信息论第一章绪论通信工程信息论第一章绪论,二. 信息论中系统模型的功能与作用,(d).编/解码问题：窄义信息论仅考虑两类编码：信源编码解决信息传送过程的有效性。( Source codingEffectiveness )信道编码解决信息传送过程的可靠性。( Channel codingReliability )广义信息论还讨论另外两类编码： 调制与复用编码解决信息传送过程的经济性、实用性。( Modulation & MultiplexEconomical )密码解决信
39、息传送过程的安全性。( CryptographSecurity ),磁仰螟捻色穿且棱谨桑臀碰柴婪妈克阻琵搞语如底削剥屑眷谢臂银逸幕紧通信工程信息论第一章绪论通信工程信息论第一章绪论,二. 信息论中系统模型的功能与作用,上述四类内容的研究，信息论并不是给出具体的解决方法。而仅仅从系统模型中分析总结出客观规律后得出一系列的编码定理用于指导工程设计和应用。同时也得到一些信息在传输过程中质与量的约束关系( nature & quantity constraint relation )和有关系统设计的性能界限( property demarcation of system )。,娃酬浊萝膘例晋喘亚帘孔射
40、析导叶伎拦椰讯澳墟危姚货袖蝎野茂蹦皑急享通信工程信息论第一章绪论通信工程信息论第一章绪论,三、信息论在信息科学中的地位与作用所谓信息科学，简而言之就是关于认识和利用信 息的科学。由此看来认识是基础，利用是目的。 (Understand Information &Utilize Information)Basis Goal如果再具体归纳信息科学所研究的内容为五类：探讨信息的基本概念和本质； 研究信息的数值度量方法； 阐明信息的提取、识别、变换、传递、存储、检索、处理、再生、表示、施效（控制）等过程； 揭示利用信息来进行控制的原理和方法； 寻求利用信息实现最优化组织的原理和方法。,第一章 绪论,1
41、,2、3,4,5,茅迁楚稼昆巨匈意傻铆脸梅毋乘给齿助砰鲁许啦天叙饺目哩溯考攘寂择劳通信工程信息论第一章绪论通信工程信息论第一章绪论,三、信息论在信息科学中的地位与作用,对于第一类问题应属于哲学领域信息哲学对于第二、三类问题应属于信息论研究领域， 这是解决在自然界如何认识信息的问题；而对于第四 类属于控制论，第五类属于系统论它们都是 属于如何利用信息规律的基础理论研究范畴。抛开 信息哲学（ Information Philosophy ）剩下 信息论 （ Information Theory ） 控制论 （ Cybernetics ） 系统论 （ System Theory ）这三门学科构成了信
42、息科学的基础理论体系，称 “老三论”；由于认识是基础中的基石，信息论在信 息科学的地位就不言而喻了。,帚蓑波股类谭眠丽距阵摸站品冬尤哉隙血堤绞常剩原嚣涨岸找作闻伙元毗通信工程信息论第一章绪论通信工程信息论第一章绪论,三、信息论在信息科学中的地位与作用,通过信息来认 识系统；通过 信息的反作用 （控制）来优 化系统。,信息论,控制论,系统论,提取,处理,再 生,产生 行动,理解 信息,初始 状态,目的 状态,伟潞丫析枷纤谨可恋柑泪筛贵借堆宁锣鸿恃蹿瑟允驮娠醉裤莹迁糯柄帧挽通信工程信息论第一章绪论通信工程信息论第一章绪论,三、信息论在信息科学中的地位与作用,有了完善的信息基础理论，人类才有可能制造
43、出 各种信息系统来扩展人类相应的信息功能。如：以先进的感测技术系统；来扩展人类的感觉器官而增加获取信息的功能。 以先进的通信技术系统；来扩展人类的传导神经器官，而增加传递信息的功能。 以先进的计算机和人工智能系统；来扩展人类思维器官的处理和再生信息的能力。 以先进的控制技术系统；来扩展人类效应器官施用信息的功能。这样借助于信息科学技术上的成就，人类从体力劳 动和部分脑力劳动中获得解放的希望就能实现。,蛛综受硒池薪纬尼剐谓淀磁潮固掳奢惊满讫仿此冉夯祭堂掏顾拾素莆澜馒通信工程信息论第一章绪论通信工程信息论第一章绪论,第一章: 绪论,简介信息科学与生命科学的关系从信息科学的定义中看出它是以扩展人类的
44、信息功能（特 别是智力功能）为主要目标的一门科学。以信息为研究对象是 信息科学迄今为止区别于其它一切传统科学的最更本特征，但 是它无法与目前所出现的生命科学而明晰分开。把能够扩展人类信息器官功能的技术通称为信息技术，即IT(Information Technology)。那么人类由那些信息器官？它们各有什么功能?以及扩展这 些功能的主要技术内容？我就个人理解将信息器官归纳四类： 1. 感觉器官：包括视觉、听觉、嗅觉、味觉、触觉器官等； 2. 传导神经网络：它可分为导入神经网骆和导出神经网络； 3. 思维器官：包括记忆、联想、分析推理和决策系统； 4. 效应器官：包括操作(手)、行走(脚)、和语
45、言(口)器官等。,植者驼垂角粪胳奠阴为掳栗两狐棱侦纵建捷钱顾殿湖拄妈妊怕码膝股化衍通信工程信息论第一章绪论通信工程信息论第一章绪论,四. 简介信息科学与生命科学的关系,a). 感觉功能：获取信息通过感觉器官来感知 外部世界各种事物运动的状态和方式，其中平衡 感觉器官的功能将根据运动主体与客体获取信息。 b). 传导功能：传递信息通过导入神经网将所 获得的信息传送思维器官；而由导出神经网把加 工或再生出的信息传到效应器官或内部器官。 c). 思维功能：加工和再生信息完成存储、检 索、加工和再生等处理；经过处理人能得到对外 部事物运动规律的认识和对它进行改造的策略意图。 d). 效应功能：施用信息
46、通过效应器官来执行 思维器官所发出的再生信息；或者通过语言器官来 表达再生信息；而使这些信息产生实际效果。,缕艘娄露悔摇弊适脚倪成狠刚技腊药刃攫忌燎荒给猛纬侩出杀皮丹减尾熏通信工程信息论第一章绪论通信工程信息论第一章绪论,四. 简介信息科学与生命科学的关系,注意：这种高级的整体性功能，不是每一个器官功能的 简单相加，而是体现出一个著名的系统学原理整体大 于部分和。,人类信息器官及功能框架,导入神经网络 （传递信息）,思维器官 （加工/再生信息）,感觉器官 （获取信息）,导出神经网络 （传递信息）,外部世界 （信源/信宿）,效应器官 （施用信息）,伍垦胳钓知库缚跺溪于锄潦掷毯从湿譬朵撤渍时钟像许淤摧坏膘鉴启绸腥通信工程信息论第一章绪论通信工程信息论第一章绪论,第一章: 绪论 (结束),谢 谢！,粱惮渡稍唇睁遵湿聂啃馈欣泵刊湿庙居逞题仕种琵涵腥煌看录兹蚂搽蔽遥通信工程信息论第一章绪论通信工程信息论第一章绪论,
