1、第1章 信息管理绪论 1.1 信息的概念与描述 主讲：毛光喜,广东商学院信息学院,1.1 信息的概念与描述,传统科学的基本概念是物质与能量，信息科学的基本概念是信息。信息，既是信息科学的出发点，也是它的归宿。具体来说，信息科学的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。对信息的认识越透彻，对信息的利用就会越充分、越合理；对信息的概念把握得越深刻，信息科学本身的根基就越牢固、越扎实。,1.1.1信息的定义,信息就是信息，既不是物质也不是能量。 信息是事物之间的差异。 信息是集合的变异度。 信息是一种场。 信息是系统的复杂性。 信息是一种关系。 信息是事物相互
2、作用的表现形式。 信息是事物联系的普遍形式。 信息是物质和能量在时间和空间颁不均匀性。 信息是物质的普遍属性。 信息是收信者事先所不知道的报导。 信息是用以消除随机不定性的东西。,1.1.1信息的定义,信息是使概率分布发生变动的东西。 信息是负熵。 信息是有序性的度量。 信息是系统组织程度的度量。 信息是被反映的差异。 信息是被反映的变异度。 信息是被反映的物质的属性。 信息是人与外界相互作用的过程中所交换的内容的名称。 信息是与控制论系统相联系的一种功能现象。 信息是作用于人类感觉器官的东西。 信息是选择的自由度。 信息是通信传输的内容。,1.1.1信息的定义,信息是加工知识的原材料。 信息
3、是控制的指令。 信息就是消息。 信息就是信号。 信息就是数据。 信息就是情报。 信息就是知识。 .,1.1.1.1信息定义的概念,“信息”(Information)和“消息”(Message)信息是消息的内容,消息是信息的形式.(据新词源考证，一千多年前，我国唐代就曾经有“梦断美人沉信息，目穿长路倚楼台”的诗句，其中“信息”一词就是音信、消息的意思。同样，在西方出版的许多文献著作中，“信息”(Information)和“消息”(Message)两词也是互相通用的。）,1.1.1.1信息定义的概念,“信息就是信号”（电信技术）信号只是信息的载体，信息是信号所载荷的内容。 “信息就是数据”（计算机
4、技术）数据，它只是记录信息的一种形式，而且不是唯一的形式，不能把它等同于信息本身。情报只是一类专门的信息，是信息的一个子集。,1.1.1.1信息定义的概念,1925年R. A. Fisher给出了“信息”的定义，是从古典统计理论的角度定义的一种信息量。 1928年，哈特莱在贝尔系统电话杂志上发表了一篇题为“信息传输”的论文。在这篇论文中，他把信息理解为选择通信符号的方式，并用选择的自由度来计量这种信息的大小。他认为，发信者所发出的信息，就是他在通信符号表中选择符号的具体方式。,1.1.1.1信息定义的概念,哈特莱的这种理解能够在一定程度上解释通信工程中的一些信息问题，但是它也存在着一些严重时局
5、限性：首先，他所定义的信息不涉及内容和价值，只考虑选择的方式，其次，也没有考虑到信源的统计性质；第三，把信息理解为选择的方式，就必须有一个选择的主体作为限制条件。这些缺点使它的运用范围受到很大的限制。,1.1.1.1信息定义的概念,美国数学家仙农在贝尔系统电话杂志发表了一篇长文，题为“通信的数学理论”（1948）。这篇论文以概率论为工具，深刻阐述了通信工程的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得到了一组表征信息传递重要关系的编码定理。仙农在进行信息的定量计算的时候明确地把信息量定义为随机不定性程度的减少。这就表明了他对信息的理解：信息是用来减少随机不定性的东西。
6、随机不定性系指由于随机因素所造成的不能肯定的情形，在数值上可以用概率熵来计量。,1.1.1.1信息定义的概念,根据这一思想，法裔美国科学家布里渊在他的名著科学与信息论中直接了当地指出：信息就是负熵。并且，他还创造了Negentropy这一名词（由Negative和Entropy合成）来表示负熵的概念（Brillouin，1956）。其实，Wiener在1950年出版的控制论与社会一书中就曾经指出：“正如熵是无组织程度的度量一样，消息集合所包含的信息就是组织程度的度量。事实上，完全可以将消息所包含的信息解释为负熵。”,1.1.1.1信息定义的概念,缺陷：第一，作为Shannon信息概念的直接基础
7、，通信的数学理论一文曾经十分明确地指出：通信的任务是在收端复制发端所发出的波形，至于它的内容含义，因与通信工程无关，所以可以舍去。可见，Shannon理论中的不定性纯粹是波形形式上的不定性，与此相应的信息概念也是纯粹的形式化的概念（称为语法信息）。这样的信息概念排除了信息的含义因素（即语义信息）和价值因素（即语用信息），因此，它的适用范围受到严重的限制。第二，它只考虑了随机型的不定性，不能解释与其他型式的不定性（如模糊不定性）有关的信息问题。第三，这种信息定义只从功能角度上来表述，还是没有从根本上回答“信息是什么”的问题。,1.1.1.1信息定义的概念,所以，信息是组织程度的度量，是有序程度的
8、度量和负熵，是用以减少不定性的东西，这些都是Shannon、Wiener、Bri11ouin等人共同的理解。这些认识比仅仅把信息看作消息或通信内容要深刻得多。而且，在数学上很容易证明，Hartley的信息概念仅是Shannon信息概念的一种特殊情形。,1.1.1.1信息定义的概念,与Shannon的定义相仿，M. Tribes等人在1971年9月号的科学的美国人杂志上发表的“能量与信息”一文中曾经指出：“概率是对知识状态的一种数值编码。某人对一个特定问题的知识状态可以用这样的方法表示，即对这个问题的种种想得出来的答案各分配一定的概率；如果他对这个问题完全了解，他就能够对所有这些可能的答案（除了
9、其中的一个之外）赋予概率零，而剩下的那个则赋予概率1。既然可以把知识状态编码成这样的概率分布，我们就可以给信息下一个定义：信息，就是使概率分布发生变动的东西”。,1.1.1.1信息定义的概念,和上面的定义有关的一个说法是“信息就是知识”，这个说法当然也是不够确切的。我们倒是可以反过来说：知识是一种信息，但是不能笼统地断言：信息就是知识。实际上，知识是由信息加工出来的产物，是一种具有普遍和概括性质的高层次的信息，因此它是信息的一个特殊的子集。,1.1.1.1信息定义的概念,美国数学家、控制论的主要奠基人维纳在1950年出版的控制论与社会一书中对信息的理解是：“人通过感觉器官感知周围世界”，“我们
10、支配环境的命令就是给环境的一种信息”，因此，“信息就是我们在适应外部世界，并把这种适应反作用于外部世界的过程中，同外部世界进行交换的内容的名称”。“接收信息和使用信息的过程，就是我们适应外界环境的偶然性的过程，也是我们在这个环境中有效地生活的过程”。是把信息理解为广义通信的内容。,1.1.1.1信息定义的概念,维纳把人与外部环境交换信息的过程者作是一种广义的通信的过程。这当然是没有问题的；因为，广义的通信本来就可以泛指人与人、机器与机器、机器与自然物、人与自然物之间的信息传递与交换。不过，这里所理解的信息仍然不够确切。这是因为：人与环境之间互相交换的内容中不仅有信息，也有物质与能量，把它们统统
11、起一个名字信息，岂不是把信息与物质及能量混为一谈。,1.1.1.1信息定义的概念,控制论的另一位重要的奠基人，英国生物学家W.R.Ashby在1956年出版的控制论导引一书中对信息提出了另一种理解。他首先引入了一个“变异度”的概念：任何一个集合，它所包含的元素的数目以2为底的对数就称为这个集合的变异度（在更简单的情形下，也可以把集合的元素数目直接定义为它的变异度）。然后，他就把变异度当作信息的概念来使用。,1.1.1.1信息定义的概念,不难证明，变异度实际上是Shannon熵的特殊情形：设某集合X有N个元素，每个元素出现的概率都等于lN，那么，这个集合的Shannon熵等于它的变异度。 这些基
12、于变异度的概念后来还发展出一些新的说法，其中意大利学者GLongo在1975年出版的信息论：新的趋势与未决问题一书序言中认为：信息是反映事物的形式、关系和差别的东西，它包含在事物的差异之中，而不在事物本身。,1.1.1.1信息定义的概念,“有差异就有信息”的观点是正确的，但是反过来说“没有差异就没有信息”也不够确切。 与此相联系的说法还有：“信息是被反映的差异”，“信息是被反映的变异度”等等。这些说法在“差异”和“变异度”的概念之上又加上了“被反映的”限制，其可用的范围就更狭窄了。此外，还有把信息理解为“物质和能量在时间及空间分布的不均匀性”的，不均匀性也是一种差异的表现。,1.1.1.1信息
13、定义的概念,总起来说，在现有的各种理解中，Shannon的定义比较深刻，而且这种定义还导出了相应的算法。但是正如前面所说，Shannon定义也还存在不少的缺陷。这样，虽然已经有了众多的关于信息的定义，然而我们却不能满足于现有的理解，还必须进一步去寻求更合理、更科学和更有用的信息定义，以便更好地研究和解决现实世界已经提出的许多新的信息问题。,1.1.1.2 信息的定义及其体系,由于信息概念的复杂性，在定义信息的时候必须十分注意定义的条件。根据不同的条件区分不同的层次来给出信息的定义。最高的层次是最普遍的层次，也是无条件约束的层次，我们把它叫做“本体论层次”。如果引入一个约束条件，则最高层次的定义
14、就变为次高层次的定义，而次高层次的信息定义的适用范围就比最高层次定义的范围要窄。所引入的约束条件越多，定义的层次就越低，它所定义的信息的适用范围也就越窄。,1.1.1.2 信息的定义及其体系,根据引入的条件的不同，就可以给出不同层次和不同适用范围的信息定义，这些不同的信息定义的系列，就构成了信息定义的体系。,1.1.1.2 信息的定义及其体系,若对本体论层次的信息定义引入一个约束条件必须有主体（如人、生物或机器系统），从主体的立场出发来定义信息，那么，本体论层次的信息定义就转化为认识论层次的信息定义，这个层次的信息定义的适用范围显然要比本体论层次的定义范围窄，因为它必须满足上述条件。在本体论层
15、次上，信息的存在不以主体存在的条件为转移，即使根本不存在主体，信息也仍然存在。,1.1.1.2 信息的定义及其体系,因此，在这个层次上我们完全可以说，在地球上出现人类以前，信息就已经存在了，只是没有人去感知和利用而已。但是在认识论层次上则不然，在这个层次上，没有主体，就没有认识论意义上的信息。于是这时就必须说：在人类出现之前根本不存在（以人类为观察主体的）认识层次的信息。,1.1.1.2 信息的定义及其体系,本体论层次的信息定义：某事物的本体论层次信息，就是该事物运动的状态和（状态改变的）方式。 本体论层次更具体的信息定义：本体论层次的信息，就是事物运动的状态和方式，也就是事物内部结构和外部联
16、系的状态和方式。 要认识一个事物，要描述一个系统，唯一的办法就是要通过各种可能的途径来获得关于该事物、该系统的信息，即关于该事物（系统）的内部结构和外部联系的状态和方式，或简言之，关于该事物运动的状态和方式。,1.1.1.2 信息的定义及其体系,引入一个最有实际意义的约束条件，即：必须存在人类主体，而且必须站在人类主体的立场上来定义信息。在这个条件的约束下，本体论层次信息定义就转化为认识论层次信息定义。 认识论层次信息定义是：某主体关于某事物的认识论层次信息，是指该主体所感知的或该主体所表述的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。 对于正常的人类主体来说，事物
17、的运动状态及其变化方式的外在形式、内在含义和效用价值这三者之间是相互依存不可分割的。,1.1.1.2 信息的定义及其体系,我们把这样同时考虑事物运动及其变化方式的外在形式、内在含义和效用价值的认识层次信息称为“全信息”，而把其中的形式因素的信息部分称为“语法信息”，把其中的含义因素的信息部分称为“语义信息”，把其中效用因素的信息部分称为“语用信息”。换句话说，认识论层次的信息乃是同时涉及语法信息、语义信息和语用信息的全信息。,1.1.1.2 信息的定义及其体系,实际上，语法信息、语义信息和语用信息都是从语言学领域引伸过来的术语。 语法信息只涉及“事物运动的状态和状态改变的方式”本身，不涉及这些
18、状态的含义和效用，因此是最抽象、最基本的层次。这种情形正像语言学领域的“词与词的结合方式”，不考虑词的含义与效用。在语言学里，这种只考虑“词与词的结合方式”的研究被称为语法学。,1.1.1.2 信息的定义及其体系,语义信息系指“事物运动的状态和方式的含义”。在语言学里研究“词与词的结合方式的含义”的学科称为语义学。因此，借用这个术语，我们把“状态与状态改变方式的含义”这一层次叫做语义信息。同样的道理，我们把关于“状态及状态改变方式的效用”这个层次称为语用信息，这是由语用学借用过来的术语。,1.1.1.2 信息的定义及其体系,1.1.1.2 信息的定义及其体系,Shannon信息论或统计通信理论
19、是基于概率型语法信息的信息理论，本文所定义的信息科学则是基于“全信息”的信息理论。这是现代信息科学与传统信息论之间的一个重要区别。正是由于引入了全信息的概念和理论，原先各自独立发展的识别论、通信论、控制论、决策论、优化论和智能论才得以统一在信息科学的有机体系之中。因此，对于信息科学来说，全信息是一个十分重要的概念，全信息及其理论是整个信息科学理论的基石。,1.1.1.2 信息的定义及其体系,由于引入了主体，引入了认识主体与事物客体之间的关系，认识论层次信息还衍生出另一组有用的概念，这就是实在信息、先验信息和实得信息的概念。 具体来说，某个事物的实在信息是事物实际所具有的信息。事物的实在信息是事
20、物本身所固有的一个特征量，它只取决于事物本身的运动状态及其变化方式，而与主体的因素无关。,1.1.1.2 信息的定义及其体系,某主体关于某事物的先验信息，是指该主体在实际观察该事物之前已经具有的关于该事物的信息。先验信息既与事物本身的运动状态及其变化方式有关，也与主体的主观因素有关。 某主体关于某事物的实得信息，是指该主体在观察事物的过程中实际获得的关于该事物的信息。实得信息不仅与事物本身的运动状态及其变化方式有关，而且也与主体的观察能力以及实际的观察条件有关。,1.1.2 信息的特征、性质与分类,第一特征：信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地
21、存在。 第二特征：信息也来源于精神世界，但是又不限于精神的领域。第三特征：信息与能量息息相关，但是又与能量有本质的区别。第四特征：信息具有知识的本性，但它又比知识的内涵更广泛。,1.1.2 信息的特征、性质与分类,第五特征：信息是具体的，并且可以被人（生物、机器等）所感知、提取、识别，可以被传递、存储、变换、处理、显示、检索和利用。 第六特征：信息可以被众多用户所共享。 第七特征：语法信息在传送和处理过程中永不增值。 第八特征：在封闭系统中，语法信息的最大可能值不变。,1.1.2 信息的特征、性质与分类,性质一 普遍性：信息是普遍存在的。性质二 无限性：在整个宇宙时空中，信息是无限的；即使是在
22、有限的空间（时间有限或无限）中，信息也是无限的。 性质三 相对性：对于同一个事物，不同的观察者所能获得的信息量可能不同。 性质四 转移性：信息可以在时间上或在空间上从一点转移到另一点。,1.1.2 信息的特征、性质与分类,性质五 变换性：信息可以是变换的，它可以同不同的载体和不同的方法来载荷。 性质六 有序性：信息可以用来消除系统的不定性，增加系统的有序性。 性质七 动态性：信息具有动态性质，一切活的信息都随时间而变化。因此，信息也是有时效、有“寿命”的。 性质八 转化性：从潜在的意义上讲，信息是可以转化的。它在一定的条件下，可以转化为物质、能量、时间及其他。,1.1.2 信息的特征、性质与分
23、类,信息分类也有许多不同的准则和方法。比如： 从信息的性质分类，可以有：语法信息；语义信息、语用信息。 从观察的过程来分类，可以有：实在信息、先验信息、实得信息。 从信息的地位来分类，可以有：客观信息（包括观察对象的初始信息，经过观察者干预之后的效果信息、环境信息等）、主观信息（包括决策信息、指令信息、控制信息、目标信息等）。 从信息的作用来分类，可以有：有用信息、无用信息、干扰信息。,1.1.2 信息的特征、性质与分类,从信息的逻辑意义来分类，可以有：真实信息、虚假信息、不定信息。 从信息的传递方向来分类，可以有：前馈信息、反馈信息。 从信息的生成领域来分类，可以有：宇宙信息、自然信息、社会
24、信息、思维信息等。 从信息的应用部门来分类，可以有：工业信息、农业信息、军事情息、政治信息、科技信息、文化信息、经济信息、市场信息、管理信息等。,1.1.2 信息的特征、性质与分类,从信息源的性质来分类，可以有：语声信息、图像信息、文字信息、数据信息、计算信息等。 从信息的载体性质来分类，可以有：电子信息、光学信息、生物信息等。 从携带信息的信号的形式来分类，还可以有：连续信息、离散信息、半连续信息等。,1.1.2 信息的特征、性质与分类,1.1.2 信息的特征、性质与分类,按照基本定义，语法信息是事物运动的状态和方式的外在形式。根据事物运动的状态和方式在形式上的不同，语法信息还可以作如下的分
25、类：首先，事物运动的状态可以是有限状态或无限状态，与此相对应，就有有限状态语法信息和无限状态语法信息之分；其次，事物运动的状态可能是连续的，也可能是离散的，于是，又可以有连续状态语法信息与离散状态语法信息之分；再者，事物运动的状态还可能是明晰的，或者是模糊的，这样又有状态明晰的语法信息与状态模糊的语法信息之分。,1.1.2 信息的特征、性质与分类,另一方面，按照事物运动的方式（即状态改变的方式），可以有随机型方式、半随机型方式 以及确定型方式三类，它们分别对应于概率型信息、偶发型信息和确定型信息三种基本的形式。 所谓随机型的运动方式，就是各状态是完全按照概率规则或统计规律出现的，于是这类信息又
26、叫做概率型信息或者统计型信息。,1.1.2 信息的特征、性质与分类,所谓半随机型运动方式，是指这样一种方式：各个状态的出现是不可预测的，但是由于这类试验往往只进行一次或若干次，而不能大量重复，因此不能用概率统计的规则来描述，对于这类试验所提供的信息，就称为偶发型信息。 确定型的运动方式是指其各种状态的出现规则能用经典数学公式来描述的方式，这种方式的未知因素通常表现在初始条件和环境影响（约束条件）方面，与这类运动方式相对应的信息，就称为确定型信息。,1.1.2 信息的特征、性质与分类,由于连续信息通常都可以实现离散化，因此研究离散型信息是主要的。另外，状态无限的情形往往可以通过求极限的方法由状态
27、有限的情形来逼近，于是，研究状态有限的情形是更为基本的。最基本的语法信息形式就只有六种，即概率信息、偶发信息、确定型信息、模糊型概率信息、模糊型偶发信息以及模物型确定信息。由于通常所说的模糊信息是指模糊型确定信息。因而真正最基本的语法信息只有四种，即：离散有限明晰状态的概率型信息、离散有限明晰状态的偶发型信息、离散有限明晰状态的确定型信息、离散有限模糊状态的确定型信息。我们分别把它们叫做概率信息、偶发信息、确定信息以及模糊信息。,1.1.2 信息的特征、性质与分类,1.1.3 信息的描述,首先考虑语法信息的描述，包括： 概率信息、偶发信息、确定型信息和模糊信息的描述。 然后，再考察语义信息和语
28、用信息的描述。1.1.3.1概率信息的描述 我们关心的概率信息是特指离散有限明晰状态的概率信息。,1.1.3 .1 概率信息的描述,符号体系：X表示一个试验，Xxi，|i=1,，n表示这一试验的所有可能状态的集合，Ppi | il,n表示这些可能状态出现的概率的集合，（X，P）xi ,pi | i=1,n表示这一试验的概率空间。,1.1.3 .1 概率信息的描述,描述概率信息的基本方法：概率空间（X，P）的各元（xi ,pi），i1,n，正好描述了事物运动的状态和方式。其中，xi , il,n，表示了所有可能的运动状态；而pi, il,n，则表示了这些可能的运动状态是以概率方式出现的：状态xi
29、 以概率pi随机地出现，il,n，于是概率空间就把整个事物运动的状态和方式刻划出来了，它是描述概率信息的基本方法。,1.1.3 .1 概率信息的描述,先验概率与后验概率：假定有一个随机试验X，它有n种可能的试验结果（运动状态）且分别为x1,xn 。在观察这一试验之前，观察者已经先验地知道这些状态出现的概率分别是p1,pn 。这些概率称为先验概率。但是在观察试验的实际结果之后发现，这n个可能的状态的出现概率却变成了p*1,p*n。这些概率称为后验概率。可以写出观察前后概率空间的变换。 xi ,pi | i=1,nxi ,p*i | i=1,n （1.1.3.1）,1.1.3 .1 概率信息的描述
30、,描述概率信息的基本方法： xi ,pi | i=1,nxi ,p*i | i=1,n 箭头左边是试验的先验概率空间，箭头右边是后验概率空间。先验概率空间描述了观察者的先验信息，后验概率空间描述了试验的实在信息，概率空间的变换式（1.1.3.1）就可以用来描述观察者的实得信息。在大多数实际的试验场合，后验概率分布p*i | i=1,n是一个0一1型分布：,1.1.3 .1 概率信息的描述,描述概率信息的基本方法：当观察者对于X的出现概率没有任何先验知识时，就只能假定这n个状态出现的概率，即：pi=1/n，i=1,n，我们用符号Po来表示这种均匀型的先验概率分布。这样，式（1.1.3.2）又变为
31、： （X，Po）（X，Ps*） （1.1.3.2） 在观察试验之前，观察者对试验结果一无所知；观察之后，结果唯一确定。在这种观察场合，观察者获得了最大的实得信息量。反之，如果有P*Po，则观察者的实得信息为零。,1.1.3 .1 概率信息的描述,描述概率信息的基本方法：用概率空间以及概率空间的变换，可以很好地描述随机型试验（随机运动的事物）的信息过程。我们用掷币的例子来说明这一方法，在这个例子中，Xxi,|i=1,，n，其中x1为“字朝上”状态，x2“画朝上”状态。在观察之前，观察者无法知道x1和x2究竟何者出现。根据统计学知识，它们出现的概率相等，即：pi1/2，i1，2。这时，X的先验概率
32、空间为,矩阵式为：现在假定观察的结果是x1出现，即后验概率空间为观察者的实得信息可以描述为：,1.1.3 .1 概率信息的描述,1.1.3 .1 概率信息的描述,描述概率信息的基本方法：在不理想观察的场合，概率空间的变换式由式（1.1.3.1）表示。但是，如果不理想观察仅仅是由外界干扰引起的，而且，如果干扰的信息也是可描述的，那么，在这种场合的概率空间变换式尚有另外的表示。这种不理想的观察模型示于图1.1.3.1：,1.1.3 .1 概率信息的描述,描述概率信息的基本方法：图中（X，P）是观察者关于事物（随机试验）X的先验概率空间，（Z，P（Y|X）是干扰的概率空间，（Y，P*（X|Y）是事物
33、的后验空间。这里，P（Y|X）和P*（X|Y）都是条件概率分布。 在事件B出现的条件下（P(B)0），事件A出现的概率称为事件B出现的条件下事件A出现的条件概率，记为P(A|B). 它们的物理意义可由图1.1.3.2和图1.1.3.3得到解释。,由于存在干扰，观察者无法精确地观察x1和x2的情况。因此，他观察到的状态数不是两个，而是三个：y1相应于x1；y3相应于x2；而y2则是一个新状态，它表示观察者不能肯定x1还是x2。而且，观察者只以一定的概率p(y1|x1)把x1观察成y1，并以概率p(y2|x1)把x1判断为y2，以概率p(y3|x1)把x1看成是y3。同样，他只能以概率p(y3|x
34、2)把x2判断为y3，并以概率p(y2|x2)和p(y1|x2)把x2判为y2和y1，这就是条件概率分布P(Y|X)的含义，它表达了观察过程中干扰的有害影响。,1.1.3 .1 概率信息的描述,描述概率信息的基本方法：先验概率空间是先验已知的，我们可以利用后验概率（贝叶斯）公式分别求出p*(xi|yj),i=1,2,j=1,2,3的数值，它的含义是：当观察者把观察的结果判断为状态yj时实际的状态为xi的概率。与此相应，所有后验概率的集合就是后验概率分布P*（X|Y）。可以用如下示意图1.1.3.3 表示。,后验概率在这里是条件概率的形式，它可以用这样的一个矩阵来表示：观察者的实得信息仍可以表示
35、为：,1.1.3 .2 偶发信息的描述,偶发信息是由半随机试验提供的，半随机试验的可能状态也是随机发生的，只是它们发生的规律不能用概率论来描述，因为这类试验是偶尔发生的，而不是大量地重复发生的，不存在统计稳定性。同随机试验一样，我们只考虑离散有限明晰状态的情形。 现在假定有某个随机试验X，它有N个可能的状态：x1,xN 。作为试验的结局，一般总有一个状态会实际发生。但究竟是哪个状态发生呢?在观察之前，根据种种资料推断，观者认为，x1发生的可能度为q1，xN发生的可能度为qN。显然，与概率的情形类似，应有：,1.1.3 .2 偶发信息的描述,实际观察的结果，各种可能状态发生的可能度却是q1*，q
36、N*。其中，qno*l，其余qn*0。我们把q1，qn称为观察者关于X的先验可能度分布；用符号Q表示，而q1*，qn*称为试验X的后验可能度分布，用符号Q*表示。从形式上看，这里的Q和Q*与概率信息中的P和P*十分相似。二者的区别在于：Q并不是概率，无法用统计的方法求出；Q的数值，纯粹是由观察者的经验确定的，有很大的主观性。严格说起来，Q是观察者关于X的主观经验性的先验可能度分布，而且，服从上式的归一化约束。正是这个缘故，有时也可以把可能度叫做主观概率、经验概率、形式概率或主观置信度。,1.1.3 .2 偶发信息的描述,无论如何，试验X的状态集合与其可能度分布一起，确实描述了半随机试验的运动状
37、态和运动方式。因此，可以和概率信息类似，定义（X，Q)和（X，Q*）分别为半随机试验的先验可能度空间和后验可能度空间，并且用它们来描述偶发信息。在半随机试验X的过程中，观察者的实得信息可以用下面的可能度空间的变换来描述：,1.1.3 .2 偶发信息的描述,举一个例子来说明偶发信息及其描述方法。 假定有3名运动员赛跑，我们把它看做一个半随机型的试验，记为X。显然，这一试验一共有6种可能的结局（可能的状态），若把3名运动员分别记为r1，r2和r3，则这6种可能的状态就是：x1：r1r2r3 x2：r1r3r2 x3：r2r1r3x4：r2r3r1 x5：r3r1r2 x6：r3r2r1,1.1.3
38、 .2 偶发信息的描述,这类竞赛是半随机试验的典型例子，因为x1,x6究竟哪个状态能够实现是不能够用确定型的公式或概率论公式来预测的；它有随机性、偶然性，但又不能大量重复进行试验，即使可以让r1，r2和r3同场比赛若干次，但实际上每次比赛的条件（即试验条件）都不可能一样：各个运动员的身体状况、心理状态、竞技状态都在变化。所以，只能建立主观的或经验的可能度分布，而不可能建立概率分布。如果观察者关于X的先验可能度分布为q1,q6，比赛结果的后验可能度分布为q*1,q*6，那么，观察者的实得信息可以用下面的变换来描述：,1.1.3 .3 确定信息的描述,所谓确定型信息，是指由确定试验所提供的信息。而
39、所谓确定型试验，是指具有确定的试验机构，但初始条件和环境条件具有动态或时变性的试验。考虑如图所示的简单RLC电路试验的例子：,1.1.3 .3 确定信息的描述,由电工学的理论，这个电路的运动状态和方式（行为）可以由一个二阶微分方程来描述：只要给出初始条件，就可以唯一地确定未来时刻t的状态和方式。这是一个确定型的实验系统。 设q是电荷，则： q(0)=0;,1.1.3 .3 确定信息的描述,二阶微分方程变为：若令则上式可以变换为：或者,1.1.3 .3 确定信息的描述,状态方程：矩阵形式：这个电路的状态完全由x1和x2这两个变量所确定。我们把x1和x2称为这个试验系统的状态变量，上式则称为该系统
40、的状态方程。我们可以用状态方程来描述这类动态系统的行为。,1.1.3 .3 确定信息的描述,把上述简单RLC电路系统推广到一般的情形，通常可以用如下形式的n阶常系数线性微分方程来描述它们的行为：式中y(t)是系统的输出，U(t)是系统输入。与上面所说的系统的情形类似，可以把式中的n个变量y，称为该系统的状态变量。,1.1.3 .3 确定信息的描述,这类系统的状态就是一组数。只要给定在某个时刻的这样一组数，给定系统的输入以及描写这个系统动态关系的微分方程，就可以确定这个系统在未来时刻的状态和输出。这就是所谓的确定型信息。很明显，这种系统能够提供信息，但是这种信息既不是前面讲过的概率信息，也不是偶
41、发的信息。 若令：,1.1.3 .3 确定信息的描述,x1(t)，x2(t) ，xn(t)也是这个系统的一组状态变量。利用这组状态变量，就可以把上式这种高阶微分方程变为一组一价微分方程组：矩阵形式：,1.1.3 .3 确定信息的描述,有了状态方程只要知道一个系统现时的状态变量和输入情况，就可以预测它未来的行为。也就是说，现时的状态变量包含着有关未来状态的信息，利用状态变量和状态方程就能充分描述这种信息。 如果已知某个系统或某个试验的各种状态以及状态之间的转移方式，那么，用图论的方法来表示这些状态和方式(即信息)是十分直观和方便的。,1.1.3 .3 确定信息的描述,所谓图，就是若干顶点和边的集
42、合。 用图来表示信息的时候，顶点就代表状态，边就代表状态转移的关系和方式。在下图中的各条边没有标明方向，这样的图叫做无向图（左下图）。如果图中的边是有方向的(用箭头表示)，则称这种因为有向图。如果图中各边还注有数字，这种图就做加权图。可见，图还是一个加权图。更确切地说，它是一个加权有向图。,1.1.3 .3 确定信息的描述,下图是一个有向加权图，可以认为是一个描述一年生植物的运动状态和运动方式的图。它描述了这种植物的生活行为：图中的各个顶点表示该植物的生活状态(运动状态)，各个边表示这些状态的转移方式和转移的途径；边上所注的数字，就是权，表示从某一状态向另一状态转移的概率或可能度；边上所注的箭
43、头指示状态转移的方向。图中各个顶点的含义是：A种子状态；B植物状态；C开花状态；D已授粉的植物状态；E末授粉的植物状态； F种子的死亡状态。,1.1.3 .3 确定信息的描述,图解：种子以概率q生长成为植物(种子死亡的概率是1q)，植物则肯定能够开花，开了花的植物以概率p授粉成功（不能授粉成功的概率为1p），已授粉的植物（花）性能结出种子。此后则重复这个过程。只要环境条件不发生明显的变化，这个图就能描述这种植物的生活信息。 同时：它又是一个具有随机因素的状态转移图，如果p=q=1，则顶点E和F就成为孤立顶点，这时，植物的生活运动就成为确定性的运动，状态转移的方式和关系都具有确定性质。,1.1.
44、3 .3 确定信息的描述,矩阵方法：这类信息也可以用矩阵来描述。例如，我们可以用邻接矩阵来描述图中顶点连接的情况。也可以用关联矩阵来描述边和顶点的结合状况。,邻接矩阵,关联矩阵,1.1.3 .3 确定信息的描述,如果图变为有向图，则关联矩阵还可以表示出连接的方向信息：,有向图,1.1.3 .3 确定信息的描述,数据表格、公式曲线描述信息方法： 考虑如下一个确定型决策问题：假设某单位需要购买某种产品45000个，已知该产品有四处供应来源，所购买的这些产品要分别送到三个不同的仓库点，下表列出各个仓库的容量和各个供应点的数量以及价格、运输费等数据。试确定具体的方案，使所付的费用最少。,1.1.3 .
45、3 确定信息的描述,根据表中的信息，运用适当的数学方法（在本例中便是线性规划方法），就可以制定一个确定的决策。为了进行数学处理，上述用文字和表格给出的信息往往还要浓缩在数学公式里，以便进行运算解析。可见，数学公式也是描述信息的一种方法。在本例中，如果用符号xij来表示从第i供应点购买并运到第j号仓库的产品数量，i=1，2，3。那么，我们就可以列出下列公式来表示所给出的信息：,1.1.3 .3 确定信息的描述,约束信息为：,1.1.3 .3 确定信息的描述,有些确定型信息不便用数学公式来描述，就可以用曲线或图形来描述，甚至用语言来描述。例如，在模式识别的场合，许多模式特征都不好用数学表达式来表示
46、，就只好用图形或语言来的描述。比如用一根垂直线加一个半圆来代表一个英文字母D，用一根垂直线后接两个半圆弧来表示英文字母B等。这些描述信息（模式特征）的方法，在“文法识别”型的模式识别研究中使用得极其频繁。,1.1.3 .4 模糊信息的描述,模糊信息的描述要涉及到集合的概念。不过，这里涉及到的是一类不同的集合模糊集合。所谓模糊集合（简称为模糊集），就是由所有元素（有时称为元）组成的总体，这些元都具合某种（或某些）共同的特性，不过具有这些特性的程度可以不同。例如，“远大于1的正实数集”就是一个模糊集，它的元包括大于l的所有正实数，因为，“10”以上的正实数当然百分之百地地满足“远大于l”这一条件，
47、“5”满足的程度可能只有百分之五十，而“2”满足的程度只有百分之几。但它们都“在一定程度上”具有“远大于l”这一性质。,1.1.3 .4 模糊信息的描述,上图曲线叫做模糊集的示性函数，也叫隶属度分布曲线。集合的示性函数的意义是指在所有元之中哪些属于该集合，哪些不属于该集合。隶属度分布曲线的意义是表明各元“属于”该集合的程度。定义百分之百地属于该集合的元的隶属度为l，完全不属于该集合的元的隶属度为0，其他则为中间情况。这样，如图所示，“远大于1的正实数集”就是一个模糊集，它的示性函数或隶属度分布曲线是一种具有平滑过渡的曲线。,1.1.3 .4 模糊信息的描述,对照概率理论中普通集合的情况：普通集
48、的示性函数或隶属度分布曲线是具有突变跳跃的曲线，所示的是“大于等于1的正实数集合”，这当然是一个普通集：所有大于l的正实数都属于这个集合，而其他则不属于这个集合。所以，它的示性函数或隶属度曲线是没有平滑过渡段的直线段。,1.1.3 .4 模糊信息的描述,模糊集定义可以表述如下：所谓给定了域U上的一个模糊子集X是指：对于任意uU，都指定了一个数fx(u)0，1，这个数叫做u对于X的隶属度。 在1965年L.AZadeh的论文“模糊集理论”发表之前，数学只知道有普通集。如上所说，普通集的特征是“非此即彼、非彼即此”，非常绝对。模糊集理论揭示了事物性质的渐变性，认识到现实世界实际事物和人的观念中存在
49、大量“亦此亦彼”的情形。这样，就使理论的认识更接近于实际。现实中的模糊集的例子是举不胜举的。例如，“大数集”、“小数集”、“高个子集”、“老人集”、“好书集”、“益鸟集”、“优秀演员集”等等，都是模糊集的例子。,1.1.3 .4 模糊信息的描述,由于存在模糊性，就必然会引起某种不定性。比如一张本来黑白分明的图画，由于某种原因变得模糊了。那么，那些半白半黑的灰度色调究竟应当是白还是黑？这就产生了不定性。而为了消除这种不定性，当然就需要有信息。我们把用来消除事物的模糊性相联系的信息称为模糊信息。因此就很容易想到，可以用模糊事物（集）的隶属度曲线来描述它的“运动的状态和方式”。若把模糊集元所具有的隶属度记为f，第i个元的隶属度记为fi，整个模糊集上的隶属度分布则记为F。但是需要注意的是，与概率的情况不同，这里的隶属度不满足归一化的要求，即：,
