1、不确定理论及应用,不确定性分类,不确定理论应用领域,不确定统计 (Uncertain Statistics) 不确定规划 (Uncertain Programming) 不确定逻辑 (Uncertain Logic) 不确定分析 (Uncertain Calculus) 不确定推理 (Uncertain Inference) 不确定过程(Uncertain Process) 不确定模拟(Uncertainty Simulation),不确定理论与不确定规划,不确定理论与不确定规划,概率测度,可信性测度,机会测度 概率测度模型用来处理随机现象。 可信性测度模型用来处理模糊现象。 混合模型用来研究
2、模糊性和随机性共存的系统。,对不确定性的研究趋势,Evidence and Possibility Theories,Probabilistic Sufficient dataNon - ProbabilisticInsufficient (scarce) data,Uncertainty Quantification,Uncertainty Theories,Basics of Evidence Theory,1、证据理论的名称 证据理论(Evidence Theory) Dempster-Shafer理论 Dempster-Shafer证据理论 DS (或D-S)理论 其它叫法: Demp
3、ster规则 Dempster合成规则 Dempster证据合成规则,2、证据理论的诞生和形成 诞生:源于20世纪60年代美国哈佛大学数学家A. P. Dempster在利用上、下限概率来解决多值映射问题方面的研究工作。自1967年起连续发表了一系列论文,标志着证据理论的正式诞生。 形成:Dempster的学生G. Shafer对证据理论做了进一步的发展,引入信任函数概念,形成了一套基于“证据”和“组合”来处理不确定性推理问题的数学方法,并于1976年出版了证据的数学理论(A Mathematical Theory of Evidence),这标志着证据理论正式成为一种处理不确定性问题的完整理
4、论。,3、证据理论的核心、优点及适用领域 核心:Dempster合成规则,这是Dempster在研究统计问题时首先提出的,随后Shafer把它推广到更为一般的情形。 优点:由于在证据理论中需要的先验数据比概率推理理论中的更为直观、更容易获得,再加上Dempster合成公式可以综合不同专家或数据源的知识或数据,这使得证据理论在专家系统、信息融合等领域中得到了广泛应用。 适用领域:信息融合、专家系统、情报分析、法律案件分析、多属性决策分析,等等。,4、证据理论的局限性要求证据必须是独立的,而这有时不易满足证据合成规则没有非常坚固的理论支持,其合理性和有效性还存在较大的争议计算上存在着潜在的指数爆炸
5、问题,5、证据理论的发展概况 “Zadeh悖论”:对证据理论的合成公式的合理性进行质疑。 例子:利用Dempster证据合成规则对两个目击证人(W1, W2)判断某宗“谋杀案” 的三个犯罪嫌疑人(Peter, Paul, Mary)中究竟谁是真正的凶手,得到的结果(认定Paul是凶手)却违背了人的常识推理结果,Zadeh认为这样的结果无法接受。, 专家系统MYCIN的主要开发者之一Shortliffe:对证据理论的理论模型解释和算法实现进行了研究。 AI专家Dubois & Prade :指出证据理论中的信任函数(Belief function)是一种模糊测度,以集合论的观点研究证据的并、交、
6、补和包含等问题。 Smets等人:将信任函数推广到识别框架的所有模糊子集上,提出Pignistic概率和可传递信度模型(TBM)。 粗糙集理论的创始人Pawlak:认为粗糙集理论使得无限框架上的证据处理向有限框架上的证据处理的近似转化成为可能。,证据理论的发展概况(续1),为了避免证据组合爆炸,提高证据合成的效率: Voorbraak:提出一种Dempster证据合成公式的Bayes近似方法,使得焦元个数小于等于识别框架中元素的个数。 Dubois & Prade :提出一种 “和谐近似”(Consonant approximation),即用和谐函数来代替原来的信任函数。 Tessem:提出
7、了一种称为(k, l, x)近似方法。 Yen等人: 将模糊集引入证据理论。 Yen, J. Generalizing the Dempster-Shafer theory to fuzzy sets. IEEE Trans. on Systems, Man, and Cybernetics, 1990, 20(3): 559-570.】,证据理论的发展概况(续2),6、证据理论在中国的发展情况段新生:在1993年出版了一本专门论述证据理论的专著证据理论与决策、人工智能。【注:由于此书出版时间较早,故其内容不是很新,未能反映证据理论及其应用方面的最新成果】刘大有等人:国内较早研究证据理论的专家
8、,并发表了一系列的论文,主要集中研究该理论的模型解释、理论扩展、近似实现等问题。肖人彬等人:对证据的相关性及相关证据的组合问题进行了研究。 苏运霖、管纪文等人:对证据理论与粗糙集理论进行了比较研究。 【苏运霖, 管纪文等. 证据论与约集论.软件学报,1999, 10(3): 277-282. 注:此处的“约集”即为“粗糙集”(Rough set)】, 曾成等人:研究了不完备的识别框架下的证据合成问题,并提出相应的证据合成公式。 顾伟康等人:对证据合成公式进行扩展,提出一种改进的证据合成公式。 徐从富等人:1999-2001总结国内外关于证据理论及其应用的代表性文献,先后发表2篇关于证据理论及其
9、应用的综述文章。 ,证据理论在中国的发展情况(续),5.2 经典证据理论1、证据理论的主要特点 满足比Bayes概率理论更弱的条件,即不必满足概率可加性。 具有直接表达“不确定”和“不知道”的能力,这些信息表示在mass函数中,并在证据合成过程中保留了这些信息。 证据理论不但允许人们将信度赋予假设空间的单个元素,而且还能赋予它的子集,这很象人类在各级抽象层次上的证据收集过程。,2、基本概念设是一个识别框架,或称假设空间。(1)基本概率分配基本概率分配:Basic Probability Assignment,简称BPA。在识别框架上的BPA是一个2 0, 1的函数m,称为mass函数。并且满足
10、m() = 0 且,其中,使得m(A)0的A称为焦元(Focal elements)。,(2)信任函数信任函数也称信度函数(Belief function)。 在识别框架上基于BPA m的信任函数定义为:,(3)似然函数似然函数也称似然度函数 (Plausibility function) 。 在识别框架上基于BPA m的似然函数定义为:,在证据理论中,对于识别框架 中的某个假设A,根据基本概率分配BPA分别计算出关于该假设的信任函数Bel(A)和似然函数Pl(A)组成信任区间Bel(A), Pl(A),用以表示对某个假设的确认程度。,(4)信任区间,Set Notation and Basi
11、c Relations,Set Notation and Basic Relations (Cont.),Example: Residual Strength of a Wooden Bridge,Wooden Bridge Example (Cont.),1000,2000,3000,4000,5000,m(A1)=0.3,m(A2)=0.4,m(A3)=0.2,m(A4)=0.1,Wooden Bridge Example (Cont.),Set Notation and Basic Relations,3、Dempster合成规则Dempster合成规则(Dempsters combin
12、ational rule)也称证据合成公式,其定义如下: 对于A,上的两个mass函数m1, m2的Dempster合成规则为:,其中, K为归一化常数,对于A,识别框架上的有限个mass函数m1, m2, ., mn的Dempster合成规则为:,其中,,n个mass函数的Dempster合成规则,4、Dempster合成规则计算举例例1. “Zadeh悖论” :某宗“谋杀案” 的三个犯罪嫌疑人组成了识别框架 =Peter, Paul, Mary ,目击证人(W1, W2)分别给出下表所示的BPA。 【要求】:计算证人W1和W2提供证据的组合结果。,【解】:首先,计算归一化常数K。,其次,利
13、用Dempster证据合成规则分别计算Peter, Paul, Mary的组合BPA(即组合mass函数)。 (1)关于Peter的组合mass函数,(2)关于Paul的组合mass函数,(3)关于Mary的组合mass函数,【说明】:对于这个简单的实例而言,对于Peter, Paul, Mary的组合mass函数,再求信任函数、似然函数,可知: 信任函数值似然函数值组合后的mass函数值 即, Bel(Peter) = Pl(Peter) = m12(Peter) = 0Bel(Paul) = Pl(Paul) = m12(Paul) = 1Bel(Mary) = Pl(Mary) = m1
14、2(Mary) = 0,例2. 若修改“Zadeh悖论” 表中的部分数据,如下表所示。请重新计算证人W1和W2提供证据的组合结果。,【解】:首先,计算归一化常数K。,归一化常数K的另一种计算法:,(1)计算关于Peter的组合mass函数,(2)计算关于Paul的组合mass函数,(3)计算关于Mary的组合mass函数,(4)计算关于 =Peter, Paul, Mary的组合mass函数,此外,根据信任函数、似然函数的计算公式,可得: 即, Bel(Peter) = 0.49; Pl(Peter) = 0.49 + 0.005 = 0.495Bel(Paul) = 0.015; Pl(Pa
15、ul) = 0.015 + 0.005=0.020Bel(Mary) = 0.49; Pl(Mary) = 0.49 + 0.005 = 0.495Bel() = Pl() = 0.49 + 0.015 + 0.49 + 0.005 = 1,Summary and Conclusions,Evidence and Possibility theories are based on well established axiomatic(公理) foundation Possibility theory is a subset of Evidence theoryEvidence and Possibility theories can be formally integrated with Probability theory Evidence and Possibility theories result in conservative designs due to limited information,