人工智能第5章 不确定性推理-A.ppt

1、第五章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,第五章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论,概述,不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。 很多原因导致同一结果 推理所需的信息不完备 背景知识不足 信息描述模糊 信息中含有噪声 规划是模糊的 推理能力不足 解题方案不唯一,不确定性推理,不确定性的类型 随机性 模糊性 不完全性 （对事物认识不足） 不一致性（随着推理的进行，原来成立的，变的不那么成立了）,不确定性的表示 （I）,（1）知识不确定性的表示知识不确定性的

2、表示方式是与不确定性推理方法密切相关的一个问题。在选择知识的不确定性表示时，通常需要考虑以下两个方面的因素： 要能够比较准确地描述问题本身的不确定性 便于推理过程中不确定性的计算一般将这两个方面的因素结合起来综合考虑。 知识的不确定性通常为一个数值，也称为知识的静态强度。,不确定性的表示 （II）,知识的静态强度可以是该知识在应用中成功的概率，也可以是该知识的可信程度等。 如果用知识在应用中成功的概率来表示静态强度，则其取值范围为0，1，该值越接近于1，说明该知识越接近于“真”；其值越接近于0，说明该知识越接近于“假”。 如果用知识的可信度来表示静态强度，则其取值范围为-1，1，当该值大于0时

3、，值越大说明知识越接近于“真“，当其值小于0时，值越小说明知识越接近于“假“。在实际应用中，知识的不确定性是由领域专家给出的。,不确定性的表示 （III）,（2）证据的不确定性的表示 推理中的证据有两种来源： 一种是用户在求解问题时所提供的初始证据，如病人的症状、检查结果等； 另一种是在推理中得出的中间结果，即把当前推理中所得到的中间结论放入综合数据库，并作为以后推理的证据来使用。 一般来说，证据的不确定性表示应该与知识的不确定性表示保持一致，以便推理过程能对不确定性进行统一处理。 证据的不确定性可以用概率来表示，也可以用可信度等来表示，其意义与知识的不确定性类似。,要解决的问题,事实的表示

4、规则的表示 逻辑运算运算 规则运算 规则的合成,不确定性推理法的类型（I）,关于不确定性推理的类型由多种不同的分类方法，如果按照是否采用数值来描述非精确性，可将其分为数值方法和非数值方法两大类型。 数值方法是一种用数值对非精确性进行定量表示和处理的方法。 非数值方法是指除数值方法以外的其他各种对不确定性进行表示和处理的方法，如非单调推理等。,不确定性推理法的类型（II）,对于数值方法，又可按其所依据的理论分为两种类型 一类是基于概率论的有关理论发展起来的方法，称为基于概率的模型，如确定性理论、主管Bayes方法、证据理论、可能性理论等； 另一类是基于模糊逻辑理论发展起来的可能性理论方法，称为模

5、糊推理。,概述,不确定问题的数学模型表示的3方面问题 表示问题：表达要清楚。表示方法规则不仅仅是数，还要有语义描述。 计算问题：不确定性的传播和更新。也是获取新信息的过程。 语义问题：将各个公式解释清楚。,第五章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,第五章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,不确定性推理模型的基本结构,规则的一般表示形式：IF E THEN H ( C ( H， E ) )其中： E 表示规则的前提条件，即证据H 表示规则的结论部分，即假设C (

6、 H, E ) 表示规则的精确程度或可信度。 任何一个不确定性推理模型必须解决三个问题：前提(证据，事实)的不确定性描述规则(知识)的不确定性描述不确定性的更新算法,不确定性推理模型的基本结构,证据的不确定性 C ( E ) ,表示证据E为真的程度。需定义其在三种典型情况下的取值：E 为真E 为假对 E 一无所知 ( 该情况下的取值称为证据的单位元e(E) ) 规则的不确定性 C ( H，E ) ,表示规则的强度。需定义其在三种典型情况下的取值：若 E 为真则H为真若 E 为假则H 为假E对 H没有影响( 该情况下的取值称为规则的单位元 e( H,E ),不确定性推理模型的基本结构,一个不确定

7、性推理模型必须包括下列算法： (1) C ( H ) = g1 C( E ), C ( H, E) (2) C ( H ) = g2 C1(H), C2(H) (3) C ( E1 AND E2 ) = g3 C(E1), C(E2) (4) C ( E1 OR E2 ) = g4 C(E1), C(E2) (5) C ( E ) = C( E ),不确定性推理模型的基本结构,一个不确定性推理模型必须满足下列条件： (1) 当全部证据和规则都是确定性的时候，此模型应满足确定性推理。 (2) 若算法(1)中，C ( E ) = e(H),则C(H) = e(H) (3) 若算法(2)中，C1(H

8、)=e(H)，则C(H)=C2(H)C2(H)=e(H)，则C(H)=C1(H) (4) 若算法(1)中，C(H，E) = e(H),则C(H) = e(H) (5) 在算法(3)中，g3 (x1, xn) = max(x1,xn),第五章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,第五章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,确定性方法（可信度方法）,E.Short 和B.Buchanan 在MYCIN系统研制过程中产生了不确定推理方法,第一个采用了不确定推理逻辑，70

9、年代很有名。提出该方法时应遵循的原则 不采用严格的统计理论。使用的是一种接近统计理论的近似方法。 用专家的经验估计代替统计数据 尽量减少需要专家提供的经验数据，尽量使少量数据包含多种信息。 新方法应适用于证据为增量式地增加的情况。 专家数据的轻微扰动不影响最终的推理结论。,理论基础 以定量法为工具，比较法为原则的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,理论基础 以定量法为工具，比较法为原则的相对确认理论。 采用此方法的MY

10、CIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,理论基础 以定量法为工具，比较法为原则的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,规则 (规则的不确定性度量）,定义:信任增强度MB(B,E)和不信任增强度MD(B,E),P(B)表示B的先验概率,P(B|A)表示当A为真时, B的条件概率,(1

11、),(2),规则 (规则的不确定性度量）,(1) 0 MB(B,A)1, 0 MD(B,A) 1 (2) MB(B, A) 0, 即P(B|A)P(B), 表示由于证据A的出现, 结论B为真的信任度增强. (3) MD(B, A) 0, 即P(B|A) 0, MD(B, A)= 0MD(B, A) 0, MB(B, A)= 0 (5) P(B|A) = P(B),表示证据A与结论B无关 (6) MB(B,A)=0,即P(B|A)P(B)表示证据A的存在证实不了结论B.MD(B,A)=0,即P(B|A)P(B)表示证据A的存在不能否认结论B.,规则 (规则的不确定性度量）,规则 A B， 可信度

12、表示为CF(B, A)。 确定因子CF定义为:CF(B,A) = MB(B,A) - MD(B,A),规则 (规则的不确定性度量）,CF(B, A)表示的意义 证据为真时相对于P(B) = 1 - P(B)来说，A对B为真的支持程度。即A发生更支持B发生。此时 CF(B, A) 0。 或，相对于P(B)来说，A对B为真的不支持程度。即A发生不支持B发生。此时 CF(B, A) 0。 结论 -1 CF(B, A) 1,规则 (规则的不确定性度量）,CF(B, A)的特殊值： CF(B, A) = 1， 前提真，结论必真 CF(B, A) = -1，前提真，结论必假 CF(B, A) = 0 ，

13、前提真假与结论无关实际应用中CF(B, A)的值由专家确定，并不是由P(B|A), P(B)计算得到的。,理论基础 以定量法为工具，比较法为原则的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,理论基础 以定量法为工具，比较法为原则的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。

14、,确定性方法,规则 (证据的不确定性度量）,证据A的可信度表示为CF( A)同样有：-1 CF( A) 1 特殊值：CF( A) = 1， 前提肯定真CF(A) = -1， 前提肯定假CF(A) = 0， 对前提一无所知 CF( A) 0， 表示A以CF( A)程度为真CF( A) 0， 表示A以CF( A)程度为假,理论基础 以定量法为工具，比较法为原则的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,理论基础 以定量法为工具，

15、比较法为原则的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,规则 (推理计算 1）,“与”的计算： A1 A2 BCF(A1 A2 ) = min CF(A1), CF(A2 ) “或”的计算： A1 A2 BCF(A1 A2 ) = max CF(A1), CF(A2 ) “非”的计算：CF(A ) = CF(A ) 由A， A B， 求 B：CF(B) = CF(A )CF(B,A )( CF(A ) 0 时可以不计算即为“

16、0”, 如MYCIN系统CF(A)0.2就认为是不可使用的。其目的是使专家数据经轻微扰动不影响最终结果。),规则 (推理计算 2）,更新，由两条规则求出再合并：两条规则 A1 - B ,A2 - B 具有同一假设由CF(B)、 CF(B)，求 CF(B),规则 (推理计算 3）,在MYCIN系统的基础上形成的专家系统工具EMYCIN中：两条规则 A1 - B ,A2 - B 具有同一假设由CF(B)、 CF(B)，求 CF(B),例子,例如有如下的推理规则： rulel： if E1 then H， 09 rule2： if E2 then H， 07 rule3： if E3 then H，

17、 一08 rule4： if E4 and E5 the E1，0.7 rule5： if E6 and (E7 or E8) then E2，1 上述规则形成的推理网络如下图所示 E3、E4、E5、E6 、 E7、E8为初始证据,用户给出如下：CF(E3)0.3， CF(E4)0.9， CF(E5)0.6， CF(E6)0.7， CF(E7)- 0.3，CF(E8)0.8， H E1 E2 的可信度为单位元.,例子,推理过程如下： (1)求证据E4、E5逻辑组合的可信度CF(E4 AND E5)min(0.9，0.6) 0.6 (2)根据rule4求CF(E1) CF(E1)0.70.6 0

18、.42 (3) 根据rulel求CF1(H) CF1(H)0.90.420.378 (4)求E6、E7、E8逻辑组合的可信度 CF(E6 AND (E7 OR E8) = min0.7, max-0.3，0.807 (5)根据rule5求CF(E2) CF(E2)10.70.7,例子,(6)根据rule2求CF2(H) CF2(H)0.70.70.49 (7)根据ru1e3求CF3(H) CF3(H)- 0.80.3- 0.24 (8)组合由独立证据导出的假设H的可信度CF1(H)、CF2(H)和CF3(H)：C F1(H)和CF2(H)组合再与CF3(H)组合CF12(H) = 0.378

19、+ 0.49 - 0.378 0.49 =0.68278CF(H) = 0.68278 + (- 0.24) = 0.44278,规则,评论 可信度方法的宗旨不是理论上的严密性，而是处理实际问题的可用性。 不可一成不变地用于任何领域，甚至也不能适用于所有科学领域。推广至一个新领域时必须根据情况修改。,第五章 不确定性推理,概述 确定性方法 主观Bayes方法 证据理论 可能性理论,第五章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,主观贝叶斯方法,概述 在Prospector的探矿系统的研究过程中提出的。 原有贝叶斯公式只考虑E出现对H

20、的影响，没有考虑E不出现的影响。 贝叶斯规则： 当H为n个互不相容事件的集合时，贝叶斯公式可写为：,主观贝叶斯方法,知识的不确定性表示：IF E THEN H ( LS ， LN )其中LS， LN表示规则强度。主观Bayes方法的不精确推理过程就是根据证据E的概率P(E), 利用规则的LS和LN，把结论H的先验概率P(H)更新为后验概率P (H|E)的过程，也称为概率传播。,主观贝叶斯方法,思路 先定好应该怎么办，再凑公式。主要是避开P(E| H)的计算。 规则的不确定性 定义：,LS 表示E为真时，对H的影响，称LS为规则的充分性度量(规则成立的充分性)。,主观贝叶斯方法（规则的不确定性）

21、,LN表示E为假时，对H的影响，LN称为规则的必要性度量(规则成立的必要性)。 确定性理论中没有考虑这点。,主观贝叶斯方法（规则的不确定性）,Bayes公式可表示为：,将两式相除得：,主观贝叶斯方法（规则的不确定性）,几率函数O(X),O(X)的性质 P(X) = 0时, O(X) = 0 假 P(X) = 0.5时, O(X) = 1 P(X) = 1时, O(X) = 真,主观贝叶斯方法（规则的不确定性）,结论的先验几率O(H)：,结论的后验几率O(H|E)：,主观贝叶斯方法（规则的不确定性）,根据Bayes公式和LS，LN的定义，几率函数与LN，LS的关系为 O(H|E) = LS O(

22、H) O(H|E) = LN O(H) 以上两公式称为修改的Bayes公式,主观贝叶斯方法（规则的不确定性）,，且必须满足：,主观贝叶斯方法（规则的不确定性）,LS、LN，不独立。 LS, LN不能同时 或 LS, LN可同时1 LS, LN的取值范围 0, ,主观贝叶斯方法（证据E的不确定性）,P(E)或O(E)表示证据E的不确定性,主观贝叶斯方法（推理计算1）,E必出现时(即证据肯定存在或肯定不存在)： O(H|E) = LSO(H) O(H|E) = LNO(H)若需要概率时：,主观贝叶斯方法（推理计算2）,E不确定时：即P(E) 1 （1976年的算法） 向前看一步S， S 为与E有关

23、的所有观察，证据的不确定性设想为与另一事件S 有关， S E HP(H|S) = P(H|E)P(E| S)+P(H|E)P(E| S),主观贝叶斯方法（推理计算2）,(1) P(E| S) = 1时，证据E必然出现(2) P(E| S) = 0时，证据E肯定不存在(3) P(E| S) = P(E) 时，(S对E无影响) P(H|S) = P(H|E)P(E| S) + P(H|E)P(E| S)= P(H|E)P(E) + P(H|E)P(E) = P(H),主观贝叶斯方法（推理计算2）,(4) P(E| S) 其它值，通过分段线性插值求 P(H| S)，EH公式 ：,主观贝叶斯方法（推理

24、计算2）,P(E|S)和P(E)不容易得到，在PROSPECTOR中引入可信度C(E|S), 值域为-5，5上的11个整数。C(E|S)= - 5，证据肯定不存在， P(E|S) = 0C(E|S)= 0，S与E无关， P(E|S) = P(E)C(E|S)= 5，证据肯定存在， P(E|S)= 1,主观贝叶斯方法（推理计算2）,CP公式：,主观贝叶斯方法（推理计算2）,P(E| S)与P(H| S)坐标系上的三点：总之是找一些P(E| S)与P(H| S)的相关值，两点也可以做曲线（或折线、直线）。由插值法从线上得到其它点的结果。,主观贝叶斯方法（推理计算3）,规则的条件部分是多个证据的逻辑

25、组合时：E = E1 AND E2E = E1 OR E2P(E|S) = 1 P( E|S ),主观贝叶斯方法（推理计算3）,多条规则支持相同的结论：,主观贝叶斯方法（推理计算3）,例5.4 设有如下规则:R1: IF E1 THEN (2 , 0.001) H1R2: IF E2 THEN (100 , 0.001) H1R3: IF H1 THEN (200 , 0.01) H2 已知: O(H1) = 0.1 , O(H2) = 0.01C(E1|S1) = 2 , C(E2|S2) = 1 求: O(H2|S1S2) = ?,主观贝叶斯方法,主观Bayes方法的评价 优点： 计算方法

26、直观、明了。 缺点： 要求Hj相互无关（实际不可能）。 P(E| H)与P(Hi) 很难计算。 应用困难。,第五章 不确定性推理,概述 确定性方法 主观Bayes方法 证据理论 可能性理论,第五章 不确定性推理,概述 确定性方法 主观Bayes方法 证据理论 可能性理论,证据理论 (Evident Theory),概述 证据的不确定性 规则的不确定性 推理计算,证据理论 (Evident Theory),概述 由Dempster首先提出，并由他的学生Shafer发展起来，也称D-S理论。在专家系统的不精确推理中已得到广泛的应用。 （也用在模式识别中） 证据理论中引入了信任函数，它满足概率论弱公

27、理。在概率论中，当先验概率很难获得，但又要被迫给出时，用证据理论能区分不确定性和不知道的差别。所以它比概率论更合适于专家系统推理方法。 当概率值已知时，证据理论就成了概率论。因此，概率论是证据理论的一个特例，有时也称证据沦为广义概率论。,证据理论 (Evident Theory),概述 证据的不确定性 规则的不确定性 推理计算,证据理论 (Evident Theory),概述 证据的不确定性 规则的不确定性 推理计算,证据理论 (证据的不确定性),证据：用集合U来表示：如U中的每个元素代表一种疾病。讨论一组疾病A发生的可能性时，A变成了单元（某些假设）的集合。U内元素Ai间是互斥的，但Ai中元

28、素间是不互斥的。,证据理论 (证据的不确定性),基本概率分配函数：m：0,1（在U的幂集上定义，取值0,1）m(A)表示了证据对的子集A成立的一种信任度有： 空集为零 意义若A属于，且不等于，表示对A的精确信任度若A等于，表示这个数不知如何分配,证据理论 (证据的不确定性),信任函数 0,1。（在的幂集上定义，取值0,1）Bel(A) = 有: Bel() = m() = 0 ,Bel() = = 1 Bel类似于概率密度函数，表示A中所有子集的基本概率分配数值的和，用来表示对A的总信任度。,证据理论 (证据的不确定性),似然函数 Pl：0,1。（在的幂集上定义，取值0,1）Pl(A) = 1

29、 - Bel(A) = 性质：0 Bel(A) Pl(A) 1 ( Bel是Pl的一部分) 称Bel(A)和Pl(A)是A的下限不确定性值和上限不确定性值。,证据理论 (证据的不确定性),设函数f(Bel(A), Pl(A) ，则有如下特殊值：f(,)：表示A为真 f( 1, 0)：表示A为假 f(,)：表示对A一无所知 f( 0,)：Bel(A)=0,对A不信任,PL(A)=0,证据理论,概述 证据的不确定性 规则的不确定性 推理计算,证据理论,概述 证据的不确定性 规则的不确定性 推理计算,证据理论 (规则的不确定性),定义：其中|A|、|U|为集合内元素个数。 性质： 对于A U f1(

30、) = 0， f1() = 1， 0f1(A)1,证据理论 (规则的不确定性),推理形式： 设子集合A、B，其中A = a1, a2, , al,B = b1, b2, , bk， 用相应的向量(c1, c2, , ck)描述规则AB，其中：ci0, 1ik, 且cj1， 1jk 已知事件A，由f1(A)求bk， bk = f1(A)ck,证据理论,概述 证据的不确定性 规则的不确定性 推理计算,证据理论,概述 证据的不确定性 规则的不确定性 推理计算,证据理论 (推理计算),f1(A1A2) = min f1(A1), f1(A2) f1(A1A2) = max f1(A1), f1(A2) 已知:f1(A)，A B，(c1, c2, , ck)。 求:f1(B)规定：m(b1, b2, ,bk) = (f1(A)c1,f1(A)c2, f1(A)ck)m (U) = 1 ,证据理论 (推理计算),证据的组合：m1, m2在U上的合成 （对于同样的证据，由于来源不同，得到二个概率分配函数m1, m2 ） 定义：m = m1 m2 规定：m() = 0 ，m(A) = 其中 K11 且 K1 0。 若K1 0，认为m1，m2矛盾，没有联合基本概率分配函数 。,第五章 不确定性推理,The End,