L-概率推理-人工智能AIPPT课件.ppt

1、概率信度状态与概率推理Probabilistic Belief States and Probabilistic Inference (通过探索少量直接影响的事件来推理整个世界) R&N: Chap. 14, Sect. 14.14,概率信度 Probabilistic Belief,考虑这样的一个问题，该问题的整个世界由牙科医生D和患者P组成D关心的只是P是否有牙洞；因此可由单个命题：Cavity，描述问题的状态在对患者P作检查（观察）之前，D并不知道P是否有牙洞，但由多年的行医实践，他认为一个人有牙洞（Cavity）的概率会是P，而没有牙洞（Cavity）的概率则是1P 于是命题Cavit

2、y成为了一个布尔随机变量，而(Cavity, p)则称为概率信度,概率信度状态 Probabilistic Belief State,整个牙医问题世界只有两种可能状态，分别由Cavity 和 Cavity 描述一个智能体的概率信度状态即为智能体自己认为的问题世界所有状态的概率分布在牙医问题的例子中，D的信度状态为：,智能吸尘器 Vacuum Robot,如果机器人不知道问题世界的状态的具体情况，它会认为所有的状态有着同样的可能性（无差别原理），于是其信度状态将会为：,信度与信度状态是怎样发生联系的？How are beliefs and belief states related?,(Clea

3、n(R1), 5/16) (Clean(R2), 0.5) (In(Robot,R1), 0.5) (In(Robot,R2), 0.5),通常处理单个信度比处理整个信度状态更为方便, 例如: 机器人仅当Clean(R2)概率很低的时候执行Suck(R2)机器人可直接观察是否Clean(R1)或Clean(R2),单个信度是怎样影响到这个信度状态及其它的信度的?,回到牙医的例子,现在我们使用3个命题：Cavity, Toothache, 和 PCatch，来表示整个牙医问题世界 D的信度状态由23 = 8 个状态组成，每个状态有对应的概率 : CavityToothachePCatch, Ca

4、vityToothachePCatch, CavityToothachePCatch,.,信度状态可由所有命题的全联合概率定义The belief state is defined by the full joint probability of the propositions,Toothache,Toothache,概率推理 Probabilistic Inference,Toothache,Toothache,P(Cavity Toothache) = 0.108 + 0.012 + .= 0.28,Toothache,Toothache,P(Cavity) = 0.108 + 0.01

5、2 + 0.072 + 0.008= 0.2,概率推理 Probabilistic Inference,Toothache,Toothache,边缘化 Marginalization: P(c) = StSpc P(ctpc) 式中 c = Cavity 或 Cavity， St 是有关t = Toothache, Toothache的和，Spc是有关PCatch, PCatch的和,概率推理 Probabilistic Inference,条件概率 Conditional Probability,P(AB) = P(A|B) P(B) = P(B|A) P(A) P(A|B) 是给定B，A的

6、后验概率,Toothache,Toothache,P(Cavity|Toothache) = P(CavityToothache)/P(Toothache)= (0.108+0.012)/(0.108+0.012+0.016+0.064) = 0.6解释：在观察到有牙疼 (Toothache)之后，患者有牙洞的概率将不再是“平均”的概率，即Cavity 的先验概率已不再适用P(Cavity|Toothache)的值可通过保持上表蓝色4项之间的比率不变，并将它们的和进行归一化得到,Toothache,Toothache,P(Cavity|Toothache) = P(CavityToothach

7、e)/P(Toothache)= (0.108+0.012)/(0.108+0.012+0.016+0.064) = 0.6 P(Cavity|Toothache)=P(CavityToothache)/P(Toothache)= (0.016+0.064)/(0.108+0.012+0.016+0.064) = 0.4 P(c|Toochache) = a P(c Toothache) = a Spc P(c Toothache pc)= a (0.108, 0.016) + (0.012, 0.064) = a (0.12, 0.08) = (0.6, 0.4),条件概率 Conditio

8、nal Probability,P(AB) = P(A|B) P(B) = P(B|A) P(A) P(ABC) = P(A|B,C) P(BC) = P(A|B,C) P(B|C) P(C) P(Cavity) = StSpc P(Cavitytpc) = StSpc P(Cavity|t,pc) P(tpc) P(c) = StSpc P(ctpc) = StSpc P(c|t,pc)P(tpc),独立性 Independence,两个随机变量A和B是独立(independent)的如果 P(AB) = P(A) P(B) 即 P(A|B) = P(A) 两个随机变量A和B是给定C条件下独

9、立的如果 P(AB|C) = P(A|C) P(B|C) 即 P(A|B,C) = P(A|C),信度状态更新 Updating the Belief State,Toothache,Toothache,假设D现在观察到患者牙疼(Toothache) 的概率为0. 8(例如, “患者说有牙疼”) 那么D应该如何对其信度状态进行更新呢?,Updating the Belief State,Toothache,Toothache,令E为证据，在证据E出现的条件下有P(Toothache|E) = 0.8 我们想计算P(ctpc|E) = P(cpc|t,E) P(t|E) 由于E与牙洞或器械感染不

10、直接相关, 因此可以认为在给定t条件下， c、pc和E是独立的，则有: P(cpc|t,E) = P(cpc|t),令E为证据，在证据E出现的条件下有P(Toothache|E) = 0.8 我们想计算P(ctpc|E) = P(cpc|t,E) P(t|E) 由于E与牙洞或器械感染不直接相关, 因此可以认为在给定t条件下， c、pc和E是独立的，则有: P(cpc|t,E) = P(cpc|t),Updating the Belief State,Toothache,Toothache,一些问题,如果一个状态由n个命题描述，则信度状态包含2n个状态 (可能其中一些概率为0) 建模的难点 计算

11、量问题,给定Cavity (或 Cavity)条件下，Toothache 和 PCatch是独立的，只不过该独立关系隐藏在数字后！ 请同学们自行验证 贝叶斯网络 Bayesian networks 将命题之间的独立性明确表示出来，从而减少了定义整个信度状态所需的概率数量,Toothache,Toothache,贝叶斯网络 Bayesian Network,注意到Cavity是Toothache和PCatch的“起因”，然后将这样的因果关系明确的表示出来 给出Cavity的先验概率分布 给出Toothach和PCatch的条件概率表,Cavity,Toothache,PCatch,5个概率，而全

12、联合概率分布需要7个概率,P(ctpc) = P(tpc|c) P(c)= P(t|c) P(pc|c) P(c),一个稍复杂的BN,有向无环图 Directed acyclic graph,x到y的弧的直觉意义：“x对y有直接影响”,一个节点(k个父亲节点)的CPT概率数量为: 2k,一个稍复杂的BN,10个概率，而全联合概率分布需要31个概率,BN编码了些什么内容?,给定Alarm 或 Alarm 条件下，JohnCalls、 MaryCalls与Burglary或 Earthquake是独立的,例如，John不直接观察是否有盗贼闯入,P(bj) P(b) P(j) P(bj|a) = P

13、(b|a) P(j|a),给定Alarm 或 Alarm 条件下，JohnCalls、 MaryCalls与Burglary或 Earthquake是独立的,例如，铃声响的条件下， John 和Mary是否打电话两者是独立的,BN编码了些什么内容?,一个节点在其父节点条件下，和其非子孙节点是独立的,P(bj|a) = P(b|a) P(j|a) P(jm|a) = P(j|a) P(m|a),给定Alarm 或 Alarm 条件下，JohnCalls、 MaryCalls与Burglary或 Earthquake是独立的,例如，铃声响的条件下， John 和Mary是否打电话两者是独立的,BN

14、编码了些什么内容?,一个节点在其父节点条件下，和其非子孙节点是独立的,盗贼Burglary 和地震 Earthquake 是独立的,Locally Structured World,一个问题世界若其每个组成均只与少数的其他组成产生直接的影响，那么该问题世界可被局部重构（locally structured） 在这样的局部重构世界里，CPT（条件概率表）很小，且BN所需的概率数量要比全联合分布少得多 BN与全联合分布两者的复杂度对比可由一个例子得到，假设由n30个节点，每个节点有5个父节点，则整个BN需要960个概率数据，而全联合概率分布需要的数量将超过10亿个,但是可以表达完整的信度状态吗?

15、换句话说，即能够由BN计算出命题的全联合概率分布吗?,计算联合概率,P(JMABE) = ?,P(JMABE) = P(JM|A,B,E) P(ABE) = P(J|A,B,E) P(M|A,B,E) P(ABE) (J 和 M 在给定A条件下是独立的) P(J|A,B,E) = P(J|A) (J 和 BE在给定A条件下是独立的) P(M|A,B,E) = P(M|A) P(ABE) = P(A|B,E) P(B|E) P(E) = P(A|B,E) P(B) P(E) (B 和 E 是独立 ) P(JMABE) = P(J|A)P(M|A)P(A|B,E)P(B)P(E),Calculat

16、ion of Joint Probability,P(JMABE) = P(J|A)P(M|A)P(A|B,E)P(B)P(E) = 0.9 x 0.7 x 0.001 x 0.999 x 0.998 = 0.00062,Calculation of Joint Probability,P(JMABE) = P(J|A)P(M|A)P(A|B,E)P(B)P(E) = 0.9 x 0.7 x 0.001 x 0.999 x 0.998 = 0.00062,Calculation of Joint Probability,P(JMABE) = P(J|A)P(M|A)P(A|B,E)P(B)P(

17、E) = 0.9 x 0.7 x 0.001 x 0.999 x 0.998 = 0.00062,由于由BN能够求得命题集合的全联合概率分布，因此BN能够表达完整的一个信度状态,BN给出了P(t|c) 那么P(c|t)是多少呢? P(Cavity|t) = P(Cavity t)/P(t) = P(t|Cavity) P(Cavity) / P(t) Bayes rule P(c|t) = a P(t|c) P(c)查询其实就是根据BN不断应用贝叶斯法则得到结果,向BN提出查询 Querying the BN,新证据E表明JohnCalls 发生概率为p我们想知道的是其他信度的后验概率，例如P

18、(Burglary|E)P(B|E) = P(BJ|E) + P(B J|E) = P(B|J,E) P(J|E) + P(B |J,E) P(J|E) = P(B|J) P(J|E) + P(B|J) P(J|E) = p P(B|J) + (1-p) P(B|J)还需要计算 P(B|J) 和 P(B|J),Querying the BN,P(b|J) = a P(bJ) = a SmSaSeP(bJmae) 边缘化 = a SmSaSeP(b)P(e)P(a|b,e)P(J|a)P(m|a) BN = a P(b)SeP(e)SaP(a|b,e)P(J|a)SmP(m|a) 重排序,Que

19、rying the BN,与经典逻辑（确定推理）比较Comparison to Classical Logic,Burglary Alarm Earthquake Alarm Alarm JohnCalls Alarm MaryCalls如果智能体观察到JohnCalls, 它将推出Alarm, MaryCalls, Burglary,及 Earthquake 如果它观察到JohnCalls, 则什么都无法推出,更复杂的BN例子 汽车启动故障BN,Some Applications of BN,医学诊断，例如淋巴结病变 Medical diagnosis, e.g., lymph-node diseases 软硬件系统故障排除 Troubleshooting of hardware/software systems 金融欺诈检测 Fraud/uncollectible debt detection 数据挖掘 Data mining 数据解析，计算机视觉，图像理解 Data interpretation, computer vision, image understanding ,Region = Sky, Tree, Grass, Rock,R2,R4,R3,R1,Above,BN 图像理解,BN 评估保险事故,