高级人工智能贝叶斯公式.ppt-道客多多

资源描述

1、2018/11/5,史忠植高级人工智能,1,高级人工智能,第六章概率推理史忠植中国科学院计算技术所,4.1概述 4.2贝叶斯概率基础 4.3贝叶斯学习理论 4.4简单贝叶斯学习模型 4.5贝叶斯网络的建造 4.6主动贝叶斯网络 4.7贝叶斯潜在语义模型 4.8贝叶斯网络的证据推理,内容提要,2018/11/5,史忠植高级人工智能,3,贝叶斯网络是什么,贝叶斯网络是用来表示变量间连接概率的图形模式，它提供了一种自然的表示因果信息的方法，用来发现数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。贝叶斯方法正在以其独特的不确定性知识表达形式、丰富的概率表达能力、综合

2、先验知识的增量学习特性等成为当前数据挖掘众多方法中最为引人注目的焦点之一。,2018/11/5,史忠植高级人工智能,4,贝叶斯网络是什么,贝叶斯（Reverend Thomas Bayes 1702-1761）学派奠基性的工作是贝叶斯的论文“关于几率性问题求解的评论”。或许是他自己感觉到它的学说还有不完善的地方，这一论文在他生前并没有发表，而是在他死后，由他的朋友发表的。著名的数学家拉普拉斯（Laplace P. S.）用贝叶斯的方法导出了重要的“相继律”，贝叶斯的方法和理论逐渐被人理解和重视起来。但由于当时贝叶斯方法在理论和实际应用中还存在很多不完善的地方，因而在十九世纪并未被普遍接受。,

3、2018/11/5,史忠植高级人工智能,5,贝叶斯网络是什么,二十世纪初，意大利的菲纳特（B. de Finetti）以及英国的杰弗莱（Jeffreys H.）都对贝叶斯学派的理论作出重要的贡献。第二次世界大战后，瓦尔德（Wald A.）提出了统计的决策理论，在这一理论中，贝叶斯解占有重要的地位；信息论的发展也对贝叶斯学派做出了新的贡献。1958年英国最悠久的统计杂志Biometrika全文重新刊登了贝叶斯的论文，20世纪50年代，以罗宾斯（Robbins H.）为代表，提出了经验贝叶斯方法和经典方法相结合，引起统计界的广泛注意，这一方法很快就显示出它的优点，成为很活跃的一个方向。,2018

4、/11/5,史忠植高级人工智能,6,贝叶斯网络是什么,随着人工智能的发展，尤其是机器学习、数据挖掘等兴起，为贝叶斯理论的发展和应用提供了更为广阔的空间。贝叶斯理论的内涵也比以前有了很大的变化。80年代贝叶斯网络用于专家系统的知识表示，90年代进一步研究可学习的贝叶斯网络，用于数据采掘和机器学习。近年来，贝叶斯学习理论方面的文章更是层出不穷，内容涵盖了人工智能的大部分领域，包括因果推理、不确定性知识表达、模式识别和聚类分析等。并且出现了专门研究贝叶斯理论的组织和学术刊物ISBA,2018/11/5,史忠植高级人工智能,7,贝叶斯网络的应用领域,辅助智能决策数据融合模式识别医疗诊断文本

5、理解数据挖掘,2018/11/5,史忠植高级人工智能,8,统计概率,统计概率:若在大量重复试验中，事件A发生的频率稳定地接近于一个固定的常数p，它表明事件A出现的可能性大小，则称此常数p为事件A发生的概率，记为P(A), 即pP(A) 可见概率就是频率的稳定中心。任何事件A的概率为不大于1的非负实数，即0P(A)1,2018/11/5,史忠植高级人工智能,9,条件概率,条件概率:我们把事件B已经出现的条件下，事件A发生的概率记做为P(A|B)。并称之为在B出现的条件下A出现的条件概率，而称P(A)为无条件概率。若事件A与B中的任一个出现，并不影响另一事件出现的概率，即当P(A)P(AB)

6、或P(B)P(BA)时，则称A与B是相互独立的事件。,2018/11/5,史忠植高级人工智能,10,加法定理,两个不相容(互斥)事件之和的概率,等于两个事件概率之和,即P(A+B) P(A)P(B)若A、B为两任意事件，则：P(A+B)P(A)P(B)P(AB),2018/11/5,史忠植高级人工智能,11,乘法定理,设A、B为两个任意的非零事件，则其乘积的概率等于A(或B)的概率与在A(或B)出现的条件下B(或A)出现的条件概率的乘积。P(AB)P(A)P(B|A) 或 P(AB)P(B)P(A|B),2018/11/5,史忠植高级人工智能,12,贝叶斯网络定义,贝叶斯网络是表示变量间

7、概率依赖关系的有向无环图，这里每个节点表示领域变量，每条边表示变量间的概率依赖关系，同时对每个节点都对应着一个条件概率分布表(CPT) ，指明了该变量与父节点之间概率依赖的数量关系。,2018/11/5,史忠植高级人工智能,13,贝叶斯网的表示方法,= P(A) P(S) P(T|A) P(L|S) P(B|S) P(C|T,L) P(D|T,L,B),P(A, S, T, L, B, C, D),贝叶斯网络是表示变量间概率依赖关系的有向无环图,2018/11/5,史忠植高级人工智能,14,先验概率,先验概率是指根据历史的资料或主观判断所确定的各事件发生的概率，该类概率没能经过实验证实，属

8、于检验前的概率，所以称之为先验概率。先验概率一般分为两类，一是客观先验概率，是指利用过去的历史资料计算得到的概率；二是主观先验概率，是指在无历史资料或历史资料不全的时候，只能凭借人们的主观经验来判断取得的概率。,2018/11/5,史忠植高级人工智能,15,后验概率,后验概率一般是指利用贝叶斯公式，结合调查等方式获取了新的附加信息，对先验概率进行修正后得到的更符合实际的概率。,2018/11/5,史忠植高级人工智能,16,联合概率,联合概率也叫乘法公式，是指两个任意事件的乘积的概率，或称之为交事件的概率。,2018/11/5,史忠植高级人工智能,17,设A1,A2,An是两两互斥的事件，

9、且P(Ai)0， i =1,2,n, A1+A2+,+An=,全概率公式,A1,A2,A3,An,B,另有一事件B,= BA1+BA2+,+BAn,称满足上述条件的 A1,A2,An为完备事件组.,2018/11/5,史忠植高级人工智能,18,全概率,例:某汽车公司下属有两个汽车制造厂,全部产品的40%由甲厂生产,60%由乙厂生产.而甲乙二厂生产的汽车的不合格率分别为1%,2%.求从公司生产的汽车中随机抽取一辆为不合品的概率. 解:设A1,A2分别表示甲厂汽车乙厂汽车,B表示不合格品P(A1)=0.4, P(A2)=0.6P(B/A1)=0.01, P(B/A2)=0.02A1A2= P(

10、B)=P(A1B+A2B) =P(A1B)+P(A2B)=P(A1)P(B/A1)+P(A2)P(B/A2)=0.40.01+0.60.02=0.016,2018/11/5,史忠植高级人工智能,19,由此可以形象地把全概率公式看成为 “由原因推结果”，每个原因对结果的发生有一定的“作用”，即结果发生的可能性与各种原因的“作用”大小有关. 全概率公式表达了它们之间的关系 .,诸Ai是原因 B是结果,A1,A2,A3,A4,A5,A6,A7,A8,B,2018/11/5,史忠植高级人工智能,20,实际中还有下面一类问题，是 “已知结果求原因”,引例:某汽车公司下属有两个汽车制造厂,全部产品的

11、40%由甲厂生产,60%由乙厂生产.而甲乙二厂生产的汽车的不合格率分别为1%,2%.,从公司生产的汽车中随机抽取一辆为不合品,问它是甲厂生产的可能性多大？,即求：,P(A1/ B),2018/11/5,史忠植高级人工智能,21,由题可知,P(A1/ B),=,2018/11/5,史忠植高级人工智能,22,有三个箱子，分别编号为1,2,3，1号箱装有1个红球4个白球，2号箱装有2红球3白球，3号箱装有3红球. 某人从三箱中任取一箱，从中任意摸出一球，发现是红球,求该球是取自1号箱的概率 .,1,1红4白,2018/11/5,史忠植高级人工智能,23,记 Ai=球取自i号箱, i=1,2,

12、3; B =取得红球,求P(A1|B),P(A1)=1/3,=P(A2),=P(A3),P(B/A1)=1/5,P(B/A2)=2/5,P(B/A3)=1,由题可知,=0.125,2018/11/5,史忠植高级人工智能,24,该公式于1763年由贝叶斯(Bayes)给出. 它是在观察到事件B已发生的条件下，寻找导致B发生的每个原因的概率.,贝叶斯公式,设A1,A2,An是样本空间中的完备事件组且P(Ai)0，i=1,2,n, 另有一事件B，则有,2018/11/5,史忠植高级人工智能,25,贝叶斯规则,基于条件概率的定义 p(Ai|E) 是在给定证据下的后验概率 p(Ai) 是先验概率 P

13、(E|Ai) 是在给定Ai下的证据似然 p(E) 是证据的预定义后验概率,A1,A2,A3,A4,A5,A6,E,2018/11/5,史忠植高级人工智能,26,贝叶斯网络的概率解释,任何完整的概率模型必须具有表示（直接或间接）该领域变量联合分布的能力。完全的枚举需要指数级的规模（相对于领域变量个数）贝叶斯网络提供了这种联合概率分布的紧凑表示：分解联合分布为几个局部分布的乘积：从公式可以看出，需要的参数个数随网络中节点个数呈线性增长，而联合分布的计算呈指数增长。网络中变量间独立性的指定是实现紧凑表示的关键。这种独立性关系在通过人类专家构造贝叶斯网中特别有效。,2018/11/5,史忠植高

14、级人工智能,27,简单贝叶斯学习模型,简单贝叶斯学习模型（Simple Bayes 或 Nave Bayes ）将训练实例I分解成特征向量X和决策类别变量C。简单贝叶斯模型假定特征向量的各分量间相对于决策变量是相对独立的，也就是说各分量独立地作用于决策变量。尽管这一假定一定程度上限制了简单贝叶斯模型的适用范围，然而在实际应用中，不仅以指数级降低了贝叶斯网络构建的复杂性，而且在许多领域，在违背这种假定的条件下，简单贝叶斯也表现出相当的健壮性和高效性111，它已经成功地应用到分类、聚类及模型选择等数据挖掘的任务中。目前，许多研究人员正致力于改善特征变量间独立性的限制54，以使它适用于更大的范围。,

15、2018/11/5,史忠植高级人工智能,28,简单贝叶斯 Nave Bayesian,结构简单只有两层结构推理复杂性与网络节点个数呈线性关系,2018/11/5,史忠植高级人工智能,29,How a naive Bayes classifies?,Bayes Decision rule : Find the c that maximizes (1),(1),Given an instance vector,Calculate for all class c,2018/11/5,史忠植高级人工智能,30,How to train a naive Bayes? (discrete case)

16、,Suppose Xj is a discrete variable whose value is xj then usually we can estimate,Where is # of the training examples belonging to class c and is # of training examples belonging to class c and having their Xj=xj; j , are “prior parameters.”,from training data. (Dirichlet priors;Cooper,1999),2018/11

17、/5,史忠植高级人工智能,31,How to train a naive Bayes? continuous case,Parameter estimation Assuming is Gaussian (Duda & Hart 1973)Discretization Equal width interval binning Bin log l (Spector, 1990) 1-R (Holts, 1994) Entropy-based (Fayyad & Irani, 1993),2018/11/5,史忠植高级人工智能,32,简单贝叶斯学习模型,设样本A表示成属性向量，如果属性对于给定

18、的类别独立，那么P(A|Ci)可以分解成几个分量的积：,ai是样本A的第i个属性,2018/11/5,史忠植高级人工智能,33,简单贝叶斯学习模型,简单贝叶斯分类模型,这个过程称之为简单贝叶斯分类 (SBC: Simple Bayesian Classifier)。一般认为，只有在独立性假定成立的时候，SBC才能获得精度最优的分类效率；或者在属性相关性较小的情况下，能获得近似最优的分类效果。,2018/11/5,史忠植高级人工智能,34,简单贝叶斯模型的提升,基于Boosting简单贝叶斯模型。,提升方法（Boosting）总的思想是学习一系列分类器，在这个序列中每一个分类器对它前一个分类

19、器导致的错误分类例子给与更大的重视。尤其是，在学习完分类器Hk之后，增加了由Hk导致分类错误的训练例子的权值，并且通过重新对训练例子计算权值，再学习下一个分类器Hk+1。这个过程重复T次。最终的分类器从这一系列的分类器中综合得出。,2018/11/5,史忠植高级人工智能,35,PAC-Bayes 学习,现代学习理论大致可以分为两大类：贝叶斯推理和PAC（Probability Approximation Correct）学习。这两类学习算法都以训练数据集作为输入，经过学习，输出一个概念或模型；它们也都关联着相应的正确性定理：PAC学习对独立同分布的训练样本集提供了很好的性能保证，而贝叶斯正确

20、性定理能保证充分地利用先验信息。结合这两类学习算法的优点，产生了PAC-Bayes学习理论。,David A Mcallester1999 给出了两个PAC-Bayes定理,Ralf Herbrich 等提出了贝叶斯点机理论,2018/11/5,史忠植高级人工智能,36,贝叶斯神经网络模型,基于模型组合的贝叶斯神经网络模型利用贝叶斯证据框架理论学习神经网络的结构,2018/11/5,史忠植高级人工智能,37,是表示变量间连结关系的有向无环图,贝叶斯网络的学习,结构学习,参数学习,构建贝叶斯网络,2018/11/5,史忠植高级人工智能,38,构建贝叶斯网络,Bayesian Networ

21、k,Bayesian Network,Bayesian Network,Problem Domain,Problem Domain,Problem Domain,Expert Knowledge,Expert Knowledge,Training Data,Training Data,Probability Elicitor,Learning Algorithm,Learning Algorithm,2018/11/5,史忠植高级人工智能,39,贝叶斯概率(密度估计),贝叶斯学习理论利用先验信息和样本数据来获得对未知样本的估计，而概率（联合概率和条件概率）是先验信息和样本数据信息在贝叶斯学习

22、理论中的表现形式。如何获得这些概率（也称之为密度估计）是贝叶斯学习理论争议较多的地方。研究如何根据样本的数据信息和人类专家的先验知识获得对未知变量（向量）的分布及其参数的估计。它有两个过程：一是确定未知变量的先验分布；二是获得相应分布的参数估计。如果以前对所有信息一无所知，称这种分布为无信息先验分布；如果知道其分布求它的分布参数，称之为有信息先验分布。,2018/11/5,史忠植高级人工智能,40,密度估计,先验分布的选取原则,共轭分布杰弗莱原则最大熵原则,2018/11/5,史忠植高级人工智能,41,从数据中学习,共轭分布族先验与后验属于同一分布族预先给定一个似然分布形式对于变

23、量定义在0-1之间的概率分布，存在一个离散的样本空间 Beta 对应着 2 个似然状态多变量 Dirichlet 分布对应 2个以上的状态,2018/11/5,史忠植高级人工智能,42,共轭分布,Raiffa和Schaifeer提出先验分布应选取共轭分布，即要求后验分布与先验分布属于同一分布类型。它的一般描述为 :设样本X1,X2, ,Xn 对参数的条件分布为p（x1,x2, , xn|），如果先验分布密度函数,决定的后验密度,同属于一种类型，则称,与,为p（x|）的共轭分布。,2018/11/5,史忠植高级人工智能,43,杰弗莱原则,杰弗莱对于先验分布的选取做出了重大的贡献，它提出一个

24、不变原理，较好地解决了贝叶斯假设中的一个矛盾，并且给出了一个寻求先验密度的方法。杰弗莱原则由两个部分组成：一是对先验分布有一合理要求；一是给出具体的方法求得适合于要求的先验分布。先验分布的选取原则,2018/11/5,史忠植高级人工智能,44,最大熵原则,很明显，（1）的不确定性要比（2）的不确定性小得多，而且从直觉上也可以看得出当取的两个值得概率相等时，不确定性达到最大。,熵是信息论中描述事物不确定性的程度的一个概念。如果一个随机变量只取与两个不同的值，比较下面两种情况：,（1）,（2）,2018/11/5,史忠植高级人工智能,45,最大熵原则,对连续型随机变量x，它的概率密度函数为p

25、(x)，若积分,设随机变量x是离散的，它取,至多可列个值，且,则,称为x的熵,有意义，称它为连续型随机变量的熵,2018/11/5,史忠植高级人工智能,46,先验分布的选取beta分布,2018/11/5,史忠植高级人工智能,47,先验分布的选取多项Dirichlet分布,1),m,(,m,),m,/,m,(1,m,state,i,the,of,variance,m,m,state,i,the,of,mean,.x,x,x,),(m,).,(m,),(m,),m,(,),m,.,m,m,|,(x,p,N,1,i,i,N,1,i,i,N,1,i,i,i,i,th,N,1,i,i,i,th,1

26、,m,1,-,m,1,m,N,2,1,N,1,i,i,N,2,1,Dirichlet,N,2,1,+,-,=,=,G,G,G,G,=,=,=,=,=,-,-,=,2018/11/5,史忠植高级人工智能,48,不完全数据的密度估计,期望最大化方法（Expectation Maximization EM） Gibbs抽样（Gibbs Sampling GS） Bound and Collapse (BC),2018/11/5,史忠植高级人工智能,49,期望最大化方法,分为以下几个步骤：（1）含有不完全数据的样本的缺项用该项的最大似然估计代替；（2）把第一步中的缺项值作为先验信息，计算每一缺项的

27、最大后验概率，并根据最大后验概率计算它的理想值。（3）用理想值替换（1）中的缺项。（4）重复（13），直到两次相继估计的差在某一固定阀值内。,2018/11/5,史忠植高级人工智能,50,Gibbs抽样,Gibbs抽样（Gibbs Sampling GS） GS是最为流行的马尔科夫、蒙特卡罗方法之一。GS把含有不完全数据样本的每一缺项当作待估参数，通过对未知参数后验分布的一系列随机抽样过程，计算参数的后验均值的经验估计。,2018/11/5,史忠植高级人工智能,51,贝叶斯网络的结构学习,基于搜索评分的方法: 初始化贝叶斯网络为孤立节点使用启发式方法为网络加边使用评分函数评测新的结构是

28、否为更好贝叶斯评分（Bayesian Score Metric）基于墒的评分最小描述长度MDL(Minimal Description Length) 重复这个过程，直到找不到更好的结构基于依赖分析的方法: 通过使用条件独立性检验conditional independence (CI) 找到网络的依赖结构,2018/11/5,史忠植高级人工智能,52,基于MDL的贝叶斯网结构学习,计算每一点对之间的互信息：建立完全的无向图，图中的顶点是变量，边是变量之间的互信息建立最大权张成树根据一定的节点序关系，设置边的方向,2018/11/5,史忠植高级人工智能,53,基于条件独立性的贝叶斯网络学

29、习,假定：节点序已知第一阶段 (Drafting) 计算每对节点间的互信息，建立完整的无向图. 第二阶段 (Thickening) 如果接点对不可能d-可分的话，把这一点对加入到边集中。第三阶段 (Thinning) 检查边集中的每个点对，如果两个节点是d-可分的，那么移走这条边。,2018/11/5,史忠植高级人工智能,54,基于条件独立性检验(CI)的贝叶斯网络结构学习,1）初始化图结构B=,A=,R=,S=; 2）对每一节点对，计算它们的互信息，并将互信息大于某一域值的节点对按互信息值的大小顺序加入到S中； 3）从S中取出第一个点对，并从S中删除这个元素，把该点对加入到边集A中；

30、 4）从S中剩余的点对中，取出第一个点对，如果这两各界点之间不存在开放路径，再把该点对加入A到中，否则加入到R中； 5）重复4),直到S为空； 6）从R中取出第一个点对； 7）找出该点对的某一块集，在该子集上做独立性检验，如果该点对的两个节点，仍然相互依赖，则加入到A中； 8）重复6),直到R为空； 9）对A中的每一条边，如果除这条边外，仍旧含有开放路径，则从A中临时移出，并在相应的块集上作独立性测试，如果仍然相关，则将其返回到A中，否则从A中删除这条边。,2018/11/5,史忠植高级人工智能,55,树增广的朴素贝叶斯网 TAN的结构学习,2018/11/5,史忠植高级人工智能,5

31、6,主动贝叶斯网络分类器,主动学习：,主动在候选样本集中选择测试例子，并将这些实例以一定的方式加入到训练集中。,选择策略,抽样选择,投票选择,随机抽样相关抽样不确定性抽样,2018/11/5,史忠植高级人工智能,57,主动贝叶斯网络分类器,学习过程,输入：带有类别标注的样本集L，为带类别标注的候选样本集UL,选择停止标准e，每次从候选集中选择的样本个数M 输出：分类器C. 过程：While not e TrainClassifer(L,C) /从L中学习分类器C；For each x计算ES； SelectExampleByES(S,UL,M,ES) /根据ES从UL中选择M个例子的子集

32、S. LabeledAndAdd(S,L); /用当前的分类器C标注S中的元素，并把它加入到L中。Remove(S,UL); /从UL中移走S.CheckStop(,2018/11/5,史忠植高级人工智能,58,主动贝叶斯网络分类器,基于最大最小熵的主动学习,首先从测试样本中选择出类条件熵最大和最小的候选样本（MinExample, MaxExample），然后将这两个样本同时加入到训练集中。类条件熵最大的样本的加入，使得分类器能够对具有特殊信息的样本的及早重视；而类条件熵最小的样本是分类器较为确定的样本，对它的分类也更加准确，从而部分地抑制了由于不确定性样本的加入而产生的误差传播问题,20

33、18/11/5,史忠植高级人工智能,59,主动贝叶斯网络分类器,基于分类损失与不确定抽样相结合的主动学习,分类损失：,选择过程：,从测试样本中选择个熵较大的样本，组成集合maxS，然后对此集合中每个元素计算相对于该集合的分类损失和，选择分类损失和最小的样本做标注并加入到训练样本集中。,2018/11/5,史忠植高级人工智能,60,主动贝叶斯网络分类器,初始标注样本数：96,为标注训练样本数：500,测试集样本数：1193,ALearnerByMaxMinEntropy测试结果,ALearnerByUSandCL测试结果,2018/11/5,史忠植高级人工智能,61,贝叶斯潜在语义模

34、型,随着互联网的普及，网上信息正在呈指数级增长趋势。合理地组织这些信息，以便从茫茫的数据世界中，检索到期望的目标；有效地分析这些信息，以便从浩如烟海的信息海洋中，挖掘出新颖的、潜在有用的模式，正在成为网上信息处理的研究热点。网上信息的分类目录组织是提高检索效率和检索精度的有效途径，如在利用搜索引擎对网页数据进行检索时，如能提供查询的类别信息，必然会缩小与限制检索范围，从而提高查准率，同时，分类可以提供信息的良好组织结构，便于用户进行浏览和过滤信息。,2018/11/5,史忠植高级人工智能,62,贝叶斯潜在语义模型,聚类分析是文本挖掘的主要手段之一。它的主要作用是：1）通过对检索结果的聚类，将

35、检索到的大量网页以一定的类别提供给用户，使用户能快速定位期望的目标；2）自动生成分类目录；3）通过相似网页的归并，便于分析这些网页的共性。K-均值聚类是比较典型的聚类算法，另外自组织映射（SOM）神经网络聚类和基于概率分布的贝叶斯层次聚类（HBC）等新的聚类算法也正在不断的研制与应用中。然而这些聚类算法大部分是一种无监督学习，它对解空间的搜索带有一定的盲目性，因而聚类的结果一定程度上缺乏语义特征；同时，在高维情况下，选择合适的距离度量标准变得相当困难。而网页分类是一种监督学习，它通过一系列训练样本的分析，来预测未知网页的类别归属。目前已有很多有效的算法来实现网页的分类，如Naive Bayes

36、ian、SVM等。遗憾的是获得大量的、带有类别标注的样本的代价是相当昂贵的，而这些方法只有通过大规模的训练集才能获得较高精度的分类效果。,2018/11/5,史忠植高级人工智能,63,贝叶斯潜在语义模型,Kamal Nigam 等人提出从带有类别标注和不带有类别标注的混合文档中分类Web网页，它只需要部分带有类别标注的训练样本，结合未标注样本含有的知识来学习贝叶斯分类器,通过引入贝叶斯潜在语义模型，首先将含有潜在类别主题变量的文档分配到相应的类主题中。接着利用简单贝叶斯模型，结合前一阶段的知识，完成对未含类主题变量的文档作标注。针对这两阶段的特点，我们定义了两种似然函数，并利用EM算法获得最

37、大似然估计的局部最优解。这种处理方法一方面克服了非监督学习中对求解空间搜索的盲目性；另一方面它不需要对大量训练样本的类别标注，只需提供相应的类主题变量，把网站管理人员从繁琐的训练样本的标注中解脱出来，提高了网页分类的自动性。为了与纯粹的监督与非监督学习相区别，称这种方法为半监督学习算法。,2018/11/5,史忠植高级人工智能,64,LSA 的应用,向量的相似性,特征的相似性,贝叶斯潜在语义分析BLSALSA,2018/11/5,史忠植高级人工智能,65,贝叶斯潜在语义分析BLSA,文档产生模型,以一定的概率选择文档 d,以一定的概率选择一潜在变量 z,以一定的概率产生特征 w,产生如下的

38、联合概率模型,2018/11/5,史忠植高级人工智能,66,最大化似然函数,目的在于估计下面的分布参数,贝叶斯潜在语义分析BLSA,2018/11/5,史忠植高级人工智能,67,EM 算法求得最大似然,E步,M步,似然函数值与迭代步骤的关系,2018/11/5,史忠植高级人工智能,68,半监督web挖掘算法(1),算法描述:,已知：,求划分:,贝叶斯潜在语义分析BLSA,2018/11/5,史忠植高级人工智能,69,半监督web挖掘算法(2),解决策略：,1. 划分D为两个集和:,3. 使用Naive Bayesian标注,2. 使用 BLSA 标注,2018/11/5,史忠植高级人

39、工智能,70,1) 使用 BLSA估计分布参数,2) 使用最大后验概率标注文档,1. 使用 BLSA 标注,半监督web挖掘算法(3),2018/11/5,史忠植高级人工智能,71,半监督web挖掘算法(3),2. 使用Naive Bayesian标注,M步:,E步:,似然函数,2018/11/5,史忠植高级人工智能,72,试验结果,1000 足球类文档 876 特征词,半监督web挖掘算法(4),2018/11/5,史忠植高级人工智能,73,贝叶斯网中的证据推理,目的：通过联合概率分布公式，在给定的网络结构和已知证据下，计算某一事件的发生的概率。,E,网络,证据,查询,推理,贝叶斯推

40、理可以在反复使用贝叶斯规则而获得,2018/11/5,史忠植高级人工智能,74,推理方法概述,精确推理网络的拓扑结构是推理复杂性的主要原因；当前的一些精确算法是有效地，能够解决现实中的大部分问题由于对知识的认知程度，精确推理还存在一些问题近似推理证据的低似然性和函数关系是近似推理中复杂性的主要原因,NP Hard,2018/11/5,史忠植高级人工智能,75,影响推理的因素,网络结构的特征网络的拓扑结构网络的大小网络中变量的类型（离散、连续）变量的分布墒相关查询的特征任务查询类型（批处理、异步执行）可用的计算资源（嵌入式系统、并行处理）相关证据的特征证据的特征,2018/1

41、1/5,史忠植高级人工智能,76,查询的任务类型,预测对给定的模型，将要发生什么给定证据下的后验计算所有的边界后验指定的边界后验指定的联合条件查询最可能的假设一个最可能的n 个最可能的决策策略,2018/11/5,史忠植高级人工智能,77,继续前面的医疗诊断例子,贝叶斯推理中非条件分布和边界分布是常见的查询模式一个节点的边界分布也称为该节点的信任函数,2018/11/5,史忠植高级人工智能,78,推理过程中的信任传播,2018/11/5,史忠植高级人工智能,79,推理算法,精确推理联合概率计算 Nave Bayesian 图约简算法 Polytree算法,近似推理前向

42、模拟推理随机模拟推理,The algorithms purpose is “ fusing and propagating the impact of new evidence and beliefs through Bayesian networks so that each proposition eventually will be assigned a certainty measure consistent with the axioms of probability theory.” (Pearl, 1988, p 143),2018/11/5,史忠植高级人工智能,80,精确推理

43、计算联合概率,任何查询都可以通过联合概率回答,步骤：计算联合概率P(AB)=P(A)*P(B|A)边界化不在查询中的变量P(B)=AP(AB)效率低,A,B,2018/11/5,史忠植高级人工智能,81,图约简算法一般原理,基本观点任何概率查询可以表示成网络的子网，推理的目的是把网络分解成几个子网三个基本操作拟转弧操作（Arc Reversal）贝叶斯公式孤寡点移出(Barren node removal)求和公式值节点归并(Merge with Value node)期望最大化,2018/11/5,史忠植高级人工智能,82,约简算法拟转弧操作,X1,X3,X2,p(x1, x2, x

45、据节点或赋值节点,2018/11/5,史忠植高级人工智能,85,Polytree算法介绍,该算法由Pearl 于1982年首次提出基本观点计算边界后验的消息传递机制Lambda 算子：消息向上传向父亲pi 算子：消息向下传向孩子,2018/11/5,史忠植高级人工智能,86,Polytree算法单连通网,定义：在任何两个节点之间存在且仅存在一条路径（忽略方向）,X,Multiple parents and/or multiple children,2018/11/5,史忠植高级人工智能,87,单连通网的表示,X 表示 m维随机向量; x 表示随机向量可能的取值 e 表示m维向量的一个取

46、值 My|x 是条件概率p(y|x)的似然矩阵,Bel (x) = p(x|e) 表示随机向量的后验； f(x) g(x) 表示向量的叉积 f(x) g(x)表示向量的点积是标准化常量,2018/11/5,史忠植高级人工智能,88,概率的双向传播,2018/11/5,史忠植高级人工智能,89,传播算法,对每个节点引入证据时，产生: 沿着弧的方向传播一组 “p” 消息逆着弧的方向传播一组 “l” 消息对接收 “p” or “l” 消息的每个节点: 节点修正它的“p”或 “l”，并发送到网络中使用修正的“p”或 “l” ，更改结点的信任函数 BEL,T BEL(t) p(t) l(t),

47、U BEL(t) p(t) l(t),X BEL(t) p(t) l(t),Y BEL(t) p(t) l(t),Z BEL(t) p(t) l(t),Mu|t,Mx|u,My|x,Mz|y,2018/11/5,史忠植高级人工智能,90,实例描述,p(A1) = 0.9 p(A2) = 0.1M B|A = M C|B =,Ch,Di,A1,A2,C1,C2,C3,B1,B2,2018/11/5,史忠植高级人工智能,91,实例算子设定,(1) 初始化 lambda 算子为单位向量; Bel(A) = (A) (A)(A) Bel(A) (A) A1 0.9 0.9 1.0A2 0.1 0.

48、1 1.0(2) (B) = (A) MB|A; Bel(B) = (B) (B)(B) Bel(B) (B) B1 0.73 0.73 1.0B2 0.27 0.27 1.0(3) (C) = (B) MC|B; Bel(C) = (C) (C)(C) Bel(C) (C) C1 0.39 0.40 1.0C2 0.35 0.36 1.0C3 0.24 0.24 1.0,2018/11/5,史忠植高级人工智能,92,实例第一次传播,t,TR,T,=,=,0,5,l,(,),.,1 .6,t,=,0,(lR),=,.8 .2,p,t = 1(A) = (IR)(A) Bel(A) (A) A1 0.8 0.8 1.0 A2 0.2 0.2 1.0(B) Bel(B) (B) B1 0.73 0.73 1.0 B2 0.27 0.27 1.0(C) Bel(C) (C) C1 0.39 0.3 0.5 C2 0.35 0.5 1.0 C3 0.24 0.2 0.6t = 1(C) = (TR),2018/11/5,史忠植高级人工智能,93,

展开阅读全文