知识图谱————9.知识推理.pdf

1、第10章 知识推理 2017-2018 学年- 秋季学期: 知识图谱导论 王 泉 中国科学院信息工程研究所 中国科学院大学网络空间安全学院 提纲 概述 归纳推理：学习推理规则 归纳逻辑程序设计 关联规则挖掘 路径排序算法 演绎推理：推理具体事实 马尔可夫逻辑网 概率软逻辑 基于分布式表示的推理 本章小结 提纲 概述 归纳推理：学习推理规则 归纳逻辑程序设计 关联规则挖掘 路径排序算法 演绎推理：推理具体事实 马尔可夫逻辑网 概率软逻辑 基于分布式表示的推理 本章小结 面向知识图谱应用的知识推理 知识图谱需要推理，主要体现在两种任务上： 知识库补全：也称知识图谱上的链接 预测， 其本质 是根据

2、知 识库中已有的知识推断出新的、未知 的知识 。知识 库补全 可 以用来建 立 更全面的 知 识库，是 知 识库构建 的 重要手段 之 一。 知识库问答：基于知识库的问答主要 是通过 对自然 问句的 解 析，再从知识库中寻找答案的过程。 但由于 知识库 中知识 不 完备等原因，知识库问答也需要推理 技术的 支撑。 Tom Lyon Bob FR Pari s Nationality Q: 唐朝的开国皇帝是谁？ ( 唐朝, 开国皇帝, ? ) 开国皇帝( 唐朝, ? ) 什么是推理 人类一直强调人的智能是如何获得的不是靠反射机制 而是对知识的内部表示进行操作的推理过程。 推理是逻辑学、哲学、心理

3、学、人工智能等学科中的重要 概念。早在古希腊时期，著名哲学家亚里斯多德就提出三 段论作为现代演绎推理的基础。在计算机科学及人工智能 领域，推理是一个按照某种策略从已知事实出发去推出结 论的过程。 知识推理的分类 归纳推理与演绎推理 归纳推理 (induction) ：归纳是从特殊到一般的 过程。 所谓 归纳推理，就是从一类事物的大量特 殊事例 出发， 去推出 该 类事物的一般性结论。我们熟知的数 学归纳 法就是 归纳推 理 的一个典型例子。 前提： 蓝鲸可以喷射水柱。 抹香鲸可以喷射水柱。 座头鲸可以喷射水柱。 结论： 鲸鱼都可以喷射水柱。 知识推理的分类 归纳推理与演绎推理 演绎推理 (de

4、duction) ：演绎是从一般 到特殊 的过程 。所谓 演绎推理 ， 就是从一 般 性的前提 出 发，通过 演 绎（即推 导 ）， 得出具体陈述或个别结论的过程。最 经典的 演绎推 理就是 三 段论 (syllogism) ，它包括一个一般性原则 （大前 提）、 一 个附属于大前提的特殊化陈述（小前 提）， 以及由 此引申 出 的特殊化陈述符合一般性原则的结论 。 大前提： 计算机系的学生都会编程。 小前提： 李强是计算机系的学生。 结论： 李强会编程。 知识推理的分类 归纳推理与演绎推理 演绎推理 (deduction) ：演绎推理不仅 仅局限 于三段 论，也 不只是从一般到特殊的过程。它

5、有着 强烈的 演绎特 性，重 在 通过利用每一个证据，逐步地推导到 目标或 以外的 结论， 多 被用于数学物理证明、思维推导等各 类应用 。 例：莎士比亚在威尼斯商人中，描写富家少女鲍西亚品貌双全，贵族子弟、 公子王孙纷纷向她求婚。鲍西亚按照其父遗嘱，由求婚者猜盒订婚。鲍西亚有金、 银、铅三个盒子，分别刻有三句话，其中只有一个盒子放有鲍西亚的肖像。求婚 者中谁通过这三句话，最先猜中肖像放在哪个盒子里，谁就可以娶到鲍西亚。 金盒子上说：“肖像不在此盒中。” 银盒子上说：“肖像在铅盒中。” 铅盒子上说：“肖像不在此盒中。” 鲍西亚告诉求婚者，上述三句话中，最多只有一句话是真的。如果你是一位 求婚者

6、，如何尽快猜中鲍西亚的肖像究竟放在哪一个盒子里？ 知识推理的分类 归纳推理与演绎推理 演绎推理与归纳推理的区别：演绎推 理是在 已知领 域内的 一 般性知识的前提下，通过演绎求解一 个具体 问题或 者证明 一 个结论的正确性。它所得出的结论实 际上早 已蕴含 在一般 性 知识的前提中，演绎推理只不过是将 已有事 实揭示 出来， 因 此它不能增殖新知识。而相反，归纳 推理所 推出的 结论是 没 有包含在前提内容中的。这种由个别 事物或 现象推 出一般 性 知识的过程，是增殖新知识的过程。 知识推理的分类 确定性推理与不确定性推理 确定性推理：确定性推理大多指确定 性逻辑 推理， 它具有 完 备的

7、推理过程和充分的表达能力，可 以严格 地按照 专家预 先 定义好的规则准确地推导出最终结论 。但是 确定性 推理很 难 应对真实世界中，尤其是存在于网络 大规模 知识图 谱中的 不 确定甚至不正确的事实和知识。 不确定的知识 ： “一个人和其父亲拥有同样的国籍” 这条规 则在现 实生活 中大部分情况下都是正确的，但也不 排除移 民、母 方国籍 等因素使得少量事实不满足它。 不正确的事实 ： 大规模知识图谱YAGO根据抽样统计宣布其 中含有5%左右 的错误事实。 知识推理的分类 确定性推理与不确定性推理 不确定性推理：不确定性推理也被称 为概率 推理， 是统计 机 器学习中一个重要的议题。它并不

8、是 严格地 按照规 则进行 推 理，而是根据以往的经验和分析，结 合专家 先验知 识构建 概 率模型，并利用统计计数、最大化后 验概率 等统计 学习的 手 段对推理假设进行验证或推测。不确 定性推 理可以 有效建 模 真实世界中的不确定性。 知识推理的分类 符号推理与数值推理 符号推理：符号推理的特点就是在知 识图谱 中的实 体和关 系 符号上直接进行推理。确定性和不确 定性逻 辑推理 都属于 符 号推理。 数值推理：与符号推理相对的就是数 值推理 。数值 推理就 是 使用数值计算，尤其是向量矩阵计算 的方法 ，捕捉 知识图 谱 上隐式的关联，模拟推理的进行。本 节中介 绍的数 值推理 方 法

9、特指基于分布式知识表示的推理。 提纲 概述 归纳推理：学习推理规则 归纳逻辑程序设计 关联规则挖掘 路径排序算法 演绎推理：推理具体事实 马尔可夫逻辑网 概率软逻辑 基于分布式表示的推理 本章小结 归纳推理：学习推理规则 一阶谓词逻辑规则 谓词： CapitalOf, LocatedIn 个体变量： , 逻辑蕴涵： ，表示“若 ，则 ”的语义 全称量词： ，表示“对任意的”、“凡”、“ 都”等 语义 规则体 (body) ： CapitalOf , ，表示该规则的前提 规则头 (head)： LocatedIn , ，表示该规则的结论 规则实例： CapitalOf , LocatedIn ,

10、 , CapitalOf , LocatedIn , 归纳推理：学习推理规则 规则对于推理的作用 归纳推理：学习推理规则 规则对于推理的作用 归纳推理：学习推理规则 规则对于推理的作用 归纳推理：学习推理规则 规则对于推理的作用 提纲 概述 归纳推理：学习推理规则 归纳逻辑程序设计 关联规则挖掘 路径排序算法 演绎推理：推理具体事实 马尔可夫逻辑网 概率软逻辑 基于分布式表示的推理 本章小结 归纳逻辑程序设计 归纳逻辑程序设计（Inductive Logic Programming, ILP ） 使用一阶谓词逻辑来进行知识表示，通过修改和扩充逻辑 表达式来完成对数据的归纳。 给定： 目标谓词

11、的正例集合 + 的反例集合 背景知识 目标： 找到定义目标谓词 的规则 ，使其 覆盖所有正例而不覆盖任 何反例 背 景 知 识Female Female Female ParentOf , ParentOf , 样 例DaughterOf , DaughterOf , DaughterOf , DaughterOf , DaughterOf , DaughterOf , DaughterOf , Female ParentOf , FOIL算法 FOIL (First Order Inductive Learner) Quinlan, 1990 利 用序贯覆盖实现规则的学习，其基本流程为： 从

12、空规则“ ”开始，将目标谓词作 为规则 头 逐一将其他谓词加入规则体进行考察 ，按预 定标准 评估规 则 的优劣并选取最优规则 将该规则覆盖的训练样例去除，以剩 下的训 练样例 组成训 练 集重复上述过程 FOIL算法 FOIL (First Order Inductive Learner) Quinlan, 1990 利 用序贯覆盖实现规则的学习，其基本流程为： 从空规则“ ”开始，将目标谓词作 为规则 头 逐一将其他谓词加入规则体进行考察 ，按预 定标准 评估规 则 的优劣并选取最优规则 将该规则覆盖的训练样例去除，以剩 下的训 练样例 组成训 练 集重复上述过程 从一般到特殊：逐步向规则

13、 体 添加 约束 ，直至 其不覆 盖任何 反例 1 2 FOIL算法 FOIL 规则评估 + / ：增加候选文字后新规则所覆盖的正/反 例数目 + / ：原规则所覆盖的正/反例数目 Foil 增益仅考虑正例的信息增益， 并以新 规则覆 盖的正 例数 为权重 FOIL_Gain = + log 2 + + + log 2 + + + FOIL算法示例 利用FOIL 算法找到定义目标谓词 DaughterOf 的规则 背 景 知 识Female Female Female ParentOf , ParentOf , 样 例DaughterOf , DaughterOf , DaughterOf ,

14、 DaughterOf , DaughterOf , DaughterOf , DaughterOf , + = 2 = 4 F_Gain DaughterOf , Female + = 2 = 1 2.00 Female + = 1 = 3 -0.42 ParentOf , + = 1 = 1 0.58 ParentOf , + = 1 = 3 -0.42 ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 2 NA ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 0 NA

15、 ParentOf , + = 0 = 0 NA FOIL算法示例 利用FOIL 算法找到定义目标谓词 DaughterOf 的规则 背 景 知 识Female Female Female ParentOf , ParentOf , 样 例DaughterOf , DaughterOf , DaughterOf , DaughterOf , DaughterOf , DaughterOf , DaughterOf , + = 2 = 4 F_Gain DaughterOf , + = = 2.00 Female + = 1 = 3 -0.42 ParentOf , + = 1 = 1 0.58

16、 ParentOf , + = 1 = 3 -0.42 ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 2 NA ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 0 NA FOIL算法示例 利用FOIL 算法找到定义目标谓词 DaughterOf 的规则 背 景 知 识Female Female Female ParentOf , ParentOf , 样 例DaughterOf , DaughterOf , Daughte

17、rOf , DaughterOf , DaughterOf , DaughterOf , DaughterOf , Female + = 2 = 1 F_Gain DaughterOf , Female Female + = 1 = 1 -0.42 , + = = 0.58 ParentOf , + = 1 = 1 -0.42 ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 1 NA ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 0 NA ParentOf , + =

18、0 = 0 NA FOIL算法示例 利用FOIL 算法找到定义目标谓词 DaughterOf 的规则 背 景 知 识Female Female Female ParentOf , ParentOf , 样 例DaughterOf , DaughterOf , DaughterOf , DaughterOf , DaughterOf , DaughterOf , DaughterOf , Female + = 2 = 1 F_Gain DaughterOf , Female Female + = 1 = 1 -0.42 , + = = 0.58 ParentOf , + = 1 = 1 -0.4

19、2 ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 1 NA ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 0 NA ParentOf , + = 0 = 0 NA DaughterOf , Female ParentOf , 传统ILP问题 VS 知识图谱 传统ILP 问题： 谓词可以是多元的 需要目标谓词的正例与反例 封闭世界假设（Closed Word Assumption ） 所有未声明是正例的样本 全都是 反例 知识图谱： 谓词几乎都是二元的 知识图谱一般不显

20、式表示谓词的反例 开放世界假设（Open Word Assumption） 未声明是正例的样本既可 以是反 例，也 可以是 未知类 别的样 本 提纲 概述 归纳推理：学习推理规则 归纳逻辑程序设计 关联规则挖掘 路径排序算法 演绎推理：推理具体事实 马尔可夫逻辑网 概率软逻辑 基于分布式表示的推理 本章小结 AMIE：不完备知识库中的关联规则挖掘 AMIE (Association Rule Mining under Incomplete Evidence) Galrraga et al., 2013 支持从不完备的知识库中， 挖掘闭式（closed ）规则。 两个谓词共享一个变量或实体，则称

21、 其为连 通的。 规则中任意两个谓词可通过连通关系 的传递 性相连 ，则称 该 规则为连通的。 规则是连通的并且其中的变量都至少 出现两 次，则 称其为 闭 式（closed ）逻辑规则。 AMIE：不完备知识库中的关联规则挖掘 AMIE 依次学习预测每种关系的规则。对于每种关系，从 规则体为空的规则开始，通过三种操作扩展规则体部分， 保留支持度大于阈值的候选（闭式）规则。 添加悬挂边 (Add Dangling Atom) ：悬挂边 是指边 的一端 是一个未出现过的变量，而另一端（ 变量或 常量） 是在规 则 中出现过的。 添加实例边 (Add Instantiated Atom) ：实例

22、边与悬 挂边类 似，边的一端也是在规则中出现过的 变量或 常量， 但另一 端 是未出现过的常量，也就是知识库中 的实体 。 添加闭合边 (Add Closing Atom) ：闭合边 则是连 接两个 已 经存在于规则中的元素（变量或常量 ）的边 。 AMIE：不完备知识库中的关联规则挖掘 AMIE 工作流程示意 marriedTo , hasChild , hasChild , AMIE：不完备知识库中的关联规则挖掘 AMIE 规则评估 支持度 (support)：同时符合规则体和规则头的实例 数目 置信度 (confidence)：支持度除以仅符合规则 体的实 例数目 marriedTo ,

23、 hasChild , hasChild , 支持度：2 置信度：2/3 AMIE：不完备知识库中的关联规则挖掘 AMIE 规则评估 支持度 (support)：同时符合规则体和规则头的实例 数目 置信度 (confidence)：支持度除以仅符合规则 体的实 例数目 封闭世界假设 (Closed World Assumption) ：知识库中不 存在的事实都是错误的 AMIE：不完备知识库中的关联规则挖掘 部分完整性假设 (Partial Completeness Assumption) 开放世界假设 (Open World Assumption) ：知识库中不存 在的事实不一定是错误的 部

24、分完整性假设 (Partial Completeness Assumption) ： 在知识库中，如果存在某个实体 的关 系 属性 ，则知 识库 中包含了 的所有关系 属性 http:/ AMIE：不完备知识库中的关联规则挖掘 AMIE 规则评估 支持度 (support)：同时符合规则体和规则头的实例 数目 置信度 (confidence)：支持度除以仅符合规则 体的实 例数目 PCA 置信度 (PCA confidence)： AMIE：不完备知识库中的关联规则挖掘 AMIE 在YAGO 上挖掘出的规则 http:/resources.mpi-inf.mpg.de/yago-naga/am

25、ie/data/yago2/amie_yago2_2.html 提纲 概述 归纳推理：学习推理规则 归纳逻辑程序设计 关联规则挖掘 路径排序算法 演绎推理：推理具体事实 马尔可夫逻辑网 概率软逻辑 基于分布式表示的推理 本章小结 知识图谱中规则与关系路径 知识图谱中包含的仅仅是实体间的二元关系，因此规则与 知识图谱中的关系路径存在对应关系。 marriedTo , hasChild , hasChild , 路径排序算法 PRA (Path Ranking Algorithm) Lao et al., 2011 以实体 间的路径作为特征，来学习目标关系的分类器。 从实体 出发，通过关系路径 到

26、达实体 的概率 也可以是布尔值，表示实体 和实体 之 间是否 存 在路径 还可以是两实体间路径出现的次数、 频率等 路径排序算法 PRA 工作流程 特征抽取：生成并选择路径特征集合 特征计算：计算每个训练样例的特征 值 分类器训练：根据训练样例，为每个 目标关 系训练 一个分 类器 Tom Lyon Bob FR Paris 路径排序算法 PRA 工作流程 特征抽取： 随机游走，广度优先搜索 ，深度 优先搜 索 特征计算： 随机游走概率，布尔值（ 出现/ 不 出现） ，出现 频次/ 频率 分类器训练： 单任务学习：为每个关系 单独训 练一个 二分类 分类器 多任务学习：将不同关系 进行联 合学

27、习 ，同时 训练它 们的分类 器 更多相关工作 Gardner and Mitchell, 2015, Wang et al., 2016 路径排序算法 PRA 规则学习：根据分类器权重自动挖掘并筛选可靠规则 PRA 在Freebase上挖掘出的规则 提纲 概述 归纳推理：学习推理规则 归纳逻辑程序设计 关联规则挖掘 路径排序算法 演绎推理：推理具体事实 马尔可夫逻辑网 概率软逻辑 基于分布式表示的推理 本章小结 演绎推理：推理具体事实 基于规则的直接推理 演绎推理：推理具体事实 基于规则的直接推理 演绎推理：推理具体事实 基于规则的直接推理 通常需要在已知事实上反复迭代使用 规则， 开销大

28、、效率 低 只能进行确定性推理，无法完成不确 定性推 理 提纲 概述 归纳推理：学习推理规则 归纳逻辑程序设计 关联规则挖掘 路径排序算法 演绎推理：推理具体事实 马尔可夫逻辑网 概率软逻辑 基于分布式表示的推理 本章小结 马尔可夫逻辑网 马尔可夫逻辑网 (Markov Logic Network) Richardson and Domingos, 2006 是将概率图模型与一阶谓词逻辑相结 合的一种统计关系学习模型，其核心思想是通过为规则绑 定权重的方式将一阶谓词逻辑规则中的硬性约束（hard constraints ）进行软化。 一阶谓词逻辑知识库可看作是在一个 可能世 界的集 合上建 立

29、 一系列硬 性 规则，即 如 果一个世 界 违反了其 中 的某一条 规 则， 那么这个世界的存在概率即为零。 马尔可夫逻辑网的基本思想是让那些 硬性规 则有所 松弛， 即 当一个世界违反了其中的一条规则， 那么这 个世界 存在的 可 能性将降低，但并非不可能。一个世 界违反 的规则 越少， 那 么这个世界存在的可能性就越大。 马尔可夫逻辑网 马尔可夫逻辑网 (Markov Logic Network) Richardson and Domingos, 2006 是将概率图模型与一阶谓词逻辑相结 合的一种统计关系学习模型，其核心思想是通过为规则绑 定权重的方式将一阶谓词逻辑规则中的硬性约束（ha

30、rd constraints ）进行软化。 为此，马尔可夫逻辑网给每条规则都 加上一 个特定 的权重 来 反映其约束强度。规则的权重越大， 其约束 能力越 强，即 对 于满足和不满足该规则的两个世界而 言，它 们之间 的差异 将 越大。当规则的权重设置为无穷大时 ，其退 化为硬 性规则 。 马尔可夫逻辑网 绑定权重的规则示例 这些规则在现实世界中通常是真的， 但不总 是真的 ，并且 它 们有着不同的成立概率。 马尔可夫逻辑网 马尔可夫逻辑网形式化定义 定义：马尔可夫逻辑网 是一个规则- 权重对 , 的集合 ，其中 是一条标准的一阶谓词逻辑规则， 是 一个实 数。马 尔可夫 逻辑 网 与一个有限

31、的常量集合 = 1 , 2 , , 一起按照如 下方式 定义了一个马尔可夫网络（也叫马尔 可夫随 机场） , ： 1. , 为每一个可能的原子事实在 中都创建 了一个 二值节 点。 当原子事实为真时，该节点取值为1 ；否则 该节点 取值为0. 2. , 为每个 的每一条可能的实例化规则在 中都设 计了一 维 特征。当实例化规则为真时，该特征 取值为1 ；否 则该特 征取值 为0. 该特征的权重即为规则 的权重 。 马尔可夫逻辑网 更形式化地，设 是所有原子事实的集 合， 是 马尔可 夫逻辑 网中所有一阶谓词逻辑规则的集合， 是绑定 在规则 上 的权重， 是所有可能的利用 中的原子 事实去 实例

32、化 的 集合。此时，可能世界 的概率为： 其中 = 1 表示相应的实例化规则是真的， = 0 则表示 它是假的， 表示当前世界中规则 的所 有实例 化中为 真 的数目， = exp 是集合了所有可能世界 的归一化参数。 = = 1 exp = 1 exp 马尔可夫逻辑网 从马尔可夫逻辑网的定义出发，很容易得到一个图结构： 每个原子事实对应于图中的一个节点 。 当两个节点所表示的原子事实出现在 同一个 实例化 规则之中 时，这两个节点之间存在一条边。 所有出现 在 同一个实 例 化规则之 中 的原子事 实 组成了一 个 团。 马尔可夫逻辑网 从马尔可夫逻辑网的定义出发，很容易得到一个图结构： 每

33、个原子事实对应于图中的一个节点 。 当两个节点所表示的原子事实出现在 同一个 实例化 规则之中 时，这两个节点之间存在一条边。 所有出现 在 同一个实 例 化规则之 中 的原子事 实 组成了一 个 团。 1.5 Sm Ca 1.1 Fr , Sm Sm A = Anna B = Bob 马尔可夫逻辑网 从马尔可夫逻辑网的定义出发，很容易得到一个图结构： 每个原子事实对应于图中的一个节点 。 当两个节点所表示的原子事实出现在 同一个 实例化 规则之中 时，这两个节点之间存在一条边。 所有出现 在 同一个实 例 化规则之 中 的原子事 实 组成了一 个 团。 1.5 Sm Ca 1.1 Fr ,

34、Sm Sm A = Anna B = Bob 马尔可夫逻辑网 从马尔可夫逻辑网的定义出发，很容易得到一个图结构： 每个原子事实对应于图中的一个节点 。 当两个节点所表示的原子事实出现在 同一个 实例化 规则之中 时，这两个节点之间存在一条边。 所有出现 在 同一个实 例 化规则之 中 的原子事 实 组成了一 个 团。 1.5 Sm Ca 1.1 Fr , Sm Sm A = Anna B = Bob 马尔可夫逻辑网 从马尔可夫逻辑网的定义出发，很容易得到一个图结构： 每个原子事实对应于图中的一个节点 。 当两个节点所表示的原子事实出现在 同一个 实例化 规则之中 时，这两个节点之间存在一条边。

35、 所有出现 在 同一个实 例 化规则之 中 的原子事 实 组成了一 个 团。 1.5 Sm Ca 1.1 Fr , Sm Sm A = Anna B = Bob 马尔可夫逻辑网 从马尔可夫逻辑网的定义出发，很容易得到一个图结构： 每个原子事实对应于图中的一个节点 。 当两个节点所表示的原子事实出现在 同一个 实例化 规则之中 时，这两个节点之间存在一条边。 所有出现 在 同一个实 例 化规则之 中 的原子事 实 组成了一 个 团。 1.5 Sm Ca 1.1 Fr , Sm Sm A = Anna B = Bob = Sm A = 1, Sm B = 0, Ca A = 1, Ca B = 0

36、, Fr A, A = 1, Fr B, B = 1, Fr A, B = 1, Fr B, A = 1 exp 1.5 2 + 1.1 2 马尔可夫逻辑网 利用马尔可夫逻辑网对知识图谱进行建模后，我们可以： 当规则及其权重已知时：推断知识图 谱中任 意未知 事实成 立 的概率（马尔可夫随机场的推断问题 ） 证据变量为知识图谱中的已知事实， 问题变 量为未 知事实 当规则已知但其权重未知时：自动学 习每条 规则的 权重（ 马 尔可夫随机场的参数学习） 当规则及其权重均未知时：自动学习 规则及 其权重 （马尔 可 夫随机场的结构学习），这实际上属 于我们 讨论过 的归纳 推 理的范畴 提纲 概述

37、 归纳推理：学习推理规则 归纳逻辑程序设计 关联规则挖掘 路径排序算法 演绎推理：推理具体事实 马尔可夫逻辑网 概率软逻辑 基于分布式表示的推理 本章小结 概率软逻辑 概率软逻辑 (Probabilistic Soft Logic) Kimmig et al., 2012 是马尔可夫逻辑网的进一步延伸，其最大优点是允许原子 事实的真值可以在连续的 0,1 区间内任意取值，而不像 马尔可夫逻辑网那样只能取 0,1 中的离散值。 马尔可夫逻辑网：给一阶谓词逻辑加 入了出 色的不 确定性 处 理能力，通过建模不确定性规则，能 够容忍 知识库 中存在 的 不完整性和矛盾性等问题。 概率软逻辑：进一步增

38、强了马尔可夫 逻辑网的 不确 定性处 理 能力，能够同时建模不确定性的规则 和事实 。并且 连续真 值 的引入使 得 推理从原 本 的离散优 化 问题简化 为 连续优化 问 题， 大大提升了推理效率。 概率软逻辑 一阶谓词逻辑真值表 松弛版本的逻辑联结词操作及不确定性规则建模 1 2 1 1 2 1 2 1 2 1 21 1 0 1 1 1 1 1 0 0 1 0 0 0 0 1 1 1 0 1 0 0 0 1 0 0 1 1 成立当且仅当 概率软逻辑 概率软逻辑建模示例 不确定性规则 不确定性事实 规则建模 概率软逻辑 给定一组原子事实和绑定权重的规则，概率软逻辑计算所 有可能的原子事实真值

39、取值 的概率分布。更形式化地， 用 表示实例化的规则集合， 表示一条实例化规则， 那么 的概率分布如下： 其中 是规则 的权重， 是连续型的马尔可夫随机场规 范化因子， 1,2 提供了两种不同的损失函数。 概率软逻辑 利用概率软逻辑对知识图谱进行建模后，我们可以： 当规则及其权重已知时：推断知识图 谱中任 意未知 事实成 立 的概率（马尔可夫随机场的推断问题 ） 证据变量为知识图谱中的已知事实， 问题变 量为未 知事实 当规则已知但其权重未知时：自动学 习每条 规则的 权重（ 马 尔可夫随机场的参数学习） 当规则及其权重均未知时：自动学习 规则及 其权重 （马尔 可 夫随机场的结构学习），这实际上属 于我们 讨论过 的归纳 推 理的范畴 提纲 概述 归纳推理：学习推理规则 归纳逻辑程序设计