1、1 智能计算基础 第一章 绪论 第二章 不精确推理 第三章 人工神经网络计算 第四章 演化计算 第五章 数据挖掘 第六章 粗集与模糊逻辑 2 第一章 绪论 智能的概念 智能的发展历史 智能学的产生 智能计算的分支 3 智能的概念 哲学（philosophy ）一词来自于希腊语philosophia，是 由爱好（philo ）和智慧（sophia ）组成。 什么是智能？智能在哪里？智能什么样？ 智能：个体有目的的行为、合理的思维，以及有效 的适应环境的综合性能力。 智能在人体中，是脑的重要功能。 智能的表现形式多样。 其他动物是否具有智能？ 人类和一些动物具有的智力和行为能力。 蚊子、蝙蝠、信天
2、翁、海豚、猴子。 电脑具有智能吗？ 4 最早的智力工具 从起源中理解事物，就是 从本质 上理解 事物。 5 最早的智力工具 最早的智力工具（大约公 元前3500 年） 数的认识 计数 数制 计算 算盘的发明 算盘的样子 算盘的使用 算盘的未来 6 思维逻辑研究 公孙龙（约前320 年- 前250 年） 白马论 指物论 通变论 坚白论 名实论 迹府 白马非马 7 思维逻辑研究 白马论 白和马是两个不同的概念 白马不同于马 白马的 “ 白 ” 和 “ 马 ” 可以分开 黄马和马不同 马的颜色属性并不固定 8 思维逻辑研究 坚白论 石头的白色和坚硬是可以分离的属性 。 眼睛看不到石之坚，只能见石之白
3、， 这时坚 硬性等于没有；手摸不到石之白，只 能感到 石之坚，这时白等于没有。有时感到 坚硬， 有时感到白色，感觉到的和感觉不到 的，彼 此分离。彼此不联在一起的，叫分离 。分离 就是潜在于自身之中。 9 思维逻辑研究 名实论 讨论名词 （名）与 其所指（ 实）的关 系时， 提出了名词的所指必须有确定的规律 。 故彼彼止于彼，此此止于此，可。彼 此而 彼且此，此彼而此且彼，不可。 如果认为那个就是那个，这个就是这 个， 是正确的；而认为那个也是这个，这 个也 是那个，则不正确。 10 思维逻辑研究 墨子（约前468 年- 前376 年） 研究了类比推理、直接推理 定义了具体名词、抽象名词 区分
4、了全称判断和特称判断 两个互相矛盾的判断不能同时成立， 必定有 一个不能成立。 墨子是中国逻辑学的奠基者。 11 思维逻辑研究 荀子（约前313年- 前238年） 批判地改造了先秦诸子的学术思想， 反对天 命、神鬼迷信，形成了比较完整的唯 物主义 哲学体系。 对于智力，有一定的认识。他认为 “ 智力在 心里。” 耳、目、 口、鼻、 形，能各 有接而不 相能也， 夫是之谓天官。心居中虚，以治五官 ，夫是 之谓天君。 12 脑的作用和发现 脑的发现，在公元前600 年 前250 年 希腊哲学家、医学教师希 波克拉 底，得 出结论：大脑是人类感情 的源地 。 亚里士多德也研究过脑， “ 在所 有的动
5、 物中，人拥有相对于身体 比例而 言最大 的大脑。 ” 13 哲学的发展 苏格拉底：（前470 前399年），最早提出 “ 归纳论 证”方法。要求认真考察前提和结论，精确地说明和 定义概念，推断必须有严格演绎，假设必须论证或驳 斥。 柏拉图： （约前427 年前347年），把苏格拉底的言 论学说记录，与自己的思想融合到一起，创建了哲学 学科，史称哲学王。 亚里士多德：（前384 前322年），创造了形式逻辑 学。主要著作有：形而上学、物理学、诗学、工具论、 政治学、论灵魂、论产生与毁灭、伦理学。被称为 “动物学之父 ”。 与柏拉图同在，与亚里士多德同在。 14 逻辑学 判断语句是对事物有所肯
6、定或否 定的思 维形式。 命题是具有真假意义的一 句话。 三段论 如果所有阔叶植物都是落叶的， 并且所有葡萄树都是阔叶植物， 则所有葡萄树都是落叶的。 15 逻辑学 证明 指出了要通过推理获得知识，就必须由已有的知识 出发。 驳斥了 “一切知识都要经过证明 ”的言论。 公理、设定和定义都不需要证明。 形而上学 提出矛盾律、排中律和归纳法 把矛盾律看作关于事物的规律 承认有一种 “直觉推理 ” 的思维方式 不受逻 辑 支配。 16 形而上学 形而上学(metaphysics) 是哲学术语，哲 学史上指哲学中探究宇宙 根本原 理的部 分。 形而上学可以理解为：对 “终极 实在 ” 的研究。广义上说
7、，研究 超越感 性经验 存在的学问，都可以叫做 形而上 学。 中文译名 “形而上学 ”取自 易经 中 “ 形而上 者谓之道， 形而 下 者谓 之器 ” 一语。 17 近代智能世界 笛卡尔 笛卡尔（1596-1650 ）提出 了运动量 守恒定律 。 他的学说导致关于人类存在与思维问 题的理 解 发生了革命性的变化。 形而上学的沉思 、 方法论 、 哲学 原 理 、 心灵感受 发明了笛 卡尔坐标 ，被称为 “ 解析几 何之父 ” 。 现代哲学之父、启蒙之父 18 近代智能世界 笛卡尔 发生在脑部的任何特定的活动，会立 即影响 人 的心灵，并产生相应的感受。 如果每当小提琴声响时，你抽打一条 狗五六
8、次， 那么，一 旦它再听 到提琴声 ，它就会 吼叫而跑 。 19 概率论的产生 概率论源于意大利的赌博业。 法国科学家Pascal 和Fermat 提出 了概率 论的概 念。 贝努力提出了 “ 置信度 ” 的概念。 当 有了新的 证据时，主观概率可以更改。 Bayes 提出了Bayes 公式， 奠定了 人工智 能系统 中不确定推理的现在方法论的基础。 拉普拉斯：把古典概率论推进到现代 概率论 ， 形成了概率与统计。 20 数字计算器的发明 Pascal 于1642 年发明了机 械 加减法 机。 Leibniz 改进了Pascal 的机器， 于1673 年 造出了四则运算器，并提 出了二 进制的
9、 想法。 Babbage 于1821 年发明了通 用计算 机， 可以存储地址和程序，用 于自动 计算数 学表，贴近了现代电子计 算机。 21 逻辑数学化 布尔于1847 年提出了逻辑 代数， 把逻辑 学引入到数学领域。 布尔名著 思想规律的研 究 曾 提出： 用符号语言与运算可以表 示任何 事物。 提出了“ 类”的概念，类 与集合 相近， 类由属于它的元素组成， 它们都 可以用 符号表示。逻辑可以看作 是类的 演算， 即相应的符号的代数。 22 逻辑数学化 布尔指出： 交换律 X+Y = Y+X XY = YX 分配率 X(Y+Z) = XY+XZ 结合律 X+(Y+Z) = (X+Y)+Z
10、X(YZ)=(XY)Z 23 生命进化论 法国博物 学家拉马 克于1809 年提出了 进化学说 。 阐述了物种是可变的，其稳定性是相 对的。 拉 马克被认为是科学进化论的创始人。 达尔文，于1859 年发表了 物种起源 。繁殖 过剩，生存竞争，适者生存，自然定 向选择 ， 构成了达尔文进化论的核心。 孟德尔，于1865 年发表了 植物杂交试 验 ， 为遗传学奠定了基础，也为生物进化 中的遗 传 变异提供了理论基础。被称为现代遗 传学之父。 24 脑的研究 脑部功能区的确定 大脑左半侧控制身体右侧 ，右脑 控制身 体左侧。 左半部 主管语 言、数 学解析 和分析 思维； 右半部主管空间思维和乐
11、感、理 解普通 名词、简单句子和简单算 术。 25 脑的研究 大脑的解剖 脑是由什么组成的：高尔 基于1872 年发 现了神经元，并且认为它 们是直 接连接 在一起的。卡加尔认为神 经元之 间存在 间隙，即突触。 卡加尔被认为是神经元学 说的创 立者。 26 神经网络 詹姆斯：由神经元组成的 神经系 统，其 功能是调节生物体内各器 官的活 动和适 应外部环境。 联想是由事件A 联想起事件B 的过 程，是 大脑皮层活动区A 去激活大脑 皮层活 动区 B 的过程。 1943 年，由生理学家麦克 卡洛和 数理逻 辑学家 皮茨成 立了脑 模型， 称为MP 模型， 开创了用电子装置模仿人 脑结构 和功能
12、 的研究方向。 27 心理学 心理学是研究心理过程和 行为的 科学， 即研究认识、感情、意志 等心理 过程和 能力、性格等心理特性。 实验心理学、认知心理学 取得了 很重要 的理论和应用。 在机器的心理学研究上未 取得有 效的突 破。 28 计算机模型的提出 图灵，于1934 年提出逻辑 设计和 通用机 器的概念。被称作人工智 能之父 ，计算 机科学之父。 于1936 年发表论文 论可 计算数 及其在 判定问题中的应用 ，是 阐明现 代计算 和计算机原理的开山之作 。 29 计算机模型的提出 图灵机 ，是通 过一条 纸带读 入某种 符号， 一次读入一个符号。机器 内部有 一个动 作表，决定具体
13、的动作。 这些动 作组成 一组计算的基本动作，由 它们构 成不同 的数学运算。 通用图灵机，就是能完成 各种行 为表的 图灵机，相当于现代计算 机。 30 计算机的出现 冯诺依曼于1945 年提出了 “ 在计 算机内 部存储器中储存指令 ”的 工作原 理，以 及基于这一原理的计算机 系统结 构。 控制器、运算器、存储器 、输入 和输出 设备的结构仍然是主流计 算机的 结构。 31 控制论和信息论的出现 控制论：维纳于1948 年提出。 自动控制和自我调节是生物智能行为 的核心 。 控制论的基本思想是用统一的观点讨 论控制 、 通信与计算机，指出了计算机与神经 系统工 作 机理的相似性。 信息论
14、：香农于1948 年提出。 香农的论文 “通信的数学理论 ”，采 用了信 息 编码和概率论方法，研究信号传输过 程中的 波 形和干扰问题，发展了关于信息量的 计算方 法 和统计理论，解释了通信过程的本质 。 32 神经元学习 Hebb ，提出了著名的Hebb 学习 规则。 神经元是通过不断的学习 获得能 力的增 长的。学习能力的大小与 神经元 的特征 及神经元的学习强度有关 。 某些学习是由遗传决定的 。 外界环境也会影响神经元 的学习 。 33 人工智能的诞生 1956 年在美国Dartmouth 大学举行了2 个月的研讨 会。会上首次提出了 “Artificial Intelligence
15、 ” 这个 概念，讨论如何使机器模拟人类智能 这个中 心问 题。 由Newell 和Shannon 研制的逻辑理论 机LT 数学 定 理证明程序，是第一个处理符号而不 是数字 的程 序，是机器证明数学定理的最早尝试 。 Samuel 编制的跳棋程序具有学习能力，后来 超过 了设计者本人。 1969 年，第一届国际人工智能联合会召 开。 我国从1978年开始计划人工智能的研究 。 34 进化计算 生物从低级进化到高级、 从不完 善到完 善的 过程，类似于计算机处理 事务的 过程 。 一个生命体用一组特征数 据表示 ，用它 对生 存环境的的适应程度来评 价它的 优劣， 让适 应性更强的特征繁殖得更
16、 快，最 终取代 适应 性差的。这就是生物进化 的抽象 过程， 对它 编程后就得到进化计算。 代表：遗传算法 35 计算智能 人工神经网络、模糊系统 和进化 计算统 称为计算智能，这三者都 是模仿 人的智 能或自然规律，给出解决 实际问 题的一 套计算方法，称之为智能 计算方 法。 36 专家系统与知识工程 Feigenbaum ，1969年与同事开发出 DENDRAL 专家系统，该系统能从光谱仪 提供的信息中推断出物质的分子结构。 1976 年，他们又开发出MYCIN 医疗专家 系统，用于抗生素药物治疗和血液感染 诊断。 1977 年， Feigenbaum 提出了专家系统 和知识工程的概念
17、。 37 知识工程 知识工程是人工智能的一种技艺，它运 用人工智能的原理和方法，对那些需要 专家知识才能解决的应用难题提供求解 的手段。恰当运用专家知识的获取、表 达和推理过程的构成与解释，是设计基 于知识的系统的重要技术问题。 38 人机大战 下棋是很抽象的活动，是机器可以和人 竞争的智能领域之一。 香农和图灵都编写过下棋程序。香农 提出的 评估 函数，至今还在广泛应用。 Samuel 编写的西洋跳棋程序，首次引入了自 适 应的概念。 1997 年，深蓝和卡斯帕罗夫大战。 2004 年，紫光计算机和诸宸大战。 39 智能计算的分支 人工智能 专家系统 机器学习 语音识别 机器翻译 人机对弈
18、人工神经网络 演化计算 数据挖掘 40 第二章 不精确推理 不精确推理的概念 不精确推理的方法 可信度方法 主观Bayes 方法 证据理论 41 推理的类型 演 绎 推 理 ： 由 一 组 前 提 必 然 推 导 出 某 个 结 论 的 过 程 。 演绎推理的核心是三段论。 演绎推理没有增加新的知识。 演绎推理的结果是保真的。 归纳推理：以某命题为前提 ， 推 论 出 与 其 有 归 纳 关 系的其他命题的过程 。 归纳推理增加了新的知识，但是不保真。 在系统应用时，先根据一些事实进行归纳推理，得出一些 结论，再根据一些事实对这些结论进行验证，去掉错误的， 保留正确的。 42 推理的类型 外展
19、推理：已知某一结果已经发生 ， 去 寻 找 这 个 结 果的原因 。也即由因到果的解释论证 过程 。 菜中放了糖会有甜味，放了醋会有酸味，放了盐会有咸味。 当我们从菜中吃出了某种味道，推理出菜中放了什么。 概率推理：按照事件发生概率的大小来进行推理的 过程 。 非 单 调 推 理 ： 推 理 过 程 中 ， 在 增 加 某 些 新 的 事 实 时 ， 能够取消以前的一些结论 。 不确定推理： 43 不精确推理的因素 知识不完备、不精确 知识描述的模糊性 知识的随机性 原因的多样性 解决方案不唯一 44 不精确推理的概念 不精确推理就是在知识的 不确定 性和证 据的不精确性基础上进行 的具有 一
20、定程 度不精 确但却 是合理 的结论 的思维 过程。 45 不精确推理的基本问题 不精确推理的基本问题， 包括关 于证据 的不确 定性表 示，规 则的不 确定性 表示， 不确定性的计算。这些问 题的不 同解决 方法形成了各种不精确推 理方法 。 46 证 据 的 不 确 定 性 为C （E ） ， 它 表 示 证 据E 为真的程度 。 规 则 的 不 确 定 性 为f （H ，E ） ， 它 称 为 规 则强度 ， 表 示 证 据E 为 真 的 前 提 下 ， 假设 H 为真的程度 。 不 精 确 推 理 就 是 在 规 则 强 度 和 证 据 的 不 确 定 性 的 基 础 上 ， 定 义
21、一 组 函 数 ， 求出 结论的不确定性度量 。 不精确推理模型的算法 47 （1 ） 根 据 规 则 前 提E 的 不 确 定 性C(E) 和 规 则 强 度f(H ，E) 求 出 假 设H 的 不 确 定 性 C(H) ，即定义函数g1 ， 使 C(H)=g1C(E) ，f(H ，E) （2 ） 根据 分 别由 独 立的 证 据E1 、E2 求得 的假设H 的 不 确 定 性C1(H) 和C2(H) ， 求 出 证 据E1 和E2 的 组 合 所 导 致 的 假 设H 的 不 确 定 性 C(H) ， 即 定 义 函 数 g2 ， 使 C(H)=g2C1(H) ，C2(H) 不精确推理模型
22、的算法 48 （3 ） 根 据 两 个 证 据E1 和E2 的 不 确 定 性 C(E1) 和C(E2) ， 求出证据E1 和E2 的合取 的不确定性 ，即定义函数g3 ，使 C(E1 AND E2)=g3C(E1) ，C(E2) （4 ） 根 据 两 个 证 据E1 和E2 的 不 确 定 性 C(E1) 和C(E2) ， 求出证据E1 和E2 的析取 的不确定性 ，即定义函数g4 ，使 C(E1 OR E2)=g4C(E1) ，C(E2) 不精确推理模型的算法 49 可 信 度 方 法 ： 可 信 度 方 法 是MYCIN 系 统 使 用 的 不精确推理模型 ， 它以确定性理论为基础 ，
23、方 法简单实用 。 主观Bayes 方 法 ： 主 观 Bayes 方 法 是 PROSPECTOR 系 统 使 用 的 不 精 确 推 理 模 型 ， 它 是对Bayes 公式进行修正后形成的一种不精确 推理方法 。 缺点是难以给出每个命题的先验概 率 。 证据理论：证据理论通过引进信任函数 ， 把不 确定和不知道区别开来 。 这些函数满足比概率 函数还弱的公理 。 主要的不精确推理模型 50 1 知识的不确定性 If E then H ， CF 规则强度 （ 规 则 可 信 度 ） ：CF(H ，E)=MB(H ，E)- MD(H ，E) 其中MB 为 信任增长 度(Measure Bel
24、ief) ， MB(H ， E)0 表 示 因 证 据E 的出现增加了相信假设H 为 真 的 程 度， 即P(H|E)P(H) 。 MD 为不信增长度(Measure Disbelief) ， MD(H ， E)0 表 示 因 证 据E 的出现减少了相信假设H 为 真 的 程 度， 即P(H|E)0 时 MD(H ，E)=0 当MD(H ，E)0 时 MB(H ，E)=0 （2 ） 值域 0 MB(H ，E) 1 0 MD(H ，E) 1 -1 CF(H ，E) 1 53 （3 ） 典型值 若P(H|E)=1 ， 即E 为真时H为真， 则CF(H ，E)=1 若P(H|E)=0 ， 即E 为真
25、时H为假， 则CF(H ，E)= -1 若P(H|E)=P(H) ， 即E 对H 无影响， 则CF(H,E)=0 ， 称为单位元 。 （4 ）CF(H ，E) + CF(H ，E) = 0 此点与概率不同：P(H|E)+P(H|E)=1 54 证明 CF(H ，E) + CF(H ，E) = 0 CF(H ，E) + CF(H ，E) = MB(H ，E) MD(H ，E) + MB(H ，E) MD(H ，E) If P(H|E) P(H) ，P(H|E) P(H) 则- MD(H ，E) + MB(H ，E) = (P(H|E) P(H)/P(H) + (P(H|E) P(H)/(1- P
26、(H) = 0 56 （5 ） 互斥假设 若 同 一 证 据E 有K 个 互 不 相 容 的 假 设Hi ， (i=1 ，2 ， ，K) ， 则 只 有 当E 逻 辑 蕴 含 某 个Hi 时 ， 等 式 才 成 立 。 k i=1 CF(Hi,E) 1 57 2 证据的不确定性 原始证据的不确定性 （ 可信度 ） 由用 户在系统运行时提供 。 非原始证据的不确定性 （ 可信度 ） 由 不精确推理而来 。 58 性质： （1 ） 值域 当证据E以某种程度为真时 0 1 时，O(H|E)O(H) ， 即E 支持H 。 当LS1 时 ，O(H|E)O(H) ，即E 支持H 。 当LN1 且LN1 L
27、S=LN=1 78 () () 1 ( ) PE OE PE 2 证据的不确定性 P(E)=1 时，O(E)= P(E)=0 时，O(E)=0 对E 一 无 所 知 时 ， 取E 的 先 验 概 率- 单位 元 79 3 算法 (1) 概率传播 if E then H ，(LS ，LN) 在P(E)=1 或P(E)=1 时 ， 已有： 如果用概率来表示 ， 则有： ( | ) ( ) O H E LS O H () ( | ) ( 1) ( ) 1 LS P H P H E LS P H 80 同样，对于后验几率 ，也有： () ( | ) ( 1) ( ) 1 LN P H P H E LN
28、 P H ( | ) ( ) O H E LN O H 81 对 于 不 确 定 证 据 ， 在0P(E)1 时 ， 如何根 据P(E) 更新P(H) 。 即 在 观 察S 之下 ， 证据E 有 概率P(E|S) ，求解P(H|S) 。 有： ( | ) ( , | ) ( , | ) ( | , ) ( | ) ( | , ) ( | ) ( | ) ( | ) ( | ) ( | ) P H S P H E S P H E S P H E S P E S P H E S P E S P H E P E S P H E P E S 82 对 于 上式 ， 可以 在P(E|S) 的 三 个 特
29、 殊点 上 求得 P(H|S) 的值 。 三个特殊值如下： P(E|S) P(H|S) 1 P(H|E) P(E) P(H) 0 P(H|E) 83 P(H|S) 1 - P(H|E) - P(H) - P(H|E) - 0 P(E) 1 P(E|S) 84 分段线性插值 ， 得 上式称为EH 公式。 ( ) ( | ) ( | ) ( | ), ( | ) ( ) () ( | ) ( | ) ( ) ( ) ( | ) ( ), 1 ( ) P H P H E P H E P E S P E S P E PE P H S P H E P H P H P E S P E PE 当0 当P(E
30、) P(E|S) 185 (2) 独立证据导出同一假设 if E1 then H ， (LS1 ，LN1) if En then H ， (LSn ，LNn) 设 独 立 证 据E1 ，E2 ， ，En 的观察为S1 ，S2 ， ， Sn ， 假设为H O(H|S1) O(H|S2) O(H|Sn) O(H|S1&S2& &Sn)= O(H) O(H) O(H) O(H) 86 (3) 证据的合取 if E1 and E2 and then H P(E1 and E2 and |S) = min P(E1|S ， P(E2|S) ， (4) 证据的析取 if E1 or E2 or then
31、H P(E1 or E2 or |S) = max P(E1|S ， P(E2|S) ， 87 例 ： 设 有 假 设H ， 证据E1 ，E2 ， 规则R1 ， R2 ： R1: E1 H ， (20 ，1) R2: E2 H ， (300 ，1) 已知先验概率P(H)=0.03 ， 若 证 据E1 ，E2 依次出现 ， 求P(H|E1 ，E2) 。 88 解法1 ： O(H)=P(H)/1-P(H)=0.03/(1-0.03)=0.0309 O(H|E1)=LS1 O(H)=20 0.0309 = 0.618 O(H|E1,E2)=LS2 O(H|E1)=300 0.618=185.5 ( | 1, 2) 185.5 ( | 1, 2) 0.994 1 ( | 1, 2) 1 185.5 O H E E P H E E O H E E 89 解法2 ：按独立证据的组合公式： 其中 O(H|E1) = LS1 O(H) O(H|E2) = LS2 O(H) O(H|E1 ，E2) = LS1 LS2 O(H)=185.5与解1 相同 。 ( | 1) ( | 2) ( | 1, 2) ( ) ( ) ( ) O H E O H E O H E E O H O H O H
