1、人工智能与知识工程,教学计划,人工智能及其发展 知识表示 确定性推理 不确定推理 搜索策略 机器学习知识获取 专家系统,第六章 机器学习,基本概念 学习方法 学习方法比较 神经网络及其学习,1、基本概念,学习与机器学习 学习 过程：一个具有特定目标的知识获取过程 内在行为：获取知识、积累经验、发现规律 外在表现：改进性能、适应环境、自我完善 机器学习 使计算机或智能系统模拟人类的学习行为，自动获取知识和技能，不断改善系统性能，实现系统自我完善 基本问题：用于获取、表示、修改和应用知识或技能的形式与方法 主要研究方向 学习机理研究：研究人类学习的机制和如何在智能系统中实现 学习方法研究：研究人类
2、学习过程、方法和如何在智能系统中实现 学习系统研究：面向特定的任务或问题，如何建立学习系统,学习系统 概念 学习系统是一个能够通过与其所处环境的相互作用获得有关信息，并将这些信息用于提高自身性能的智能系统 构成 学习环境：向系统提供有关的外部信息外部信息源 学习机构：从环境中提取信息 知识库：存放由学习获得的知识 执行与评价机构 执行：应用所学到的知识解决问题的过程 评价：验证和评判所学知识的应用效果所学知识的正确性 自动评价：系统通过内部的评价指标体系自动完成评价 人工评价：人工完成评价,具备的条件和能力 适当的学习环境 一定的学习能力 应用学到知识求解问题 提高系统性能 机器学习的发展 神
3、经元模型研究 符号学习研究 连接学习研究,机器学习分类 按学习方法分类：机械式学习、指导式学习、示例学习、类比学习、解释学习 按推理方法分类：演绎学习、归纳学习 按综合属性分类：归纳学习、分析学习、连接学习、遗传学习、分类器学习,2、 学习方法,机械式学习 学习：通过记忆和评价外部环境提供的信息，把经过评价的知识存储（记忆）到知识库中 求解问题：直接从知识库中检索出相应的知识 指导式学习 学习：由外部环境向系统提供一般性的指示或建议，系统将它们具体化为细节知识，并存入知识库中 步骤： 征询指导者的指示或建议 把征询意见转换为可执行的内部形式 并入知识库 评价,归纳学习 归纳方法 玫举归纳：从足
4、够多的事例中归纳出一般性的知识 联想归纳：从已知事物的若干相似之处归纳（推断）出有更多的相似之处 类比归纳：通过对事物属性的对比分析，归纳（推断）出事物属性关系的一般特征（规律） 逆推理归纳：从大量因果关系实例中推断一般的因果关系成立 消除归纳：从若干假设中逐步排除不合理的假设，进而得出一般的因果关系 示例学习 通过对环境（正例、反例特殊知识）的分析、总结，从中提炼（归纳）出更一般的、适用范围更广的知识 两个空间 例子空间：全部示教例子的集合 规则空间：全部规则的集合,模型例子空间 例子的质量 例子空间的搜索方法 搜索例子空间的目的是选择适当的例子，以便证实或否决规则空间中假设规则的集合 解释
5、例子：从例子中提取出用于搜索规则空间的信息，也就是把示教例子变换成易于进行符号归结的形式 规则空间 定义规则空间：规定表示规则的各种算符和术语 规则空间：规定的描述语言可以表示的所有规则的集合,基本问题 （1）对规则空间的要求规则的形式适合于归纳推理规则与例子形式统一表示的一致性应包含要求的规则 （2）规则空间的搜索方法1） 变形空间方法数据驱动方法要求：使用统一的形式表示规则和例子方法：初始的假设规则集合H包含满足第一个示教正例的所有规则，在得到下一个示教示例时，对H进行一般化或特殊化处理，最后使H收敛为只含要求的规则2）改进假设方法数据驱动方法要求：规则与示例的形式可以不一致 方法：根据示
6、例选择操作去改进假设规则集合H中的规则,3）产生与测试方法模型驱动方法 方法：针对例子反复产生和测试假设的规则，以产生只可能合理的假设4）方案示例法模型驱动方法 方法：以与示教例子的符合情况来选判规则，最符合示教例子的规则被认为是最合理的规则 方法比较：数据驱动方法：可以逐步接受示教例子，逐步学习模型驱动方法：抗干扰性较好 选择例子：根据对规则空间的搜索，确定需要哪些新的例子和如何得到这些例子 两个空间的关系 例子空间用于示教，用来检验和修正规则空间，规则空间最后保存学习获得的规则 规则空间提出对示例的要求示例选择选择和要求新示例 观测与发现学习 观测：通过观测对概念进行分类、聚类，进而获得分
7、类知识 发现：从环境中发现规律和知识,类比学习 通过将未知事物的某些已知特性与相似的已知事物进行比较（类比），进而获得未知事物中的未知特性 类比过程 识别未知事物，提取已知特征回忆与联想选择建立对应关系转换获取知识 属性类比学习基于框架的槽、侧面进行比较 转换类比学习未知事物需要转换才能与已知事物类比，或反过来。 解释学习 通过相关领域知识及一个训练实例集合来对某一目标概念进行学习，最终形成这个目标概念的一般化描述，该描述经形式化后成为一般性知识 学习过程：构造解释获取一般性知识,3、学习方法的比较,按推理能力划分 机械式学习指导式学习解释学习类比学习示例学习观测与发现 按获取新知识划分 书p
8、.369 按适用领域划分 书p.369 按对领域理论的要求划分 书p.369,4、基于神经网络的学习,神经网络 生物神经网络 神经元： 人类的大脑约10111012 个神经元，每个神经元约103104个突触。 轴突较长（可达1米），向其它神经元输出信息 树突较短，分枝多，接收其它神经元传来的信息 只有神经元输入的总效应达到阈值电平时，才产生一个全强度的输出，这时神经元被称为触发,神经元的功能与特性 时空整合功能 时间整合：不同时间由同一突触传入的神经冲动进行整合 空间整合：同一时间由不同突触传入的神经冲动进行整合 兴奋与抑制状态 兴奋状态：传入冲动的时空整合使细胞膜的电位升高，并超过阈值（约4
9、0mV），产生神经冲动，由轴突输出 抑制状态：传入冲动的时空整合使细胞膜的电位下降，并低于阈值，不产生神经冲动，无输出 脉冲与电位转换 突触界面完成该功能 神经纤维传导速度 速度约1150m/s，与神经纤维的粗细、髓鞘有关 突触延时和不应期 相邻两次神经冲动之间有时间间隔，称不应期。在此期间不响应、不传递神经冲动 学习、遗忘和疲劳（饱和效应） 由于结构可塑性，突触的传递作用有增强、减弱和饱和，对应于神经元具有学习、遗忘和疲劳功能,神经网络 通过突触连接起来的神经元构成神经网络 信息被记录在突触的连接中 人工神经网络 人工神经元 人工神经网络 信息记录在神经元 间的连接中连 接权,基于反向传播的
10、学习机制BP算法 算法分为学习和计算两部分 通过学习算法学习知识并将其保存在神经元间的连接权中，应用时直接使用计算过程 学习算法 通过样本数据（I，T）训练神经网络，以建立输入与输出的关系，这种关系保存在神经元之间的连接权之中。 符号 一个隐层 输入层单元 i的输入为 Ii， 输入层单元 i 到隐层单元 j 的权为 Wij 隐层单元 j 到输出的输出为Hj 隐层单元 j 到输出层单元 k 的权为 W”jk 输出层单元 k 的输出为Ok 激活函数为f(x),算法 Hj=f（Wil*Ii) Ok=f（W”jk*Hj) 在BP算法中，输出O与教师信号T的的误差记为：E=|O-T| E按最速下降法确定对W“和W的修正量jk，ij，可得：W”jk=Wjk+ jkWij=Wij+ ij 学习结束的条件为：对所有的样本（I，T）均有：E 激活函数f可取如下形式：f(x)=1/(a+b*exp(-c*x) 学习过程可能存在的问题 算法的解不一定是最优 算法中隐层神经元的数目确定困难,计算过程 BP算法的计算过程较为简单，速度也很快。直接利用如下公式：Hj=f（Wil*Ii)Ok=f（W”jk*Hj),
