基于解释的机器学习方法.docx-道客多多

资源描述

1、中国计算机学会学术著作丛书基于解释的机器学习方法石纯一等著清华大学出版社广西科学技术出版社( 京 ) 新登字 158 号内容简介基于解释的机器学习是一种分析式学习方法 , 是人工智能学科的一个重要分支。它的特点是依知识库和少量例子通过演绎过程进行学习。本书介绍基于解释机器学习的研究现状和基本方法。全书共 7 章 , 依次介绍基于解释

3、清华大学校内 , 邮编 100084)广西科学技术出版社 ( 南宁市河堤路 14 号 , 邮编 530021)印刷者 : 人民文学印刷厂发行者 : 新华书店总店北京科技发行所开本 : 787 1092 1/ 16 印张 : 11. 25 字数 : 267 千字版次 : 1997 年 4 月第 1 版 1997 年 4 月第 1 次印刷书号 : ISBN 7-302-02432-4/ T P1230印数 : 00013000定价 : 16.00 元序言计算机是当代发展最

4、为迅猛的科学技术 , 其应用几乎已深入到人类社会活动和生活的一切领域 , 大大提高了社会生产力 , 引起了经济结构、社会结构和生活方式的深刻变化和变革 , 是最为活跃的生产力之一。计算机本身在国际范围内已成为年产值达 2500 亿美元的巨大产业 , 国际竞争异常剧烈 , 预计到本世纪末将发展为世界第一大产业。计算机科技具有极大的综

5、合性质 , 与众多科学技术相交叉而反过来又渗入更多的科学技术 , 促进它们的发展。计算机科技内容十分丰富 , 学科分支生长尤为迅速 , 日新月异 , 层出不穷。因此在我国计算机科技尚比较落后的情况下 , 加强计算机科技的传播实为当务之急。中国计算机学会一直把出版图书刊物作为学术活动的重要内容之一。我国计算机专家学者通过科学

6、实践 , 做出了大量成果 , 积累了丰富经验与学识。他们有撰写著作的很大积极性 , 但相当时期以来计算机学术著作由于印数不多 , 出版往往遇到不少困难 , 专业性越强越有深度的著作 , 出版难度越大。最近清华大学出版社与广西科学技术出版社为促进我国计算机科学技术及产业的发展 , 推动计算机科技著作的出版工作 , 特设立 “计算机学术著

7、作出版基金 ”, 以支持我国计算机科技工作者撰写高水平的学术著作 , 并将资助出版的著作列为中国计算机学会的学术著作丛书。我们十分重视这件事 , 并已把它列为学会本届理事会的工作要点之一。我们希望这一系列丛书能对传播学术成果、交流学术思想、促进科技转化为生产力起到良好作用 , 能对我国计算机科技发展具有有益的导向意义

8、 , 也希望我国广大学会会员和计算机科技工作者 , 包括海外工作和学习的神州学人们能积极投稿 , 出好这一系列丛书。中国计算机学会1992 年 4 月 20 日出版说明近年来 , 随着微电子和计算机技术渗透到各个技术领域 , 人类正在步入一个技术迅猛发展的新时期。这个新时期的主要标志是计算机和信息处理的广泛应用。计算机在改造传统产业 , 实

9、现管理自动化 , 促进新兴产业的发展等方面都起着重要作用 , 它在现代化建设中的战略地位愈来愈明显。计算机科学与其它学科的交叉又产生了许多新学科 , 推动着科学技术向更广阔的领域发展 , 正在对人类社会产生深远的影响。科学技术是第一生产力。计算机科学技术是我国高科技领域的一个重要方面。为了推动我国计算机科学及产生的发

10、展 , 促进学术交流 , 使科研成果尽快转化为生产力 , 清华大学出版社与广西科学技术出版社联合设立了 “计算机学术著作基金 ”, 旨在支持和鼓励科技人员 , 撰写高水平的学术著作 , 以反映和推广我国在这一领域的最新成果。计算机学术著作出版基金资助出版的著作范围包括 : 有重要理论价值或重要应用价值的学术专著 ; 计算机学科前沿探索

11、的论著 ; 推动计算机技术及产业发展的专著 ; 与计算机有关的交叉学科的论著 ; 有较大应用价值的工具书 ; 世界名著的优秀翻译作品。凡经作者本人申请 , 计算机学术著作出版基金评审委员会评审通过的著作 , 将由该基金资助出版 , 出版社将努力做好出版工作。基金还支持两社列选的国家高科技重点图书和国家教委重点图书规划中计算机学科领

12、域的学术著作的出版。为了做好选题工作 , 出版社特邀请中国计算机学会、中国中文信息学会帮助做好组织有关学术著作丛书的列选工作。热诚希望得到广大计算机界同仁的支持和帮助。清华大学出版社计算机学术著作出版基金办公室广西科学技术出版社1992 年 4 月清华大学出版社广西科学技术出版社计算机学术著作出版基金评审委员会主任委

13、员张效祥副主任委员汪成为唐泽圣委员王鼎兴杨芙清李三立施伯乐徐家福夏培肃董韫美黄健焦金生前言基于解释的机器学习 ( E xplanat ion-Based L ear n ing, 简称 E BL ) 是一种分析式学习方法 , 特点是从少数例子出发 , 依领域理论 ( 知识库 ) 通过演绎获得知识。自 20 世纪 80 年代中 E BL 形成一种机器学习方法以来 , 国内外已开展了一系列

14、的研究 , 并已有初步应用。清华大学计算机系机器学习课题组 , 自 1985 年以来已进行了 10 年的 E BL 研究 , 先后完成了国家自然科学基金 2 项 , 国家高技术 863-306 基础性研究课题 2 项 , 共发表论文 20 余篇 , 所做研究成果经鉴定达到国际先进水平。这本书涉及解释学习的主要内容 , 包括 E BL 的可操作性、领域理论和效用问题等。有些内容

15、除在我们的讨论班上报告过外 , 还在国家智能研究开发中心报告过 , 也得到不少国内人工智能学术界年轻学者的帮助。这本书是集体研究成果的汇集 , 是我们研究工作的总结 , 包括张旗博士 , 郝继刚博士 , 王建伟博士 , 以及陈红、龚义涛、郭晨东、黄毅青、杨宇、于津、王彤等硕士的研究工作。本书最后由郝继刚、王建伟整理完成。在课题组

16、的讨论班上得到了陆玉昌教授、李膺春教授的指导 , 周远晖、张朝辉博士生也参加了讨论 , 一并表示感谢。在我国计算机界的著名学者张效祥先生、董韫美先生、陆汝钤先生的支持下 , 本书获得了清华大学出版社、广西科技出版社的计算机学术著作出版基金的资助 , 在此也向这几位先生和出版社深表谢意。书中一些观点和见解定会有不少不准

17、确甚至不当之处 , 请读者批评指正。石纯一1996 年 8 月于清华园目录第 1 章解释学习概述 11. 1 机器学习 11. 2 解释学习 101. 3 我们的工作 28第 2 章可操作性 302. 1 可操作性的提出 302. 2 可操作性的研究 312. 3 可操作性的讨论 362. 4 E BL 可操作性的模糊集描述及计算 372. 5 讨论 41第 3 章数字概括 423. 1 数字概括的目标分解法 423. 2 数

18、字概括的效用分析 47第 4 章领域理论 544. 1 不完善领域理论问题的分类与表示 ( 一 ) 544. 2 不完善领域理论问题的分类与表示 ( 二 ) 614. 3 不完善领域理论的知识求精 664. 4 基于多例多概念的领域理论修正方法 734. 5 克服领域理论不完全问题的学习方法 CE 774. 6 多策略、交互式的知识求精系统 M S/ I -KR S 86第 5 章效用问题 1005.

19、 1 效用分析 1005. 2 效用提高策略 1045. 3 进一步研究的课题 122第 6 章解释学习算法的扩充 1236. 1 模糊概念的学习 1236. 2 概念层次中的多策略学习 1286. 3 增量式的解释学习 1306. 4 算法分析与改进 1366. 5 有噪声的学习算法 141第 7 章专家判断规则的获取方法 146 7. 1 引言 1467. 2 专家决策认知模型 M BH 1467. 3 Polynome 系统 14

20、87. 4 IA M BH 系统 149参考文献 1569第 1 章解释学习概述1. 1 机器学习1. 1. 1 机器学习的研究内容1. 1. 1. 1 何谓机器学习获得新认识和适应新环境是智能体的本质特征之一。同智能体一样 , 学习能力目前只能从人类和高等生物那里得到 “存在性 ”验证 , 尚未形成一致的形式化的定义和理论。机器学习 ( M achine L ear ning, M L ) 是人工

21、智能 ( A I ) 的基本问题之一。关于学习的定义 , 主要有 :( 1) 学习是系统内部的适应性变化 , 使系统在以后从事同一任务或同一问题范围中类似的任务时 , 效率更高 Simon , 1983 ;( 2) 学习是我们心智内部有用的变化 M ins ky, 1985 ;( 3) 学习是对正在被经历的事物 , 构造或修改其表示 M ichalski, 1986 ;( 4) 经由学习活动而使系统获得

22、的能力 , 能够完成学习之前无法完成的新任务 , 或将老任务做得更好 Car bonell, 1990 ;( 5) 机器学习是计算机系统有目的地增进其性能的过程卢美律等 , 1995 。综上所述 , 可以归纳出关于学习活动的几个特征 :( 1) 目的性 : 学习活动是一种有目的的变化 , 目标是改善智能体的问题求解能力和性能。( 2) 信息来源 : 学习活动的输入信息包

23、括外部环境信息和系统从前的经验两大类。( 3) 记忆能力 : 学习活动的结果体现和保存于智能体中 , 不随学习活动的完成而消失。( 4) 表示形式 : 一般包括显式知识获得、知识重组与重构、系统结构变化、系统参数调整、运行机制变化等。1. 1. 1. 2 机器学习的研究内容和理论模型通常根据学习目的的不同 , 可以把机器学习系统分为两类 : 一类

24、是综合性的 , 主要目标是获取新知识 ( Knowledge A cquisit ion ) ; 另一类是分析性的 , 目标是对知识进行重组和形式变换 , 使之效率更高 , 称为技能改进 ( Skill R efinement ) , 如图 1. 1 所示。Simon 给出一个抽象的学习模型 , 有四个构成要素 : 环境、学习单元、知识库和执行单元 , 见图 1. 2 Simon, 1983 。环境为学习单元提供某些

25、信息 , 学习单元利用这些信息对知识库进行某种改进 , 执行单元利用这些信息去执行任务 , 其间获得的信息可以反馈给学习单元 , 也可以对环境做出响应。20 世纪 90 年代初 M ichals ki 等人提出学习推理理论 , 用抽象的知识变形算子分析、解释不同的学习方法和学习系统。主要观点有 :2图 1. 1 基本的学习形式和所学的知识或技能( 1) 从推

26、理中学习 , 学习 = 推理 + 记忆。( 2) 变形作为学习算子 , 将学习过程定义为 :Input : 外界输入信息 ( I ) ; 学习目标 ( G ) ; 系统已具备的基础知识 ( BK ) ; 变换( T ) 。Out pu t: 输出满足 G 的知识 ( O ) , 依 BK 将 T 作用于 I 来实现。( 3) 对学习过程的不同分类标准中 , 最关键的是学习目的。图 1. 2 学习模型1. 1. 2 机器学习的发展历史

27、机器学习的研究历史 , 几乎与人工智能一样长 , 大致经历了三个阶段 :第一个阶段 , 是 20 世纪 50 年代的神经模拟和决策理论技术 , 学习系统在运行时还很少具有结构或知识。主要方法是建造神经网络和自组织系统 , 学习表现为阈值逻辑单元传送信号的反馈调整。著名系统有感知机 ( Per ceptr on ) ( R osenblat t, 1958 ) 和西洋跳棋程序

28、 ( check er ) ( Cohen et al, 1982 ) 等。随后的理论研究揭示 , 这种不要知识的感知器类型的学习系统有很大的局限性。第二阶段 , 是 20 世纪 60 年代早期开始研究面向概念的学习 , 即符号学习。使用的工具是语义网络或谓词逻辑 , 不再是数值或统计方法。在概念获取中 , 学习系统通过分析相关概念的大量正例和反例来构造概念的符号表

29、示。在这一阶段 , 人们认识到学习是个复杂而循序渐进的过程 ; 如果不要任何初始知识 , 则学习系统无法学到高层次的概念。关于积木世界的学习系统是较有影响的工作 Wins ton, 1975 。第三个阶段 , 开始于 20 世纪 70 年代中期 , 研究活动日趋兴旺 , 各种学习方法不断推出 , 实验系统大量涌现 , 1980 年在卡内基梅隆大学 ( CM U ) 召开第一

30、届机器学习专题研讨会 , 标志着机器学习正式成为人工智能的一个独立研究领域。伴随专家系统和知识工程的热潮 , 人们普遍认识到 , 为了学到新知识 , 学习系统必须拥有大量的知识。较为成功的学习系统和算法有 A Q 系列 ( M ich alski, 1980; M ichalski et al, 1983 ) , ID3 ( Quin lan,31986a , 1986b ) , L E X( M itchell, 1982

31、; M itch ell et al, 1983 ) , A CT 系统 ( A nder son, 1983, 1986 ) , AM 和 E U R ISK O ( Lenat , 1982, 1983a, 1983b, 1983c ) , BA CON 系统( L angley et al, 1983, 1986 ) , SO AR ( R osenbloom et al, 1986; Lair d et al, 1986, 1987 ) 等。还创办了国际学术刊物机器学习 ( M achine L ear ning) , 每年举行国际机器

32、学习会议及各种专题性、地域性会议。从 20 世纪 80 年代中后期到现在 , 可以认为机器学习研究进入一个新阶段 , 已经趋向成熟。首先是神经网络的复苏 , 带动着各种非符号学习方法与符号学习并驾齐驱 , 并且已超越 AI 研究范围 , 进入到自动化及模式识别等领域 , 掀起一场联结主义的热潮 ; 其次在已有学习方法的研究基础上 , 开始考虑对多种

33、方法加以集成 , 多策略学习得到迅速发展 ; 多种学习方法和系统已经走出学术杂志和实验室 , 进入实际应用领域。学习的计算理论开始对机器的学习能力进行形式化的分析和总结 , 得到一系列理论成果 , 如 PAC L ear ning 等。在各种重要的 AI 会议中 , 关于机器学习的文章已占有较多数量和篇幅 , 成为 AI 的主流研究领域之一。1. 1. 3 机器

34、学习方法学习系统有各种分类标准 , 如按基本策略 , 或知识表示 , 或应用领域 , 或学习方法或结果层次等。这里介绍从学习推理理论来对学习过程分类 , 见图 1. 3 卢美律等 , 1995 。1. 1. 3. 1 归纳学习综合性的归纳学习 ( Induct ive lear ning) 亦可称作经验学习 ( E mpir ical lear ning) 、基于相似性的学习 ( Similar it y-based lea

35、r ning 简记 SBL ) 、例子学习 ( Lear ning fr om examples ) 等。在例子空间中 , 给出关于某个概念的正例和反例集合 , 归纳学习系统使用一般化 ( gener alization) 和特殊化 ( Specializat ion ) 操作在空间中进行搜索 , 并根据学习倾向 ( Bias ) 进行抉择 , 获得该概念的一般化描述 , 这是一个从特殊实例到一般规律的推理过程 , 其哲学

36、和数学基础是源自 Bacon 归纳法以来的归纳理论。归纳学习是发展最成熟的学习方法之一 , 拥有形式化理论模型 , 应用已达到商品化。代表性的方法和系统有版本空间法 ( Ver sion Space ) ( M it chell, 1982 ) , 决策树 ( ID3)( Quinlan, 1986a, 1986b ) , AQ 算法 ( M ichalski, 1980 ) , BA CON 系统 ( L angley et al, 1983 ) , 概

37、念聚类 ( M ich alsk i et al, 1983; St epp et al, 1986; Gennar i et al, 1989 ) 等。 1. 1. 3. 2 分析式学习分析式学习 ( An alytical lear ning) 的特点是运用大量领域知识来驱动学习进程。实例不再单纯是无关特征集合 , 而是在已有背景知识环境下得到考察 , 学习结果也消除了倾向的影响。主要方法有类比学习 ( L ear ning by

38、Analogy) 、示例学习 ( Case-b as ed lear ning) 和解释学习等。类比是在具有相似性质的领域间发现知识的对应关系 , 对于未知或不熟悉的领域中的概念 , 运用类比 , 借助于相似的、熟悉的领域中的概念进行学习 , 称为类比学习。由于环境提供的信息仅和一个类似的问题有关 , 学习单元必须发现其中的相似性 , 并形成类似的规则和假设以解

39、决当前问题。类比学习需要归纳和演绎推理 : 寻找共同的子结构需要归纳4推理 , 而进行类比映射则是一演绎过程。典型类比系统模型有转换类比 ( T r ans for mat ional Analogy ) ( Car bonell, 1983 ) / 派生类比 ( Der ivational Analogy ) ( Car bonell, 1986 ) / N L AG 系统 ( Gr einer , 1989 ) 等。类比包含形象思维和创造性成

40、分 , 增大了实用系统的研究难度 , 同时也蕴含着推动机器学习和人工智能研究进展的潜力。图 1. 3 学习推理理论对于学习过程的分类示例学习选择先前有用的经验片断作为示例 , 加以记忆和索引 , 建立示例库 ; 在解决新问题时 , 在示例库中查询与当前任务比较类似的示例来加以匹配 , 借助它们所提供的信息进行任务求解 ; 任务求解成功后 , 若

41、认为该经验 ( 任务目标及解法 ) 有助于未来其它任务的解决 , 则将其作为新的示例加以保存 Bar eiss et al, 1987; Por t er et al, 1990 。示例学习系统的运行流程如图 1. 4 所示。图 1. 4 示例学习系统的运行流程 Barlett a, 1993Schank 首先提出示例学习的思想 Schank , 1982 。 1983 年 K olonder 的 Cyr us 是第5一个可在计算机上运行的

42、示例学习系统 ; 随后在不同领域中又研制出许多系统李宝东 , 1992; 卢美律等 , 1995 。示例学习方法的技术关键是 , 如何有效地选择和存储新的有用示例 , 为示例库建立便于查询的索引机制和恰当的匹配标准 , 以使相似示例的查找快速、方便和准确。1. 1. 3. 3 人工神经网络和遗传算法神经网络和遗传算法 ( Genetic Algor ith m) 属于非

43、符号学习范畴 , 不是在形式符号层次 , 而主要是在数值层次体现学习行为。人工神经网络又称为联结学习 ( Connectionist lear ning ) 机制 , 是由大量简单处理单元组成的非线性动力系统 , 它是借助动物神经生理科学的研究成果 , 假定人脑神经元网络加工、记忆信息的机理 , 利用计算机系统加以模拟。具体讲 , 人工神经元网络是一组相互关联

44、的神经元结点 , 每个结点都有其输入端、内部记忆状态和输出端 , 输出和内部状态由输入决定 , 而输入则由与之相连的若干结点的输出及其联结权值决定。神经网络的行为就取决于这些权值和输入 -输出函数。给定网络的初始状态 , 系统经过计算最终达到平衡状态 , 完成一次问题求解。学习过程即调整结点间联结的权值 , 以期得到规定的输出

45、。神经网络的主要特点有 : 大规模并行处理 ; 强健的分布式存储 ; 自适应、自组织的学习过程杨行竣等 , 1992 。主要研究成果有 M P 模型、感知机 ( P er cept r on ) 、 Hebb 假设、自适应线性网络 A daline、连接网络模型、 Bolt zmann 机和多层网络学习算法、 P DP 理论和多层网络误差反向传播算法 ( BP 算法 ) 等。遗传算法或称基因算法

46、, 源于对生物繁殖中的诱变原理和达尔文自然选择原理的计算机模拟 , 是由 Holland 于 1975 年首次提出 H olland, 1986; Goldber g, 1989 。它根据解决问题的规则在应用中效果的好坏和大小 , 进行优胜劣汰的繁殖 : 把参加每一轮竞争的规则群体 ( Popu lation) 看作一代 , 在同一代中选择表现优异者进行杂交 , 形成新一代规则 ; 如此一代代

47、地更新 , 以期获得一组高质量的规则。规则为适应应用环境而作的一代代更新 , 犹如生物为适应自然而更新后代。其运行流程为 : 吴轶华 , 1991a ( 1) 建立初始群体 ;( 2) 评价群体中的个体 ;( 3) 利用一组遗传算子 : 复制 ( R epr odu ction ) 、杂交 ( Cr os sover ) 、变异 ( Mut ation ) 或倒向 ( Inver sion ) , 创建新一代群体 , 保持

48、个体总数不变 ;( 4) 评价新的个体 ;( 5) 如果超过时间界限 , 或个体产生的迭代次数超过预设常数 n, 则输出评价值最高的个体 , 否则转 ( 3) 。分类器系统 ( Class ifier Syst em ) 是发展较为成熟的基于遗传的学习方法之一。一般结构如图 1. 5 所示。有三个主要部分 :( 1) 规则发现使用基因算法进行变形 , 生成新的行为规则 ;( 2) 信度调整

49、利用桶队算法 ( Bucket Algor ith m) 调整规则的可信度 , 为规则评定级别和加 ( 减 ) 权值 ;( 3) 执行部分即规则和信息系统 , 具体负责问题求解。由外界给出一组消息 , 其形6式为 01# ( # 代表 0 或 1 构成的串 ) , 系统检查输入消息是否与输入前提匹配 , 若匹配则输出规则的结论消息。图 1. 5 分类器系统的一般结构吴轶华 , 1991b1. 1. 4 学习方法和系统的评价1. 1. 4. 1 衡量学习系统的标准虽然还没有

展开阅读全文