1、讨论课,机器学习,主要内容,1 基本介绍 2 机器学习的定义及研究意义 3 机器学习的发展史 4 机器学习系统的基本结构 5 机器学习的分类 6 机器学习的应用领域,1 基本介绍,学习能力是智能行为的一个非常重要的特征，但至今对学习的机理尚不清楚。人们曾对学习给出各种定义。H.A.Simon认为，学习是系统所作的适应性变化，使得系统在下一次完成同样或类似的任务时更为有效。R.s.Michalski认为，学习是构造或修改对于所经历事物的表示。 从事专家系统研制的人们则认为学习是知识的获取。这些观点各有侧重，第一种观点强调学习的外部行为效果，第二种则强调学习的内部过程，而第三种主要是从知识工程的实
2、用性角度出发的。,1 基本介绍,机器学习在人工智能的研究中具有十分重要的地位。一个不具有学习能力的智能系统难以称得上是一个真正的智能系统，但是以往的智能系统都普遍缺少学习的能力。例如：它们遇到错误时不能自我校正；不会通过经验改善自身的性能；不会自动获取和发现所需要的知识。它们的推理仅限于演绎而缺少归纳，因此至多只能够证明已存在事实、定理，而不能发现新的定理、定律和规则等。随着人工智能的深入发展，这些局限性表现得愈加突出。正是在这种情形下，机器学习逐渐成为人工智能研究的核心之一。它的应用已遍及人工智能的各个分支，如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人等领域。其中尤其
3、典型的是专家系统中的知识获取瓶颈问题，人们一直在努力试图采用机器学习的方法加以克服。 主要内容,2 机器学习的定义及研究意义,学习是人类具有的一种重要智能行为，但究竟什么是学习，长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其不同的看法。同样，对于机器学习，至今，还没有统一的定义，而且也很难给出一个公认的和准确的定义。比如，Langley（1996) 定义的机器学习是“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。Mitchell（1997 ）在其著作Machine Learning中定义机器学习是提到，“机器学习是对能通过经
4、验自动改进的计算机算法的研究”。Alpaydin（2004）同时提出自己对机器学习的定义，“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”,2 机器学习的定义及研究意义,为了便于进行讨论和估计学科的进展，有必要对机器学习给出定义，即使这种定义是不完全的和不充分的。顾名思义，机器学习是研究如何使用机器来模拟人类学习活动的一门学科。更为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计算机；现在是电子计算机，以后还可能是中子计算机、光子计算机或神经计算机等等。机器能否象人类一样能具有学习能力？ 1959年美国的塞缪尔(Sam
5、uel)设计了一个下棋程序，这个程序 具有学习能力，它可以在不断的在对奕中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，此程序战胜了美国一个保持8年之久的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。,2 机器学习的定义及研究意义,问题：机器的能力是否能超过人？很多持否定意见的人的一个主要论据是：机器是人造的，其性能和动作完全是由设计者规定的，因此无论如何其能力也不会超过设计者本人。这种意见对不具备学习能力的机器来说的确是对的，可是对具备学习能力的机器就值得考虑了，因为这种机器的能力在应用中不断地提高，过一段时间之后，设计者本人也不知它的能力
6、到了何种水平。主要内容,3 机器学习的发展史,第一阶段：50年代中叶到60年代中叶，属于热烈时期第二阶段:60年代中叶至70年代中叶，被称为机器学习的冷静时期第三阶段:70年代中叶至80年代中叶，称为复兴时期机器学习的最新阶段始于1986年,机器学习进入新阶段的重要表现： 1机器学习已成为新的边缘学科并在高校形成一门课程。2结合各种学习方法，取长补短的多种形式的集成学习系统研究正在兴起。3机器学习与人工智能各种基础问题的统一性观点正在形成。4各种学习方法的应用范围不断扩大，一部分已形成商品。归纳学习的知识获取工具,诊断分类型专家系统连接学习,声图文识别分析学习,设计综合型专家系统遗传算法,强化
7、学习,工程控制中与符号系统耦合的神经网络连接学习, 企业的智能管理与智能机器人运动规划5与机器学习有关的学术活动空前活跃。主要内容,3 机器学习的发展史,4 机器学习系统的基本结构,学习行为的基本结构图,环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。在具体的应用中，环境，知识库和执行部分决定了具体的工作内容，学习部分所需要解决的问题完全由上述3部分确定。下面我们分别叙述这3部分对设计学习系统的影响。,环境因素 影响学习系统设计的最重要的因素是环境向系统提供的信息。或者更具体地说是信
8、息的质量。知识库里存放的是指导执行部分动作的一般原则，但环境向学习系统提供的信息却是各种各样的。如果信息的质量比较高，与一般原则的差别比较小，则学习部分比较容易处理。如果向学习系统提供的是杂乱无章的指导执行具体动作的具体信息，则学习系统需要在获得足够数据之后，删除不必要的细节，进行总结推广，形成指导动作的一般原则，放入知识库，这样学习部分的任务就比较繁重，设计起来也较为困难。 因为学习系统获得的信息往往是不完全的，所以学习系统所进行的推理并不完全是可靠的，它总结出来的规则可能正确，也可能不正确。这要通过执行效果加以检验。正确的规则能使系统的效能提高，应予保留；不正确的规则应予修改或从数据库中删
9、除。,4 机器学习系统的基本结构,知识库是影响学习系统设计的第二个因素。知识的表示有多种形式，比如特征向量、一阶逻辑语句、产生式规则、语义网络和框架等等。这些表示方式各有其特点，在选择表示方式时要兼顾以下4个方面： (1)表达能力强。(2)易于推理。(3)容易修改知识库。(4)知识表示易于扩展。 对于知识库最后需要说明的一个问题是学习系统不能在全然没有任何知识的情况下凭空获取知识，每一个学习系统都要求具有某些知识理解环境提供的信息，分析比较，做出假设，检验并修改这些假设。因此，更确切地说，学习系统是对现有知识的扩展和改进。 执行部分是整个学习系统的核心，因为执行部分的动作就是学习部分力求改进的
10、动作。同执行部分有关的问题有3个：复杂性、反馈和透明性。主要内容,4 机器学习系统的基本结构,5 机器学习分类,基于学习策略的分类学习策略是指学习过程中系统所采用的推理策略。一个学习系统总是由学习和环境两部分组成。由环境（如书本或教师）提供信息，学习部分则实现信息转换，用能够理解的形式记忆下来，并从中获取有用的信息。在学习过程中，学生（学习部分）使用的推理越少，他对教师（环境）的依赖就越大，教师的负担也就越重。学习策略的分类标准就是根据学生实现信息转换所需的推理多少和难易程度来分类的，依从简单到复杂，从少到多的次序分为以下六种基本类型：a 机械学习b 示教学习c 演绎学习d 类比学习e 基于解
11、释的学习 f 归纳学习,5 机器学习分类,机械学习是最简单的机器学习方法。机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。 机械学习又是最基本的学习过程。任何学习系统都必须记住它们获取的知识。在机械学习系统中，知识的获取是以较为稳定和直接的方式进行的，不需要系统进行过多的加工。而对于其它学习系统，需要对各种建议和训练例子等信息进行加工处理后，才能存储起来。,当机械学习系统的执行部分解决好问题之后，系统就记住该问题及其解。我们可把学习系统的执行部分抽象地看成某个函数，该函数在得到自变量输入值(X1,X2,Xn)之后，计算并输出函数值(Y1,Y2,Yp)。机械学习在存
12、储器中简单地记忆存储对(X1,X2,Xn),(Y1,Y2,Yp)。当需要f(X1,X2,Xn)时,执行部分就从存储器中把(Y1,Y2,Yp)简单地检索出来而不是重新计算它。这种简单的学习模式如下：,Lenat,Hayes Roth，和Klahr等人于1979年关于机械学习提出一种有趣的观点。他们指出，可以把机械学习看成是数据化简分级中的第一级。数据化简与计算机语言编译类似；其目的是把原始信息变成可执行的信息。在机械学习中我们只记忆计算的输入输出，忽略了计算过程，这样就把计算问题化简成存取问题，见图。,机械学习的主要问题,对于机械学习，需要注意3个重要的问题：存储组织，稳定性和存储与计算之间的权
13、衡。(a) 存储组织信息。显然，只有当检索一个项目的时间比重新计算一个项目的时间短时，机械学习才有意义，检索的越快，其意义也就越大。因此，采用适当的存储方式，使检索速度尽可能地快，是机械学习中的重要问题。在数据结构与数据库领域，为提高检索速度，人们研究了许多卓有成效的数据存储方式，如索引、排序、杂凑等等，在机械学习中我们可以充分利用这些成果来实现我们的要求。 (b) 环境的稳定性与存储信息的适用性问题。在急剧变化的环境下机械学习策略是不适用的。做为机械学习基础的一个重要假定是在某一时刻存储的信息必须适用于后来的情况。然而如果信息变换得特别频繁，这个假定就被破坏了,(c) 存储与计算之间的权衡。
14、因为机械学习的根本目的是改进系统的执行能力，因此对于机械学习来说很重要的一点是它不能降低系统的效率。比方说，如果检索一个数据比重新计算一个数据所花的时间还要多，那么机械学习就失去了意义。 这种存储与计算之间的权衡问题的解决方法有两种。一种方法是估算一下存储信息所要花费的存储空间以及检索信息时所花费的时间，然后将其代价与重新计算所花的代价比较，再决定存储信息是否有利。另一种方法是把信息先存储起来，但为了保证有足够的检索速度，限制了存储信息的量，系统只保留那些最常使用的信息，“忘记”那些不常使用的信息。这种方法也叫“选择忘却”技术。,机械学习应用举例,虽然机械学习是机器学习中最简单的策略，但是正确
15、使用这种策略却能对提高应用软件系统的质量起着重要作用。下面介绍吉林大学开发的建筑工程预算软件系统中采用的机械学习策略。这种方法成功地解决了工程预算中较难处理的图集问题。 建筑工程预算是建筑工程中一项困难而又重要的任务，工作量大，要求高。过去用手工编制，要花费很多时间。一份3000m2的民用建筑，一个技术人员手工编制预算需要15天至20天，加上工料分析，取费计算等等，需要近一个月时间，而且容易出错，影响预算的质量，造成资金、人员和材料的浪费与损失。近年来，随着电子计算机的普及应用，许多单位研制了建筑预算系统，减轻了建筑工程预算人员的繁重的脑力劳动，提高了工程预算的速度与准确性。但是，建筑预算中的
16、关键问题工程量计算问题，却始终没有得到很好地解决。这个问题的困难之一在于现行使用的建筑工程设计图纸上的数据与计算机要求的初始输入数据之间存在着很大的差距，只有靠建筑工程人员分析观察图纸，形成计算机可接受的初始输入，才能开始计算。造成工程量计算困难的第二个原因是设计图纸中出现的大量的门窗及预制件型号。预算中，工程技术人员需要不断查阅有关资料，决定这些预制件所需工时及材料。所采用的机械学习方法主要用来解决这一困难。,建筑工程中使用的门窗，大都采用国家或省市的标准设计，如JGMC1163是建工部规定的标准木窗，窗宽1米，高1.6米，此外还确定了窗的式样，如该窗是亮子的，3开扇，中间固定，有小汽窗，根
17、据这种标准设计图纸，人们预先计算出建造一个这种窗子所需的木料，玻璃，油漆，合页，铁角，拉手，所需木工量，油工量等等。在建筑工程图纸上，并不画出具体的窗子和门，只标明窗子和门的型号，预算时，人们只要数出各种窗子和门分别有多少个，然后根据标准图集查出每种窗子和门各需多少原材料及人工，即可求出建造门窗所需总的建筑材料及费用。 从问题的性质来看，采用计算机检索是最适宜不过了。但事情并不那么简单，问题的难点在于门窗的标准型号太多。这些标准型号的门窗，按规定标准的部门及门窗的种类编成许多厚厚的标准图集。虽然在工程预算程序内部保存了大量的标准图集，但仍不能满足预算的实际需要，一旦遇见一个先前未装入的新型号，
18、系统只好暂时停止运行，把新型号门窗及有关数据装入后再行计算，这样算算停停，很不方便，而且使预算时间拖得很长。,建筑工程所用的门窗及预制构件虽多，但也有其规律性。一般说来，一个建筑工程设计部门经常使用某些型号，对另外一些型号却较少涉及，一个工程项目通常只采用几种或几十种型号的门窗和预制件，并不是杂乱无章的。因此可采用机械学习方法解决这一问题。当程序运行中遇见未曾装入的门窗型号或预制构型号时，不是停下来待装入后重新计算，而是向用户提出询问，根据用户提供的数据，程序算出一个窗子或门等标准构件所需木材、玻璃、铁角等材料及所需各工种工日数，然后把计算的数据提供给预算系统继续计算，并把门窗等标准构件型号与
19、所需材料及工日保存起来，以后再遇见同种型号的标准构件，建筑工程系统只要通过检索就能获得数据，可以顺利进行下去，不再需要用户干预。因为大多数工程项目为着采购、制造、运输与管理上的方便，只采用几种或几十种的标准预制构件，所以预算系统在询问几次之后，就不必再行询问，直至计算得出最终预算结果，从而方便了用户，缩短了运行时间。 这种预算方法的另一个优点是具有广泛的适应性和自我完善能力，一个建筑设计部门通常与几个门窗生产厂家与预制件厂家有业务联系，因此通常采用某些型号的标准预制件。一旦这些型号的数据装入计算机，系统就能在大多数情况下独立完成预算。因此，上述采用的图集处理方法不仅适用于吉林省，而且其它省份与
20、建筑部门也可同样采用，只要他们使用一段时间之后，系统所积累的型号就基本上能满足他们的要求。因此便于推广，而且使用的次数越多，积累的标准构件型号越多，系统提出询问的情况越少，计算的速度也越来越快。,）示教学习(Learning from instruction或Learning by being told) 学生从环境（教师或其它信息源如教科书等）获取信息，把知识转换成内部可使用的表示形式，并将新的知识和原有知识有机地结合为一体。所以要求学生有一定程度的推理能力，但环境仍要做大量的工作。教师以某种形式提出和组织知识，以使学生拥有的知识可以不断地增加。这种学习方法和人类社会的学校教学方式相似，学习
21、的任务就是建立一个系统，使它能接受教导和建议，并有效地存贮和应用学到的知识。目前，不少专家系统在建立知识库时使用这种方法去实现知识获取。示教学习的一个典型应用例是FOO程序。3）演绎学习(Learning by deduction) 学生所用的推理形式为演绎推理。推理从公理出发，经过逻辑变换推导出结论。这种推理是“保真“变换和特化(specialization)的过程，使学生在推理过程中可以获取有用的知识。这种学习方法包含宏操作(macro-operation)学习、知识编辑和组块(Chunking)技术。演绎推理的逆过程是归纳推理。,4）类比学习(Learning by analogy) 利
22、用二个不同领域（源域、目标域）中的知识相似性，可以通过类比，从源域的知识（包括相似的特征和其它性质）推导出目标域的相应知识，从而实现学习。类比学习系统可以使一个已有的计算机应用系统转变为适应于新的领域，来完成原先没有设计的相类似的功能。类比学习需要比上述三种学习方式更多的推理。它一般要求先从知识源（源域）中检索出可用的知识，再将其转换成新的形式，用到新的状况（目标域）中去。类比学习在人类科学技术发展史上起着重要作用，许多科学发现就是通过类比得到的。例如著名的卢瑟福类比就是通过将原子结构（目标域）同太阳系（源域）作类比，揭示了原子结构的奥秘。）基于解释的学习(Explanation-based
23、learning, EBL) 学生根据教师提供的目标概念、该概念的一个例子、领域理论及可操作准则，首先构造一个解释来说明为什该例子满足目标概念，然后将解释推广为目标概念的一个满足可操作准则的充分条件。EBL已被广泛应用于知识库求精和改善系统的性能。著名的EBL系统有迪乔恩（G.DeJong）的GENESIS, 米切尔（T.Mitchell）的LEXII和LEAP, 以及明顿（S.Minton）等的PRODIGY。,归纳学习,归纳是指从个别到一般，从部分到整体的一类推论行为。归纳推理是应用归纳方法所进行的推理，即从足够多的事例中归纳出一般性的知识，它是一种从个别到一般的推理。 由于在进行归纳时，
24、多数情况下不可能考察全部有关的事例，因而归纳出的结论不能绝对保证它的正确性，只能以某种程度相信它为真，这是归纳推理的一个重要特征。 归纳推理是人们经常使用的一种推理方法，人们通过大量的实践总结出了多种归纳方法。,枚举归纳 设a1，a2，是某类事物A中的具体事物，若已知a1，a2，an，都有属性P，并且没有发现反例，当n足够大时，就可得出“A中所有事物都有属性P“的结论。这是一种从个别事例归纳出一般性知识的方法，“A中所有事物都有属性P“是通过归纳得到的新知识。 联想归纳 若已知两个事物a与b有n个属性相似或相同，即： a具有属性Pl，b也具有属性Pl a具有属性P2，b也具有属性P2 a具有属
25、性Pn，b也具有属性Pn 并且还发现a具有属性Pn+1，则当n足够大时，可归纳出 b也具有属性Pn+1 这一新知识。,类比归纳 设A，B分别是两类事物的集合： A=a1,a2, B=b1,b2, 并设ai与bi总是成对地出现，且当ai有属性P时，bi就有属性Q与之对应，即 P(ai)Q(bi) i=1，2， 则当A与B中有一对新元素出现时(设为A中的a，及B中的b)，若已知a有属性P，就可得出b有属性Q，即 P(a) P(b) 逆推理归纳 这是一种由结论成立而推出前提以某种置信度成立的归纳方法.在日常生活及科学研究中人们经常使用这种方法进行归纳推理。这种方法的一般模式是： (a) 若H为真时，
26、则HE必为真或以置信度cf1成立。 (b) 观察到E成立或以置信度cf2成立。 (c) 则H以某种置信度(cf)成立。 这可用公式表示为： HE cf1 E cf2 H cf,6 研究领域,目前，机器学习领域的研究工作主要围绕以下三个方面进行： （1）面向任务的研究 研究和分析改进一组预定任务的执行性能的学习系统。 （2）认知模型 研究人类学习过程并进行计算机模拟。 （3）理论分析 从理论上探索各种可能的学习方法和独立于应用领域的算法 机器学习是继专家系统之后人工智能应用的又一重要研究领域，也是人工智能和神经计算的核心研究课题之一。现有的计算机系统和人工智能系统没有什么学习能力，至多也只有非常有限的学习能力，因而不能满足科技和生产提出的新要求。对机器学习的讨论和机器学习研究的进展，必将促使人工智能和整个科学技术的进一步发展 。,谢谢观赏,
