1、第五章 机器学习,概述 实例学习,第五章 机器学习,概述 实例学习,机器学习 概述,什么是机器学习？ Simon（1983）：学习就是系统中的变化，这种变化使系统比以前更有效地去做同样的工作。 Minsky (1985)：学习是在我们头脑中（心里内部）进行有用的变化。 学习是一种具有多侧面的现象。学习的过程有：获取新的陈述性知识、通过教育或实践发展机械技能和认知能力、将新知识组织成为通用化和有效的表达形式、借助观察和实验发现新的事实和新的理论。,机器学习 概述,基本形式 知识获取和技能求精。学习的本质就是获取新的知识。包括物理系统和行为的描述和建模，构造客观现实的表示。知识获取 通过实践逐渐改
2、造机制和认知技能。例：骑自行车。这些技能包括意识的或机制的协调。这种改进又是通过反复实践和从失败的行为中纠正偏差来进行的。技能求精,机器学习 概述,基本形式知识获取的本质可能是一个自觉的过程，其结果是产生新的符号知识结构和智力模型。而技能求精则是下意识地借助于反复地实践来实现的。本章只涉及学习的知识获取问题。,机器学习 概述,为什么要研究机器学习？人工智能主要是为了研究人的智能，模仿其机理将其应用于工程的科学。在这个过程中必然会问道：“人类怎样做才能获取这种特殊技能（或知识）？”。 .,机器学习 概述,为什么要研究机器学习？. 当前人工智能研究的主要障碍和发展方向之一就是机器学习。包括学习的计
3、算理论和构造学习系统。现在的人工智能系统还完全没有或仅有很有限的学习能力。系统中的知识由人工编程送入系统，知识中的错误也不能自动改正。也就是说，现有的大多数人工智能是演绎的、没有归纳推理，因而不能自动获取和生成知识。 .,机器学习 概述,为什么要研究机器学习？ 未来的计算机将有自动获取知识的能力，它们直接由书本学习，通过与人谈话学习，通过观察学习。它们通过实践自我完善，克服人的存储少、效率低、注意力分散、难以传送所获取得知识等局限性。一台计算机获取的知识很容易复制给任何其它机器。,机器学习 概述,实现的困难：预测难：学习后知识库发生了什么变化，系统功能的变化的预测。归纳推理：现有的归纳推理只保
4、证假，不保证真。演绎推理保真。而且，归纳的结论是无限多的，其中相当多是假的，给生成的知识带来不可靠性。机器目前很难观察什么重要、什么有意义。,机器学习 概述,发展历史神经系统模型和决策理论 50年代开始。其特点是对开始与无初始结构和面向作业知识的通用学习系统感兴趣。包括构造多种具有随机或部分随机的初始结构的基于神经模型的机器。这些系统一般称为神经网络或自组织系统。由于当时计算机技术状态，多停留在理论和硬件上。这些元件类似于神经元，他们实现简单的逻辑功能。 ,机器学习 概述,发展历史神经系统模型和决策理论 1965年左右，神经网络经验模式导致了模式识别这一新学科以及机器学习的决策理论方法。这种方
5、法中学习就是从给定的一组经过选择的例子中获得判断函数，有线性的、多项式的、或相关的形式。 当时，Samuel(1059-1963)的跳棋程序是最著名的成功的学习系统之一。达到了跳棋大师的水平。,机器学习 概述,符号概念获取1975年左右提出的。这类学习过程通过分析一些概念的正例和反例构造出这些概念的符号表示。表示的形式一般是逻辑表达式、决策树、产生式规则或语义网络。代表有Winston的ARCH。,机器学习 概述,知识加强和论域专用学习 此方法是70年代中期开始，沿着符号主义路线进行的。在原有基础上逐步加强、重于专业的专用性。强调使用面向任务的知识和它对学习过程的引导作用。系统包括预先确定的概
6、念、知识结构、轮域约束、启发式规则和论域有关的变换。系统在开始并不具有所有的属性或概念，在学习过程中系统应得到一些新的属性或概念。 没有绝对的学习方法。许多系统体现出上述途径的组合。,机器学习 概述,机器学习进入新阶段的重要表现：（近十年）机器学习已成为新的边缘科学并在高校形成一门课程。它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。,机器学习 概述,机器学习进入新阶段的重要表现：（近十年） 结合各种学习方法，取长补短的多种形式的集成学习系统的研究正在兴起。特别是连接学习，符号学习的耦合可以更好地解决连续性信号处理中知识与技能的获取与求精问题而受到重视。,
7、机器学习 概述,机器学习进入新阶段的重要表现：（近十年） 机器学习与人工智能各种基础问题的统一性观点正在形成。例如：学习与问题求解结合进行，知识表达便于学习的观点产生了通用智能系统SOAR的组块学习。类比学习与问题求解结合的基于案例学习已成为经验学习的重要方向。,机器学习 概述,机器学习进入新阶段的重要表现：（近十年） 各种学习方法的应用范围不断扩大，一部分已形成商品。归纳学习的知识获取工具已在诊断分类性专家系统中广泛应用。连接学习在声图文识别中占优势。分析学习用于设计综合性专家系统。遗传算法与强化学习在工程控制中有较好的应用前景。与符号系统耦合的神经网络连接学习将在企业的智能管理与智能机器人
8、运动规划中发挥作用。,机器学习 概述,机器学习进入新阶段的重要表现：（近十年） 与机器学习有关的学术活动空前活跃。国际上除每年一次的机器学习研究会外，还有计算机学习理论会议及遗传算法会议。,机器学习 概述,机器学习模型 学习是建立理论、形成假设和进行归纳推理的过程。 整个过程包括：信息的存储、知识的处理两部分,环境,学习环节,知识库,执行环节,机器学习 概述,分类：按学习策略 机械是学习和直接输入新知识（记忆学习）学习这不需要进行任何推理或知识转换，将知识直接装进机器中。 根据示教学习（传授学习、指点学习）从老师或其它有结构的事物获取知识。要求学习者将输入语言的知识转换成它本身的内部表示形式。
9、并把新的信息和它原有的知识有机地结合为一体。 .,机器学习 概述,. 通过类推学习（演绎学习）学习者找出现有知识中所要产生的新概念或技能十分类似的部分。将它们转换或扩大成适合新情况的形式，从而取得新的事实或技能。 从例子中学习（归纳学习）给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述，是它适合于所有的正例且排除所有的反例。（目前研究较多的一种方法） .,机器学习 概述,.类比学习演绎学习与归纳学习的组合。匹配不同论域的描述、确定公共的结构。以次作为类比映射的基础。寻找公共子结构是归纳推理，而实现类比映射是演绎推理。,机器学习 概述,研究目的 希望得到通用的算法 研究了解学习
10、知识的模型、认知模型 解决实际问题的知识库域系统，达到工程目标 研究特点 不可预测性,第五章 机器学习,概述 实例学习,第五章 机器学习,概述 实例学习,实例学习,概述 50年代兴起的实例学习是归纳学习的一种。目前实例学习在某些系统中的应用已成为机器学习走向实践的先导。 环境提供给系统一些特殊的实例，这些实例事先由施教者划分为正例和反例。实例学习系统由此进行归纳推理得到一般规则。 环境提供给学习环节的正例和反例是低水平的信息，这是特殊情况下执行环节的行为。学习环节归纳出的规则是高水平的信息，可以在一般情况下用这些规则指导执行环节的工作。,实例学习,实例学习的两个空间模型,实例学习 两个空间模型
11、,描述 例子空间的描述语言可以描述所有例子；规则空间的可以描述所有规则。 例如：纸牌， 同花5张 正例：(2, c), (3, c), (5, c), (J, c), (A, c), 其中c，草花club 规则：描述一手牌的全部谓词表达式的集合。 符号：SUIT(花色)，RANK（点数） 常量：A, 2, 3, , 10. J, Q, K, clubs(草花), diamonds(方块), hearts（红桃）, spades(黑桃) 合取连接词， 存在量词 所以有规则：对c1, c2, c3, c4, c5 SUIT(c1, *)SUIT(c2, *)SUIT(c3, *)SUIT(c4,
12、*)SUIT(c5, *),实例学习 两个空间模型,例子空间 示教例子的质量。不能有错，同时提供正例和反例，逐步分批由选择地送入。 选择的条件：最有力地划分规则空间；证实肯定假设规则的集合；否定否定假设规则的集合。 搜索方法。,实例学习 两个空间模型,解释例子 解释例子的目的是从例子中提出用于搜索空间的信息。把示教离子变换成易于进行符号归纳的形式。 例如：Winston的积木世界中的“拱”的概念。,实例学习 两个空间模型,规则空间 最根本，真正学习的部分。 定义：一套符号来规定表示规则的算符、术语，所有的描述都在其中。 归纳方法：从特殊到一般的推理 常量化为变量。例P189，从几个正例中找到共
13、性的部分改成变量。 去掉条件。同上例。去掉牌点数这个条件 增加选择（析取）。例人脸牌。从RANK(c1, J), RANK(c2, K)推出还有RANK(c3, Q) 曲线拟合。几组值，解方程或用最小二乘法拟合成一条曲线或曲面。,实例学习 两个空间模型（规则空间）,不管是去掉还是增加，都是扩大范围。把已有的知识总结归纳推广。但是要小心。越快越强的方法越容易出错。原因是归纳推理方法是保假不保真。 实际上没有很严格的具体方法。 因此，用归纳方法的过程就是搜索过程。找到包含在少数例子中的正确信息。归纳出错就要回溯。要经常检验，用新例子去否定归纳出的错误规则。即解释例子和选择例子的反复，反复于例子空间
14、和规则空间之间。,实例学习 两个空间模型（规则空间）,对规则空间的要求 表示用适应于归纳。如：有谓词才可以增减；有状态空间才能拟合。不同的归纳方法要求不同的规则表示方法。如果规则空间描述的语言的表达能力较弱，可以使用的归纳方法就比较少，规则空间的搜索反谓就比较小，搜索就比较容易。但解决的问题就较少。因此，设计是在规则空间表达能力与规则空间搜索难度之间进行权衡。 表示和例子的一致。如相差很大，解释例子和选择例子的过程就很复杂。 引入新术语（规则空间）。当表示语言不能描述学习过程中产生的新状态时，要产生新的术语。,实例学习 两个空间模型（规则空间）,搜索规则空间的方法 最终的目的是为了搜索，先建立
15、一个假设空间，在其中进行搜索。方法：怎样改进假设规则机，以便求得要求的规则。 变形空间法Version-space：数据驱动 改进假设法Hypothesis-refinement：数据驱动 产生与测试Generate and Test：模型驱动 方案示例法Schema Instantiation：模型驱动 选择例子。 选择合适的例子，以能更好的搜索。,实例学习,实例学习的分类 按搜索方法分类：变形空间法；改进假设法；产生与测试法；方案示例法 按论域分类： 数字表示：多用于电子工程、系统理论和模式分析知识：多项式、矩阵；系统：自适应系统；任务：模式分类、自适应控制、滤波等。 符号表示：AI领域主
16、要研究对象。知识：符号的特征向量、一阶谓词、产生式规则、框架、语义网络；,实例学习 实例学习的分类,按任务复杂程度分类： 学习单个概念：最基本的 学习多个概念：归纳出多个相互独立的概念 学习执行多步任务：一个操作序列去完成任务，即执行环节对任务要规划。,实例学习,学习单个概念 概念：采用谓词逻辑的知识表示时，一个概念就是一个谓词公式。学习单个概念就是给系统一个概念的若干正例合反例，系统由此归纳出表示这个概念的谓词公式。 过程： 给定：概念的表示语言；正例和反例 寻找：一条规则。覆盖全部正例，不覆盖全部反例。,实例学习 学习单个概念,变形空间法 变形空间方法以整个规则空间为初始的假设规则集合H。
17、依据示教例子中的信息，对集合H进行一般化或特殊化处理。逐步缩小集合H，最后使H收敛为只含有要求的规则 由于被搜索的空间H逐步缩小，故称为变形空间。例:p.198,变形空间图,实例学习 学习单个概念（变形空间法）,搜索：使用一个可能合理的假设规则的集合H，H是规则空间的子集，是规则空间中间的一段。H中最一般的元素组成的子集称为G集合，最特殊的元素组成的子集称为S集合。（H是上界G和下界S之间的一段。 ） 学习基本思想：尽可能合理的进行特殊化和一般化处理，通过搜索减小H，找到一个假设规则。 具体方法：消除候选元素法，见 p.199 例子：p.200,实例学习 学习单个概念（变形空间法）,结论 S是
18、规则充分条件，G是规则必要条件的集合。学习结束时找到的应是充分必要条件。 正例的主要工作是对S一般化，反例是对G特殊化。搜索的过程是在例子的引导下，数据驱动。遵循的是变量优先的原则。,实例学习 学习单个概念（变形空间法）,变形空间法的优缺点： 搜索空间太大，有可能引起计算爆炸问题（规则总地来说是越扩越多） 抗干扰性差，所有数据驱动方法的通病。解决方法：例子一组一租地给。 采用析取规则，即此算法不可能发现“或”的关系。,实例学习 学习单个概念,改进假设方法 也是数据驱动的方法。用改进操作来修改规则空间中的假设。然后根据示教例子用启发式方法选择这些操作。 例子：p.205 优点：能发现实质变量间关
19、系 缺点：仅能在特殊情况下才能使用操作。变量的选样，对例子的提供很敏感,实例学习 学习单个概念,产生与测试方法 模型驱动的方法。 例子：见p.207 优点：比变形空间法更快，存储量更少，抗干扰。即使例子中有干扰，就选覆盖大多数例子的规则即可。 缺点：没有很完善的模型指导修剪和结束搜索。同时，因为修剪所以不完备，不一定能找到全部合格的概念。而且一次需要全部例子，不适合于逐步学习。,实例学习 学习单个概念,方案示例方法 模型驱动的方法。常用于理解性任务。如：图像、语音、自然语言理解。 例子：见p.211 优点：可以很快找到要求规则，抗干扰性好 缺点：难以划分出几种方案。有的规则不能被现有的方案覆盖
20、。每个方案要专门研究，使用不同的解释方法。,实例学习,学习多个概念 单个规则：可存在规则将空间一分为二 规则集合有相交，主要问题是重叠部分。 学习多步任务 多步学习就是选择一系列规则，去完成一系列步骤。如下棋，积分。 难点 多规则一起使用，规则之间的相互联系，影响。 奖罚分配问题 透明度 例子：见p.229,第五章 机器学习,The End.,机器学习 概述,环境：工作对象，外部环境 信息水平。高水平的抽象，需具体化成为知识；低水平的特殊（实例），需一般化成为知识。信息质量。正确无干扰的；适当选样例子合适的；（学习）次序合适。信息质量对学习难度有明显影响。如施教者向系统提供准确的施教例子，而且
21、提供例子的次序也有利于学习，则容易进行归纳。反之难以归纳。,机器学习 概述,知识库 形式：知识表示形式。如特征向量、谓词演算式、产生式规则、过程、语义网络、框架等。需要考虑： 可表达性。要能描述缺乏内在结构的事物。以一个特征集合或其它东西来描述事物。推理难易性。常用的推理是比较两个描述是否等效。如：向量容易、谓词难。 可修改性。知识是否可修改 可扩充性。学习系统通过增加词典条目和表示结构来扩大表示能力，以学习更复杂的知识 内容：要有相当的初始知识,机器学习 概述,执行环节 任务的复杂性 单个概念：最简单：是与否，没有实用价值。 多个概念，多步任务（规划问题） 反馈通过执行结果、评价学习结果。即
22、评价知识本身。可用知识库做评价，也可用环境作为客观执行标准 透明度不仅了解执行的结果，也要了解推理过程。这样系统容易分析。,实例学习 学习单个概念,一般规则空间排序示意图,第五章 机器学习,The End.,11、人生的某些障碍，你是逃不掉的。与其费尽周折绕过去，不如勇敢地攀登，或许这会铸就你人生的高点。12、有些压力总是得自己扛过去，说出来就成了充满负能量的抱怨。寻求安慰也无济于事，还徒增了别人的烦恼。13、认识到我们的所见所闻都是假象，认识到此生都是虚幻，我们才能真正认识到佛法的真相。钱多了会压死你，你承受得了吗?带，带不走，放，放不下。时时刻刻发悲心，饶益众生为他人。14、梦想总是跑在我
23、的前面。努力追寻它们，为了那一瞬间的同步，这就是动人的生命奇迹。15、懒惰不会让你一下子跌倒，但会在不知不觉中减少你的收获;勤奋也不会让你一夜成功，但会在不知不觉中积累你的成果。人生需要挑战，更需要坚持和勤奋!16、人生在世：可以缺钱，但不能缺德;可以失言，但不能失信;可以倒下，但不能跪下;可以求名，但不能盗名;可以低落，但不能堕落;可以放松，但不能放纵;可以虚荣，但不能虚伪;可以平凡，但不能平庸;可以浪漫，但不能浪荡;可以生气，但不能生事。17、人生没有笔直路，当你感到迷茫、失落时，找几部这种充满正能量的电影，坐下来静静欣赏，去发现生命中真正重要的东西。18、在人生的舞台上，当有人愿意在台下
24、陪你度过无数个没有未来的夜时，你就更想展现精彩绝伦的自己。但愿每个被努力支撑的灵魂能吸引更多的人同行。19、积极的人在每一次忧患中都看到一个机会，而消极的人则在每个机会中看到了某种忧患。莫找借口失败，只找理由成功。20、每一个成就和长进，都蕴含着曾经受过的寂寞、洒过的汗水、流过的眼泪。许多时候不是看到希望才去坚持，而是坚持了才能看到希望。1、有时候，我们活得累，并非生活过于刻薄，而是我们太容易被外界的氛围所感染，被他人的情绪所左右。2、身材不好就去锻炼，没钱就努力去赚。别把窘境迁怒于别人，唯一可以抱怨的，只是不够努力的自己。3、大概是没有了当初那种毫无顾虑的勇气，才变成现在所谓成熟稳重的样子。
25、4、世界上只有想不通的人，没有走不通的路。将帅的坚强意志，就像城市主要街道汇集点上的方尖碑一样，在军事艺术中占有十分突出的地位。5、世上最美好的事是：我已经长大，父母还未老;我有能力报答，父母仍然健康。6、没什么可怕的，大家都一样，在试探中不断前行。7、时间就像一张网，你撒在哪里，你的收获就在哪里。纽扣第一颗就扣错了，可你扣到最后一颗才发现。有些事一开始就是错的，可只有到最后才不得不承认。8、世上的事，只要肯用心去学，没有一件是太晚的。要始终保持敬畏之心，对阳光，对美，对痛楚。9、别再去抱怨身边人善变，多懂一些道理，明白一些事理，毕竟每个人都是越活越现实。10、山有封顶，还有彼岸，慢慢长途，终
26、有回转，余味苦涩，终有回甘。11、失败不可怕，可怕的是从来没有努力过，还怡然自得地安慰自己，连一点点的懊悔都被麻木所掩盖下去。不能怕，没什么比自己背叛自己更可怕。12、跌倒了，一定要爬起来。不爬起来，别人会看不起你，你自己也会失去机会。在人前微笑，在人后落泪，可这是每个人都要学会的成长。13、要相信，这个世界上永远能够依靠的只有你自己。所以，管别人怎么看，坚持自己的坚持，直到坚持不下去为止。14、也许你想要的未来在别人眼里不值一提，也许你已经很努力了可还是有人不满意，也许你的理想离你的距离从来没有拉近过但请你继续向前走，因为别人看不到你的努力，你却始终看得见自己。15、所有的辉煌和伟大，一定伴
27、随着挫折和跌倒；所有的风光背后，一定都是一串串揉和着泪水和汗水的脚印。16、成功的反义词不是失败，而是从未行动。有一天你总会明白，遗憾比失败更让你难以面对。17、没有一件事情可以一下子把你打垮，也不会有一件事情可以让你一步登天，慢慢走，慢慢看，生命是一个慢慢累积的过程。18、努力也许不等于成功，可是那段追逐梦想的努力，会让你找到一个更好的自己，一个沉默努力充实安静的自己。19、你相信梦想，梦想才会相信你。有一种落差是，你配不上自己的野心，也辜负了所受的苦难。20、生活不会按你想要的方式进行，它会给你一段时间，让你孤独、迷茫又沉默忧郁。但如果靠这段时间跟自己独处，多看一本书，去做可以做的事，放下过去的人，等你度过低潮，那些独处的时光必定能照亮你的路，也是这些不堪陪你成熟。所以，现在没那么糟，看似生活对你的亏欠，其实都是祝愿。,
