1、1,人工智能: -理论、原理与实现,引 言中科院研究生院,2,目 的,近五十年来，人工智能的研究起起伏伏，新的研究结果不断出现，同时大量研究被摒弃。 历史上，哪些研究至今还是重要的？判断哪类研究是没有意义的? 了解这些思想与研究，对今后的研究十分重要。,3,提 纲,人工智能之前的研究 人工智能的提出 重要事件 人工智能基础 目前的研究趋势 课程安排,4,人工智能之前的研究(1),十九世纪末James关于神经结构的研究，神经系统由神经元组成，神经元之间是相互连接的； 二十世纪中叶McCulloch与Pitts对神经元工作方式的研究，神经元有兴奋与抑制两种状态。,5,图 解,x1,x2,xn,f(
2、x),f(x)=,1, x=0,0, x0,神经系统结构,神经元工作方式,6,McCulloch与Pitts的研究结果奠定了计算机科学与技术的基础。,7,人工智能之前的研究(2),Turing的计算理论与Turing测试。 Wiener的控制论。 Shannon的信息论。,8,Turing测试(1950),测试者A，被测试者B与C。 A是人，B与C一个是人，另一个是计算机。 A提出问题，B与C分别回答。 如果B与C的回答，使得A无法区分是人的回答还是计算机的回答，则计算机具有了智能。 Turing测试第一次给出了检验计算机是否具有智能的哲学说法。 Turing是人工智能之父。,9,Searle
3、的批评(汉语实验室),一个不懂汉语的人A，一个充分详细的汉语问答手册。 不计查手册的时间代价。 给A一个使用汉语提出的问题，A通过汉语符号的比对使用手册，给出回答。 Searle问，如果A通过查手册做出的回答与懂汉语的人一样，A懂汉语吗？,10,“深蓝”下棋程序,1997年，IBM设计了这个程序。 战胜卡斯帕罗夫！ “深蓝”有智能吗？ 媒体与大众认为“有”。 科学家认为“没有”。理由恰恰是Searle汉语实验室。,11,Wiener的控制论,反馈。 对变化环境的适应性。 控制的统计特性。 计算。,12,计算机科学与控制理论,计算机科学与控制理论有共同的理念祖先-控制论。 Von Neumann
4、与Shannon将Turing的计算理论加入控制论，形成计算机科学。 Ashby将微分方程定性理论加入控制论，形成以稳定性为基础的控制理论。 从此，形成两个不同学科。 Return,13,“人工智能”提出,一般的说，人工智能这个术语来源于1956年的一次关于“复杂信息处理”的Workshop。 在这次会议上，J.MaCarthy建议将这类研究称为人工智能。,14,复杂信息处理,在50年代，计算局限在数值处理，例如，计算弹道等。 1950年，Shannon完成了第一个下棋程序。开创了非数值计算的先河。 Newell, Simon, MaCarthy and Minsky等均提出以符号为基础的计算
5、。,15,复杂信息处理的任务,将人的信息加工理解为一种计算。 计算机的功能是计算，信息加工是计算，计算机似乎可以完成人类大脑完成的信息加工任务。 符号加工、表示、推理、学习将代替数值计算，成为计算机的主要用途。 复杂信息本质上就是非线性信息，解决非线性问题是主要任务。,16,人工智能的任务,根据人类信息加工原理，设计计算系统，以使计算机完成更复杂的任务。 使用计算系统研究人类的思维活动规律。 Return,17,重要事件,启发式搜索 感知机 基于符号的规则表示-人工智能的主流 适应性 知识发现,18,重要事件-启发式搜索,1960年，Simon发表了重要的关于启发式搜索的报告。 据此，Newe
6、ll, Simon and Shaw发表了通用问题求解器-GPS。,19,启发式搜索的意义,分析中学生解几何习题的口述报告，Simon认为人类信息加工过程，是在经验知识启示下，对解空间的搜索过程。 经验知识多少，决定了问题求解的有效性。 称为启发式搜索。,20,科学意义,启发式搜索的意义： 揭示了人类信息加工的本质。 暗示了一种问题求解的计算模型。 决策科学的基础。 可接受解代替最优解。 这是计算机科学中，对NP完全问题求解需要遵守的原则之一。 Return,21,重要事件-感知机,Rosenblatt根据神经系统的工作方式提出了感知机理论。以此解决机器学习问题。 这是一个线性学习理论。,22
7、,Minsky的批评,1969年，Minsky出版Perceptron一书。 一方面，他批评感知机无法解决非线性问题，例如， XOR问题。 复杂性信息处理应该以解决非线性问题为主。 另一方面，几何方法应该代替分析方法作为主要数学手段。,23,对人工智能研究的影响,在以后的二十年，感知机的研究方向被忽视。 基于符号的知识表示成为主流，例如，规则等。 基于逻辑的推理成为主要研究方向。,24,重要事件-人工神经网络,直到1986年，Rumelhart发现了BP算法，才导致感知机之类的研究重新兴起。 1988年，Minsky重版他的Perceptron，并指出，BP算法没有解决他在二十年前提出的问题。
8、 不幸被他言中了。,25,NP-Hard,BP算法是非线性优化算法。 非线性优化算法是NP-Hard问题。 这意味着，不可能存在一种改进，使得这类算法能够解决大量数据问题。 除非改变算法本身。,26,重要事件-SVM,1991年，前苏联数学家Vapnik到了西方，带来了他在1971年的一项研究，统计学习理论。 人们重新认识了感知机与几何在算法设计中的作用。,27,SVM原理,基于泛函分析原理，将样本从欧氏空间映射到Hilbert空间。 在Hilbert空间定义划分，以使在欧式空间为非线性划分问题变换为在Hibert空间为线性划分问题。 从而回归到Rosenblatt的感知机。,28,Vapni
9、k的贡献,奠定了泛化的统计理论。 根据泛函分析，提出了核函数的概念。由此，设计了SVM算法。 尽管在理论上，SVM的划分是定义在Hilbert空间，但是，通过核函数，其计算仅仅依赖于定义在欧式空间上的样本。 问题归结为核函数的选择。 Return,29,基于符号规则的表示,Widrow的Madline模型。 Samual的规则表示。,30,Widrow的MADLINE,为了解决XOR问题，Widrow提出使用非光滑超平面代替连续光滑超平面对样本的划分。 其划分对学习来说可能是平凡的。因为，信息长度可能未减少。,31,原 理,32,重要事件-Samual的规则表示,尽管Widrow的研究没有获得
10、成功，但是，却导致基于规则的知识表示的发展。 Samual最先提出使用这种知识表示方法，并使用其设计了下棋程序。 影响了二十年人工智能的发展。,33,人工智能的主流,基于符号的知识表示。 基于符号的启发式搜索。 基于符号的推理。,34,重要事件-A*算法,1971年，Nillson提出A*搜索算法。 这是对启发式搜索理论的研究结果。 这个算法第一次给出了启发式函数对搜索的准定量描述。 没有给出获得启发式知识的途径。,35,重要事件-Resolution原理,基于符号的表示使得基于逻辑的推理成为可能。 1965年，Robinson根据30年代Herbrand证明的一个定理，提出了一种相对简单的定
11、理证明的方法，称为Resolution。,36,不确定推理,基于Fuzzy的推理。 基于D-S的推理。 非单调推理。 总称基于常识的推理。,37,重要事件-KRL-0,Knowledge Representation Language. 这个研究建立了语义网络、Frame等重要的知识表示的形式化方法。 目前这已成为面向对象程序设计的主要理论基础之一。,38,知识工程-专家系统,1977年，Feigenbuam提出了知识工程概念。 在理念上，为专家系统的建立奠定了基础。 专家系统已成为人工智能研究的应用。Return,39,适应性,自从计算机科学与控制理论成为不同学科之后，两者进行分别研究。 计
12、算只是控制研究的工具。 计算则完全抛弃了控制的精髓-反馈。 近些年，反馈被计算所重视。但是，已不是基于实数域上的微分方程，而是更为复杂的定义在特定结构上的反馈。,40,重要事件-Classifier系统,1975年，Holland提出了classfier系统。 遗传算法。 对变化环境的适应性(桶队算法)。 进化计算。 复杂性。,41,Society of mind,1986年，Minsky提出了society of mind。 其要点是Agent。 智能行为来源于agents群体之间的合作与竞争。 Agents之间的相互作用是一种是相互的适应。 与Nash的对经济行为的论述类似。,42,重要事
13、件-临场AI,1986年，Brooks提出了临场AI的考虑。 关键是：智能行为来源于对变化的真实环境的适应。 机器昆虫。,43,Reinforcement学习,基于适应性的机器学习方法。 建立在一类特殊Markov过程上。 由此建立适应模型。 还很初步。Return,44,重要事件-知识发现,1979年，CMU发展了Bacon系统。试图从数据重新发现天文学知识。 1981年，Stanford发展了AM系统，试图发现新的数学定理。 这些研究成为近年来Data mining的原始思想。,45,KDD and Data mining,任务：从数据集合中获得简洁、非平凡的解。 预测 描述,46,预 测
14、,与机器学习的原始目标是一致。 给定数据集合，根据黑箱原理，选择一个基函数，建立一个模型，以保证这个模型对这个领域的其他样本有较高的识别正确率，即，模型有较高的泛化能力。,47,数据描述,目的：使人理解数据。 从给定数据集合，变换为一种简洁表示。 这是最具特色的研究。,48,重要事件-ID3,1986年，Quinlan提出了ID3机器学习算法。 基于特殊等价关系对给定数据集合划分。 重要的是，这个模型使用了一种树结构，称为决策树。 优点：存在快速算法。 缺点：有大量冗余。,49,Rough Set理论,1981年，波兰数学家Pawlak提出了Rough set理论。 是用数学工具规范了一类机器
15、学习。 Reduct, Core, 正区域等概念，已成为数据描述的有力工具。 已找到计算这些概念的对样本数量为线性的算法。 Return,50,人工智能基础,知识表示。 推理。 启发式搜索。,51,知识表示,在理论上： 表示：一类特定的数学基函数。 知识表示：在特定数学基函数下的模型。 在技术上： 表示：一种数据结构。 知识表示：在特定数据结构下的模型。,52,推 理,给定逻辑公理，在这公理意义下的演绎过程。 对AI，这个公理不仅有数学意义，而且更为重要的是，这个公理必须反映实际世界的现象。 这是与纯数学研究的本质差别。,53,复杂搜索空间,搜索是计算的基础之一。 如果搜索的空间是NP的，并且
16、这个空间的比较大，这就是不可解的。 解决这样问题的方法，有两个： 难度方法(hardness)。 启发式方法。这已成为计算机科学普遍使用的方法。,54,难度曲线,A,B,c,d,55,解 释,横坐标：算法概括的问题集合。 纵坐标：问题的计算代价。 存在两个算法：A and B。 算法A计算代价大的问题比B少。,56,实际世界的问题,实际世界的问题是算法概括的问题的一个子集。 如果一个实际世界的大多数问题集中在d向右，即，对A，难解问题不属于这个实际世界，则这个领域可解。 吴方法的平面几何定理的证明就是如此。,57,难度曲线的应用,如果能够发现一种数学方法，改变难度曲线，使得被求解的实际世界问题
17、落在难度较低的范围之内，这个问题就是可解的。从B到A。 例如，一般地说，吴方法是NP完全的，但是，大多数平面几何定理的计算难度较低，因此，吴方法可以机械化证明这些定理。 由于吴方法在数学上是完备的，吴先生做出了重大贡献。,58,Reduct,由于Reduct有严格的数学定义，因此，这个概念引入，是将最小约简的目标变换为Reduct目标。 从而将一个NP完全问题的目标，在严格数学定义下，变换为P问题目标。,59,启发式搜索,启发式知识是经验的。 无需考虑对某个问题的完备性，这意味着，获得的解可能对给定目标不是最优的。 但是，一定是次优的、可接受的。 Return,60,目前的研究趋势,网络经济的
18、泡沫破灭之后，由此，社会与工业界从中向计算机科学家提出了哪些新的研究课题？ 在过去的十年中，人们做了什么？,61,美国国家信息基础设施计划,不分地域地、有效地获得与传输信息。 不分地域地、有效地共享硬软资源。 有效地利用信息，以提高生产率。 保证信息安全。,62,现状之一,以浏览器为核心技术的“有效获得信息”的研究取得了预期效果。 人们已可以从不同地域有效地获得信息。,63,有效获得信息,人满为患！ 简单地通过建立网站获得成功，已是昨天的梦想。 大批失败者返回学校，重新学习。,64,现状之二,在网络上的硬软资源的利用率只有3-5%。 大量计算资源没有由于网络设施的支持而被充分利用。,65,现状
19、之三,与提高生产率有关的信息的有效使用率甚至低于1%。 占用大量硬软资源的信息正在大量地被浪费。,66,现状之四,信息的安全还没有保证。 严重地阻碍了应用。,67,社会对现状反映,大众广泛使用浏览器寻找需要的信息。 寻找到的信息不能使专业人士满意。 投资与回报不成比例。 广泛使用计算机，但是，存在大量浪费，甚至造成环境污染。,68,三个必须解决的问题,更有效地共享硬软资源。 更有效地将信息变为知识。 保证信息安全。,69,硬软资源的有效共享,Grid Computing (NASA). Ubiquitous Computing (Xreox). 全球分布计算网络。,70,全球分布计算网络,这是
20、一个民间的组织。 加拿大的麦克尔.卡梅伦在这个网络上找到目前已知最大素数213466917-1。 使用了大约两百台计算机，计算了20天。当然，研究者并不知道使用了哪些计算机。 卡梅伦使用的计算机是P3-733，128M内存。,71,非线性动力学,实现硬软资源的有效共享，其行为与经济行为类似。 其目标是在一种平衡(例如，Nash平衡)意义下，寻找资源合理分配的动力学行为。 Agent的思想可以作为行为载体的描述基础。,72,信息安全,信息传输安全。 信息存储安全。 无用与有害信息的过滤。,73,量子信息,解决信息传输安全的方案倾向与使用量子信息技术。 在技术上，估计还需要五年时间。,74,信息变
21、换为知识,存在两类问题： 预测：其目标是建模，并使用模型求解新问题。 描述：其目标是语言变换，以使用户理解信息。 这就是KDD。,75,两类任务的核心问题,预测： 核心问题是模型的泛化能力。 描述： 核心问题是约简的简洁程度。,76,计算机科学家的危机,解决上述问题需要更多的数学与物理知识，甚至更多的其他学科的科学知识。 科学家，特别是数学家正在争夺计算机科学家的位置。,77,数学的意义,在新的一轮IT产业中，尽量多的掌握数学知识是必要的。 对计算机科学的大多数研究与开发， 数学不是万能的，但是，没有数学却是万万不能的。 Return,78,课程安排,课程的基础部分：主要讨论人工智能三个基本问
22、题-知识表示、推理与搜索。 课程的高级部分：主要讨论机器学习的若干问题，这取决于课程的时间。,79,基本部分,符号逻辑、Herbrand定理、Resolution等。 启发式搜索理论、推理模型等 知识表示，特别是结构化知识表示。例如，语义网络与Frame。 专家系统原理。,80,高级部分,主要涉及机器学习： ID3与AQ11。* 人工神经网络。* 遗传算法。* Rough Set 理论。 统计机器学习理论。 Reinforcement Learning。 主曲线 。,81,考试方法,开卷考试。 考试时，可以阅读任何材料，但是，必须独立完成。 考试时间三小时，上午8点至11点。 考试范围，包括本课程的基础部分，以及高级部分的前三部分。,82,引言结束,
