1、感知机理论研究综述 张天欣 北京师范大学第二附属中学 摘 要： 近年来, 机器学习在各个领域发挥出了出色的表现, 在自然语言处理, 图像识别, 推荐系统等领域都发挥了巨大的作用, 成为了当前十分热门的一个学科领域, 这引起了笔者的关注和研究。本文主要介绍了机器学习领域的感知机算法, 通过感知机算法的概念、思想, 以及理论等方面, 全面地介绍了感知机算法在解决线性可分的二分类问题中发挥的作用, 并通过它的实际应用以及算法自身的特点, 对它未来的发展和完善做出了展望。关键词： 感知机; 线性分类器; 机器学习; 1 引言随着计算机技术的发展以及各种数据及资源的飞速增长。为了有效地管理和利用各种各样
2、的数据, 通过对大量数据的学习使机器具有认识问题和解决问题的能力, 这就是机器学习。机器学习作为人工智能的核心内容, 已经开始作为一个独立的学科领域飞速发展, 并渗透于生活中的各个领域。机器学习的整体思路是定义一个有效的目标模型和一个可以衡量目标模型优劣程度的损失函数, 通过对数据的学习一步步地优化目标模型使得损失最小的方式来求出最优模型, 最终可以利用这个目标模型来完成各种任务。感知机是机器学习算法中第一个具有重要学术意义的基础算法, 它具有运算简单, 收敛速度快, 具有实用价值等特点, 是机器学习领域重要的算法之一, 同时也是著名的机器学习算法支持向量机 (SVM) 的基础。2 概念在 M
3、c Culloch与 Pitts模型的基础上 Rosenblatt首先提出了感知机算法。感知机模型是一个线性分类器, 它的目标是通过训练数图 1据训练出能够将数据进行线性二分类的分离超平面。感知机虽然结构简单, 但能够学习并解决多种复杂的问题。感知机主要的本质缺陷是它不能直接处理线性不可分问题, 以及解决方案的非最优化。3 感知机原理3.1 感知机模型感知机模型就 f (x) =sign (w*x+b) , 即目标模型, 我们要做的就是通过已知的数据学习训练得出 w和 b这两个未知参数, 得到了这两个参数也就等同于训练出来我们的目标模型。如下由输入空间 x到输出空间 f (x) 的函数称为感知
4、机的模型:其中 w叫做权值 (weight) 或权值向量, w (w1, w2, w3, , wn) , 来表示各个输入对于输出的重要程度, b 叫做偏置 (bias) 用来调整整体结果和阈值之间的关系。sign为符号函数:感知机模型的原理:每一组参数值实际上就对应了一个目标模型, 所以只要得出目标参数也就得出了目标模型。我们要初始化参数, 然后根据已知的数据来判断这个模型是否符合我们的期望, 如果不符合, 那么我们根据感知机的学习策略来更新参数, 这样得到了一个新的模型, 然后再进行判断这个新的模型是否符合我们的期望, 如此循环, 直至找到符合我们期望的模型。3.2 感知机的学习策略在数据集
5、线性可分的前提下, 感知机的学习目标是通过已知数据训练出一个超平面, 这个超平面需要具有如下特性:能够将训练集中的两类样本点完全正确分类。为了找到这个超平面, 即确定感知机模型参数 w, b, 需要确定一个学习策略, 即定义一个损失函数, 来衡量目标模型的优劣, 损失函数极小化的过程就是目标模型优化的过程。所以求解目标模型, 就可以转换为求解损失函数的最小值。如何定义损失函数?一个自然选择是误分类点的总数, 通过误分类点的综述来衡量当前感知机模型的优劣, 但是这样的损失函数存在一个严重的问题:对于数据量较小的训练集, 我们可以通过这样损失函数找到目标模型, 但是当数据集的数据量较大时, 我们需
6、要通过计算来求出当前损失函数的最小值, 而此时的损失函数关于 w, b不是连续可导函数, 这样会严重影响我们求出损失函数最小值的效率。所以感知机的损失函数采用另一种形式来定义:计算所有点到超平面的总距离, 这样当损失函数为最小值时, 意味着所有样本点分类正确, 此时损失函数的参数即为目标模型的参数。感知机 f (x) =sign (w.x+b) 模型的损失函数定义为 (重点) :为第 i组数据的输入和输出, (w*xi+b) 是根据当前模型对 x做出的预测值, yi 是对应于 xi的真实值, 当一个样本被分类正确时 (即取阈值为 0时, 预测值和真实值都大于 0或者都小于 0) , 它的输出是
7、负值, 分类错误时, 输出值是正值, 即损失函数的最小值意味着最多的正确分类点。首先我们需要初始化一组参数, 即初始化一个超平面, 然后通过梯度下降法不断地极小化目标函数, 即对损失函数 L (w, b) =-yi (w*xi+b) 分别对 w, b求偏导, 以求出损失函数最小值。随机选取一个误分类点 (xi, yi) , 对 w和 b进行更新:其中 是步长, 又称为学习速率, 用来控制 w和 b更新幅度的大小, 越大, 需要更新的次数越少, 但是可能跨过最小值, 倒置反复更新, 而 越小, 则需要更新的次数越多, 所以选取适当的 也是一个重要的环节。这种学习策略可以理解为当一个样本点被错误分
8、类时, 则更新 w和 b的值, 直到该样本点被正确分类。如此循环, 直至所有的样本点都被正确分类3.3 感知机学习算法以二维空间为例, 感知机的模型即为图 1中的蓝色直线, 也就是我们要找的可以将红色点和蓝色点区分开的目标模型。例如图 1, 红色作为一类, 蓝色作为另一类, 一旦我们找到了这条直线, 那么根据一个点在这条直线的上侧还是下侧即可判断该点的分类。如图 1所示。感知机学习的过程是由训练集训练出目标感知机模型的过程, 即通过已知的数据 x和 y求得模型参数 w, b, 进而得到感知机模型 f (x) =sign (w*x+b) , 这里 x和 y分别是特征向量和类别 (也称为目标) 。
9、感知机学习算法转化为求解感知机损失函数的最优化问题, 最优化的方法是随机梯度下降法。学习算法:输入:训练数据集 T、学习率 输出:w, b;感知机模型 f (x) =sign (w.x+b) (1) 初始参数 w0, b0;(2) 依次选取训练集中所有的数据 (xi, yi) ;(3) 如果 yi (w.xi+b) =0, 即分类错误, 则使用随机梯度下降法更新 w和 b;(4) 转至 (2) , 直至训练集中的所有样本点均被正确分类。4 展望4.1 感知机的局限性感知机最初被认为有着良好的发展潜能, 但感知机不能直接解决一些线性不可分问题, 而且通过感知机算法找到的目标模型有多个, 每一个都
10、能满足需求, 但这多个模型中有一个最优模型, 即为支持向量机模型。其次, 感知机是面向二分类的任务, 目前对于多分类的任务只能简单地转换为多个二分类问题来处理。4.2 感知机的优势感知机算法是机器领域的一个基础算法, 对它的学习和能够更深入的理解其他算法。同时其自身具有系统结构简单, 模型易于训练, 对于二分类问题分类效果十分显著, 学习和预测时间短, 使得算法更加高效, 其应用也具有更广阔的前景。4.3 感知机的发展感知机面向的是线性分类, 但在现实中的分类问题通常是非线性的。简单的感知机模型主要用于线性分类器, 但在近年, 在使用核技巧改进感知机学习算法之后, 愈来愈多的人对感知机学习算法
11、产生兴趣, 完善感知机算法, 使得多层感知机可用于非线性分器等更复杂的任务上。感知机目前是针对二分类问题的算法, 但是所有的分类问题都可以转换为多层的二分类问题, 也就是通过贵感知机算法的改进, 升级, 可以提升感知机的分类能力, 从二分类改进为可以进行多分类, 同时可以将多分类的改进和非线性分类的改进进行结合, 进而处理更为复杂的分类任务。参考文献1王惊晓.Budget 感知机研究综述J.电脑知识与技术, 2012, 8 (14) :3371-3373+3390. 2李红霞.感知机学习算法模拟与改进J.信息与电脑 (理论版) , 2009 (10) :98-99. 3刘华煜.基于支持向量机的
12、机器学习研究D.大庆石油学院, 2005. 4丁世飞, 齐丙娟, 谭红艳.支持向量机理论与算法研究综述J.电子科技大学学报, 2011, 40 (01) :2-10. 5郭亚宁, 冯莎莎.机器学习理论研究J.中国科技信息, 2010 (14) :208-209+214. 6张润, 王永滨.机器学习及其算法和发展研究J.中国传媒大学学报 (自然科学版) , 2016, 23 (02) :10-18+24. 7安增波, 张彦.机器学习方法的应用研究J.长治学院学报, 2007 (02) :21-24. 8李运.机器学习算法在数据挖掘中的应用D.北京邮电大学, 2015. 9邴欣.机器学习在推荐系统中的应用D.山东大学, 2016. 10梁晓音.机器学习在数据挖掘中的应用J.广西质量监督导报, 2008 (11) :38-39+42.
