1、Newton-Raphson 算法 Logistic 分类器性能提升应用研究 叶晓波 秦海菲 楚雄师范学院网络与信息系统研究所 楚雄师范学院信息科学与技术学院 摘 要： Logistic 分类算法中, 通常使用梯度上升算法求解权值矩阵, Newton-Raphson算法是另一种求解权值矩阵的算法。选用 UCI 机器学习仓库中 3 个数据集, 实验研究了 Logistic 梯度上升算法与 Logistic Newton-Raphson 算法的分类正确率、权值矩阵迭代求解次数。实验结果表明, 相比 Logistic 梯度上升算法, Logistic Newton-Raphson 算法具有更高分类正
2、确率与较少权值矩阵迭代求解次数, 该结论为 Logistic 分类过程中权值矩阵求解算法提供了参考依据。关键词： 模式识别; Logistic; Newton-Raphson; 作者简介：叶晓波 (1975-) , 男, 云南大姚县人, 硕士, 楚雄师范学院副教授, 研究方向为模式识别、现代教育技术;作者简介：秦海菲 (1980-) , 女, 云南楚雄市人, 硕士, 楚雄师范学院副教授, 研究方向为数据仓库、数据挖掘、大数据分析。收稿日期：2017-05-27基金：云南省教育厅科学研究基金项目 (2012Y131) Study on the Application of Newton-Raph
3、son Algorithm in Performance Improvement of Logistic ClassifierYE Xiao-bo QIN Hai-fei Institute of Network School of Information Sciences and Technology, Chuxiong Normal University; Abstract： The gradient ascent algorithm is usually used to solve the weight matrix in Logistic classifier, Newton-Raph
4、son algorithm is another algorithm for solving the weight matrix.This paper selects three data sets in UCI machine learning repository, to do an experimental study on classification accuracy、iterative solution of weight matrix on Logistic gradient ascent algorithm and Logistic Newton-Raphson algorit
5、hm.The experiment results show thatLogistic Newton-Raphson algorithm has a higher classification accuracyand less iteration times for solution weight matrix, The results provide reference tosolve weight matrix for Logistic classifier.Keyword： pattern recognition; Logistic; Newton-Raphson; Received：
6、2017-05-270 引言模式识别是一门以应用为基础的学科, 目的是将对象进行分类1。根据分类算法训练学习与测试数据集类别标签情况, 模式识别可分为有监督模式识别、无监督模式识别及半监督模式识别1。监督学习算法中, Logistic 分类算法是广泛使用的简单二分类算法, 相对于感知器算法, Logistic 函数对于输入的任意值, 值域为 (0, 1) , 完全满足分类算法中概率为 (0, 1) 的要求, 且Logistic 函数为单调上升函数, 没有不连续点。Logistic 分类算法中, 大部分文献给出求解权值矩阵算法是梯度上升算法, 鲜见提及 Newton-Raphson 算法。这两种
7、算法, 哪种具有更快收敛速度与更高分类准确性, 本文通过实验研究给出了答案。1 Logistic 梯度上升算法1.1 Logistic 函数Logistic 算法属于广义线性模型, 用于因变量是二项分布的分类算法2。Logistic 函数表达式如下:Logistic 函数如图 1 所示。图 1 Logistic 函数 下载原图由图 1 可知, 当 z+时, g (z) 趋向于 1;当 z-时, g (z) 趋向于 0, 也就是 h (x) 值边界位于 01 之间。对于有监督二分类问题, 可设定分类标签为 0 与 1, 将分类问题转化为求解 Logistic 函数中的 , 让 尽量拟合分类标签。
8、根据图 1, Logistic 函数分类规则是:h (x) 0.5 对应分类标签为 1 数据, h (x) =0.5, 则从概率上认为 x 的类别标签 y 为 1;如 h (x) =0.5) ) /size (XT, 2) ;%计算分类正确率(10) while (X_cor (i) =0.5) ) /size (XT, 2) ;%计算分类正确率(15) end3.3.2 Logistic Newton-Raphson 算法程序设计步骤(1) load 数据集名称;(2) p=0.7;%提取训练学习数据比例(3) i=1;%计数器(4) 按比例 p 读取训练学习数据 X;(5) 按比例 1-p
9、 读取测试数据 TX;(6) w=zeros (size (X, 2) , 1) ;%初始化权值矩阵 w(7) 按照式 (4) 计算出梯度上升改变权值矩阵;(8) EXT=1./ (1+exp (-w*X) ) ;%代入式 (1) 计算分类值(9) X_cor (i) =sum (XT= (EXT=0.5) ) /size (XT, 2) ;%计算分类正确率(10) while (X_cor (i) =0.5) ) /size (XT, 2) ;%计算分类正确率(15) end3.4 实验结果分析实验结果见表 2、表 3。表 2 Logistic 梯度上升算法实验结果 下载原表 表 3 Log
10、istic Newton-Raphson 算法实验结果 下载原表 分析表 2、表 3 可知, Logistic Newton-Raphson 算法训练数据与测试数据分类正确率都高于 Logistic 梯度上升算法;在迭代求解次数方面 Logistic Newton-Raphson 算法仅需 2 次迭代就求出符合要求的权值矩阵, 明显少于 Logistic 梯度上升算法, 说明 Logistic Newton-Raphson 算法在分类正确率与迭代求解次数两方面都优于 Logistic 梯度上升算法。提高测试数据分类正确率, 如要求测试数据分类正确率高达 96% (可能会出现过拟合现象) , L
11、ogistic 梯度上升算法无法收敛, 而 Logistic Newton-Raphson 算法却能快速收敛, 这充分说明两种算法存在效率差别。4 结语本文从分类正确率、权值矩阵迭代求解次数两方面对 Logistic 梯度上升算法与Logistic Newton-Raphson 算法进行了研究。实验用数据源自权威 UCI 机器学习仓库, 实验数据除 SPECTF 数据集已经分配好训练数据与测试数据集外, 另外两个数据集 (WDBC.data 与 BCW.data) 均选取每个类别 70%数据作为训练学习数据, 余下 30%数据作为模型测试数据。实验结果如下: (1) Logistic Newt
12、on-Raphson 算法训练数据与测试数据分类正确率均高于 Logistic 梯度上升算法; (2) LogisticNewton-Raphson 算法仅 2 步迭代就求解出权值矩阵, 而Logistic 梯度上升算法需要更多迭代次数才能求解。以上说明, 相比 Logistic梯度上升算法, Logistic Newton-Raphson 算法分类准确率高、运行效率优越。参考文献1SERGIOSTHEODORIDIS, KONSTANTINOS KOUTROUMBAS.模式识别M.李晶皎, 王爱侠, 王骄, 等, 译.北京:电子工业出版社, 2011. 2王德辉, 杨帆, 杨凯.具有 LOG
13、ISTIC 回归结构的几何分布参数贝叶斯估计及应用J.辽宁师范大学学报:自然科学版, 2016 (3) :13-16. 3万会芳, 杜彦璞.K 近邻和 LOGISTIC 回归分类算法比较研究J.洛阳理工学院学报:自然科学版, 2016 (3) :83-86. 4百度百科.牛顿迭代法EB/OL.https:/ 5云磊.牛顿迭代法的 MATLAB 实现J.信息通信, 2011 (6) :26. 6ANDREW NG.Lecture notes 1EB/OL.http:/:808/materials.html. 7ANDREW NG.Homework 1:solutionsEB/OL.http:/:
14、808/materials.html. 8O L MANGASARIAN, W N STREET, W H WOLBERG.Breast cancer diagnosis and prognosis via linear programmingJ.Operations Research, 1995, 43 (4) :570-577. 9O L MANGASARIAN, W H WOLBERG.Cancer diagnosis via linear programmingJ.SIAM News, 1990 (23) :1-18. 10LA KURGAN, KJ CIOS, R TADEUSIEWICZ, et al.Knowledge discovery approach to automated cardiac SPECT diagnosisJ.Artificial Intelligence in Medicine, 2001, 23 (2) :149-169.
