1、 本科生学年论文题目：从理论到应用浅谈 lasso 模型指导教师： 学院： 姓名： 学号： 班级： - 0 -从理论到应用浅谈 lasso 模型【摘要】回归模型是我们在处理数据中常用的方法。其中，Lasso 模型是一种适用于多重共线性问题，能够在参数估计的同时实现变量的选择的回归方法。本文从 lasso 模型的概念谈起，对其起源、思想、与岭回归的比较、通过 lar 的算法实现等方面进行了探究。另外还使用 R 语言对简单案例进行 lasso 模型的应用。最后简述了 lasso 模型的研究现状。【abstract】Regression model is our commonly used meth
2、od in processing data. Lasso model is a kind of regression method for multiple linear problems, which can be used to achieve parameter estimation and variable selection at the same time. This paper starts from the concept of the lasso model, including its origin, ideas, and the comparison of ridge r
3、egression, through lar algorithm implementation, etc. In addition, using R language to solve a simple case through lasso. At last, the research status of lasso model is introduced.【关键词】Lasso 岭回归 最小角回归 R 语言【key words】Lasso ridge regression lar R language- 1 -目录一、 定义及基本信息 .4二、 起源与原理 .4三、 模型的思想 .4四、 La
4、sso 与岭回归 .51、 岭回归的概念 .52、 Lasso 与岭回归的比较 .5五、 Lasso 的算法步骤 .61、 lasso 算法实现的背景 .62、 最小角回归 .73、 用 lar 实现 lasso .7六、 案例分析 .81、 问题描述 .82、 简单线性回归求解 .93、 利用 lasso 求解 11七、 应用与研究现状 12八、 参考资料 13- 2 -1、定义及基本信息Lasso 模型是由 Robert Tibshirani 在 1996 年 JRSSB 上的一篇文章 Regression shrinkage and selection via the lasso 所提出
5、的一种能够实现指标集合精简的估计方法。在参数估计的同时实现变量的选择（可以解决回归分析中的多重共线性问题）。全称：Least Absolute Shrinkage and Selection Operator读音：lsu: 而不是lsoRobert Tibshirani 简介：生于 1956 年 7 月 10 日，担任斯坦福大学 the Departments of Statistics and Health Research and Policy 的教授。1985-1998 年担任多伦多大学的教授。 他主要研究方向是致力于开发处理复杂数据的分析统计工具。Lasso 模式是他最著名的贡献。同时
6、在著名的 “Generalized Additive Models“, “An Introduction to the Bootstrap“, and “The Elements of Statistical Learning“三本书中都有他的编著。 12、起源与原理在常规的回归分析中，假设我们有一组（x i，y i），i=1,2,.,N,其中 xi=(xi1,.,xip)T,yi 是第 i 维观测值的回归量的数据。普通最小二乘 (OLS)通过最小化残差平方和来进行估计。它对数据的分析不那么令人满意通常有两个原因。一是预测精度:OLS 往往偏差较低但方差大;预测精度有时可以用缩小或设置一些系数
7、为 0 的方法来提高。通过这样做,我们牺牲一点偏差减少预测的方差值，因此可以提高整体预测准确性。第二个原因是可解释性的问题。在大量的预测值中，我们通常想确定一个展现出最强影响的更小的子集。两个公认优秀的改善 OLS 估计的方法是子集选择（ subset selection）和岭回归（ridge regression）它们都有缺点。子集选择提供了可解释的模型但是可变性非常强，因为它是一个离散的过程回归量要么保留要么从模型中去掉。小的数据变化就会使得模型的选择改变，这会降低预测准确度。岭回归是连续缩小参数的过程，因此更稳定：然而它不会使得任何参数为 0，没办法得出简单的可解释的模型。lasso 模
8、型就此提出，The least absolute shrinkage and selection operator，同时缩小（shrinkage）和设置成参数为 0（selection ），保持了子集选择和岭回归的良好特征。 23、模型的思想lasso 是在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化，从而能够产生某些严格等于 0 的回归系数，得到解释力较强的模型。- 3 -给出一组测量数据 x1, x2 .xp 以及测量结果 y，lasso 符合线性模型yhat=b0 + b1x1+ b2x2 + . bpxp 它所使用的标准是: 当| bj |cement cement
9、lm.solsummary(lm.sol)可以看到虽然 R2 接近于 1，拟合优度较理想，但是自变量的 p 值均大于 0.05，回归系数没有通过显著性检验。利用简单线性回归得到回归方程中的 X 与 Y 的关系不明显。F检验的值也非常大，说明自变量的显著性较低，需要进行变量选择。利用 car 包中的 vif（）函数查看各自变量间的共线情况library(car)vif(lm.sol)- 9 -从结果看，各自变量的 VIF 值都超过 10，存在多重共线性，其中，X2 与 X4 的 VIF值均超过 200。plot(X2 X4, col = “red“, data = cement)图中可以明显看出
10、 X2 与 X4 存在线性关系。3、利用 lasso 求解此时我们尝试用 lars-lasso 来求解这个方程。library(lars)x = as.matrix(cement, 1:4)y = as.matrix(cement, 5)(laa = lars(x, y, type = “lar“)可以看到 lasso 的变量选择依次是 X4，X1，X2，X3。plot(laa)- 10 -可以看出各变量的系数的变化过程。summary(laa)其中 Cp（衡量多重共线性，其值越小越好）可以看到在第 3 步以后 cp 值明显变小。说明 lasso 模型在实际应用中能够解决多重共线性的问题，有良
11、好的应用。7、应用与研究现状我们在知网中对 lasso 进行中文数据库的搜索，结果见下图：可以看到该模型在计算机、医学、经济等各个领域均有应用。见微知著的可以下结论其运用十分广泛。在应用和拓展方面的研究也十分丰富。下表中列出了部分内容。- 11 -这些研究在数学层面考察了 lasso 产生最小预测误差模型的能力，并重新获得了真正的底层( 稀疏) 模型。重要的贡献者包括 Bickel, Buhlmann, Candes, Donoho, Johnstone, Meinshausen,van de Geer, Wainwright and Yu.也证明了 lasso 可以揭示更多的传统技术，给向前
12、逐步选择方法带来了新的理解。另一个例子是 graphical lasso 拟合的稀疏高斯图，将其应用于逆协方差矩阵，提供了一个强有利的图选择方法（确定哪些边缘）。 9随着计算机处理速度的不断提高和当今社会对于大数据处理的要求的不断进步，对lasso 的研究必当更加深入，在各个领域的拓展也是值得期待的。8、参考资料1 Wikipedia. Robert TibshiraniDB/OL. https:/en.wikipedia.org/wiki/Robert_Tibshirani.2 Tibshirani,R.Regression Shrinkage and Selection Via the L
13、assoJJournal of the Royal Statical Society.Series B.58,267-2883Stanford University. A simple explanation of the Lasso and Least Angle RegressionDB/OL. http:/statweb.stanford.edu/tibs/lasso/simple.html.4杨灿. 统计学习那些事DB/OL. http:/cos.name/2011/12/stories-about-statistical-learning/#more-4532.5 Efron B,
14、Hastie T, Johnstone I and Tibshirani R. Least angle regression J. Ann. Stat., 2004, 32:409-499.6梁斌,陈敏,缪柏其 ,黄意球, 陈钊. 基于 LARS-Lasso 的指数跟踪及其在股指期货套利策略中的应用J. 数理统计与管理,2011,06:1104-1113.7月之十三. LASSODB/OL. http:/ 46dfe.html, 2011-04-078薛毅, 陈立萍. 统计建模与 R 软件M. 北京: 清华大学出版社 , 2007. 279-2809 Robert, Tibshirani. Regression Shrinkage and Selection Via the Lasso:a retrospectiveJ. Royal Statistical Society, 2011, (73): 273-282
