1、施忍蓉：成用奇异值分解求解最d,-乘法问题应用奇异值分解求解最小二乘法问题施吕蓉(芜湖信息技术职业学院软件工程系，安徽芜湖，241000)摘要：奇异值分解定理(SVD)是一种非常重要的矩阵分解定理使用奇异值分解，可以挖掘矩阵中隐藏的重要结构信息，并可以降低矩阵的维数该定理还应用于解决最小二乘法问题关键词：奇异值分解；矩阵秩；范数中图分类号：015121；文献标识码：A；文章编号：1009-1114(2008)04-0006-03Application singular value decomposition for method of least squares problemSHI Iv-r
2、ongAbstract：Singular value decomposition(SVDl is a very important matrix decomposition theorySingular value decomposition c锄fred the important structural information which hides in the matrixAnd it can reduce the dimension of the matrixTllis theorem isalso applied in the solving ofthe least squares
3、problemKey words：singular value decomposition；rank ofa nmtrix；normal number收稿日期：200851l作者简介：施吕蓉(19829-)，女，安徽芜湖人，2004年毕业于安徽师范大学数学与计算机科学学院，助教引言：奇异值分解(singular value decomposition，SVD)是一种J下交矩阵分解法；SVD足最可靠的分解法，但是它的计算时问几乎十倍于QR分解；使用奇异值分解，不仅可以挖掘矩阵中隐藏的重要结构信息，从而发现局部与整体之问潜在的重要的关联模式，而且，更为蓐要的足，它可以降低矩阵的维数。以下将讨论矩阵
4、的奇异值分解祈!最小二二乘问题中的应用奇异值分解定理下面我们首先介绍矩阵的奇异值分解。设么R雕脚，其中刀和肌都是正整数，我们并不假设力和朋哪一个更大，有下面矩阵分解定理。Illl定理1(奇异值分解定理)设彳R”，且秩为厂的非零矩阵。则存在USO(n) 矿SO(m)，使得么=UYYT(11)其中R”。埘是矩形“对角”矩阵若么R打”，AvA非零的特征值的非负平方根称作A的奇异值；A的奇异值的伞体记作仃(彳)。分解式(11)称作A的奇异值分解，通常简称为SVD分解；V的第f列Vf=Ve，称作A属于q的一个单位右奇异向量，U的第j列Uf=Uef称作A属于q的一个单位左奇异向量根据定理1，计算彳的SVD
5、，只要计算彳TA和朋T的特征值。奇异值分解的应用1最小二乘方问题(满秩情形)6万方数据芜湖职业技术学院学报2008年第lO卷第4期现在考虑J，l刀并且么的秩为刀的情形。如果方程组不存在解，但足在许多情形下，找一个最接近于方程组的向量x仍然足有意义的。换句话说，寻求一个向量x使0彳xb0最小，其中0 4誊示欧式范数。这时，x称为该超定方程组的最，J、二乘解。用SVD能很方便地求最小二乘解，其方法如下所述。寻求使0么xblI=IUDVTx-bll删、值的向量x。利用正交矩阵的保范性，确UDVrx-b0=8DyTxurblI-i己y=VTx相b=uTb，问题变成求I仁椤一b0的最小化问题，其中D为埘
6、刀矩阵并且对角线以外的元素为零。这方程组的形式是O 卧6tlb2：6一6一+I：6乙显然，离b最近的珂是向量(6l，62，6乙，O，O)T，并令M=6，d,(i-1，刀)得到。注意假定么的秩为刀保证丫ZO。最后由x=瞻求】；x，这里，给ffj了解的表达式。2齐次方程组的最小二乘解与前一问题类似的问题是求形如Ax=0的方程组的非零解。注意到如果x足这方程组的一个解，那么对任何标量口，口x也是解，因此为了排除非零解，加入约束条件0x0=1是合理的。这样的方程组一骰不存在精确解假定A的维数是朋刀，那么存在耩确的充要条件是rankCA)刀，即，矩阵A不是列满秩的。当没有精确解时，我们通常将求它的一个最
7、小二乘解。现在问题可以叙述为闯豆l在约束条件0x0=1的条件下，求使0彳x0最小的x。注意到求lI彳x0的最小值等价于*IIA*112的最小值，而0彳xIl2=xT(彳TA)x，因此这个问题町以化为求对称矩阵ATA的最d、特征值问题，下面我们用svD来求熊这个问题：设A=UDVT，那么问题变成求0uDyTx0的最小值。1ni 8uDyTxII=llovTxll年,llxII=llvTxII因此，问题变成在约束条件IIyTxll=1 F，*llDvTx0的最小值。令y=矿Tx，则问题简化为：闯曩1在约束条件I|y8=1下，求llDy0的最小值。 。现在，D是对角元素按降序排列的一个对角矩阵由此推
8、出该问题的解足y=(O，O，0，1)T，它的唯一非零元素l7万方数据施只蓉：应用奇异值分解求解最小二乘法问题在最后的位置上(即为e。)。最后由x=Vy解出x，即x就是V的最后一列。V的最后一列实际，卜也足ATA的与最小特征值对心的特征向量。3带约束方程组的最小二乘解在一些应用场合，所求解的来知向量必须严格地满足某訾线性约束，这样的约束可以用矩阵方程Cx=0来描述。要求它席准确地满足，即没有受到噪声的十扰。这导出下列的问题闯题2在约束0x0=1和Cx=OT，求使0么x0最小的x。类似于前一个问题的讨论，这个问题可以看作足在约束Cx=0下，求彳1彳的最小特征值问题，利用SVD，它可以按如下方式米解
9、：满足条件Cx=0意味着x垂直于C的每一行，因此所有这些x的集合形成一个向量空间，称为C的行空问的正交补。现在考虑如何表示这个正交补空间。设CR疗，如果C的行数少于列数，即P刀，那么通过增加若干零行将它扩展成方阵。这样做对约束集合(1x=0不产生影响。现在，对C作奇异值分解：C=UDVT，其中D足对角元素，且有，个非零的对角矩阵。因此C的秩为r，并且C的行空间由VT的前，行生成，C的行空间的正交补由VT余下的行生成。以C上记矩阵V消去前，列后的矩阵，则CC上=0，所以，满足Cx=0的向量x的集合是由C上的列生成，因此这样的向量x可以用参数形式表示为x=C上x，其ee xR”一。因为c上是由正交
10、列组成的，故自0xll=llc上x11=llxll。这样一来，上述最小化问题化为问题2 11=1的条件下，*使IIAc上x最小的x这正足前面讨论过问题1，因此可以求解。4结束语矩阵的奇异值分解在很多方面都有重要的应用，冈而受到越米越多的重视。本文只对实矩阵讨论，所得到的结果可以推广到复矩阵。参考文献【I】Higham,DJand Kalna,G and Vass,Jk(2005)Analysis of the singular value decomposition as a tool for processingmicroarray expression da饥川In：Proceedings
11、 ofALGORITMY 2005，13-18 Mar 2005，Podbansk6,Slovakia【2】OAlter,POBrown and DBotstein,”Generalized Singular Value Decomposition For Comparative Analysis of Genome-ScaleExpression Datasets of Two Different Organisms,”【J】Proceedings of the National Academy of Sciences 100(6)，PP335 1-3356(March 2003)【3】GH
12、Golub and CFVan Loan,Matrix Computations,111硼cd【J】，The Johns HopkinsUniversity Press,Baltimore，MD，1996【4】JPBrunet,PTamayo,TR Golub and JPMcsirov，Metagencs and molecular pattern discover)using matrix factorizationJ，FNAS，101(2004)，PP4164-4169【5】北京大学数学系几何代数教研室高等代数嘞】北京：高等教育出版社，1987【6】熊金城点集拓扑讲义【M】北京：高等教育
13、出版社，19988万方数据应用奇异值分解求解最小二乘法问题作者： 施吕蓉， SHI lv-rong作者单位： 芜湖信息技术职业学院软件工程系,安徽芜湖,241000刊名： 芜湖职业技术学院学报英文刊名： JOURNAL OF WUHU VOCATIONAL INSTITUTE OF TECHNOLOGY年，卷(期)： 2008,10(4)参考文献(6条)1.Higham,D.J;Kalna,G;Vass,J.K Analysis of the singular value decomposition as a tool for processingmicroarray expression d
14、ata 20052.O.Alter;P.O.Brown;D.Botstein Generalized Singular Value Decomposition For Comparative Analysis ofGenome-Scale Expression Datasets of Two Different Organisms 2003(06)3.G.H.Golub;C.F.Van Loan Matrix Computations 19964.J.P.Brunet;P.Tamayo;T.R.Golub;J.P.Mesirov Metagenes and molecular pattern discovery using matrixfactorization 20045.北京大学数学系几何代数教研室 高等代数 19876.熊金城 点集拓扑讲义 1998本文读者也读过(1条)1. 鲁铁定.宁津生.周世健.臧德彦.LU Tie-ding.NING Jin-sheng.ZHOU Shi-jian.ZANG De-yan 最小二乘配置的SVD分解解法期刊论文-测绘科学2008,33(3)引用本文格式：施吕蓉.SHI lv-rong 应用奇异值分解求解最小二乘法问题期刊论文-芜湖职业技术学院学报2008(4)
