矩阵分解及其应用.doc

1、96矩阵论课程论文题目： 矩阵分解及其应用 电子科学与工程学院 电子与通信工程 1216022708 学院专业学号姓名任课老师电话李影 赵礼峰 15005185697 摘要：本文主要归纳和总结了代数学中的矩阵分解理论及理论应用。根据本学期所学知识，本文把矩阵分解分为三角分解、正交三角分解、奇异值分解和满秩分解。在论文中对相关理论进行了简要的说明与描述，并在应用方面，展示了矩阵分解在一些常见领域的重要以及广泛的应用。关键词：矩阵分解，应用，三角分解，满秩分解，奇异值分解。一、 引言在有限维线性空间中，线性变换问题可以转化为矩阵问题进行讨论。因此，将一个矩阵分解为若干个特殊矩阵的乘积意味着将一个线

2、性变换分解为若干个特殊线性变换的乘积。矩阵的三角分解、正交三角分解、满秩分解及奇异值分解是将矩阵分解为形式比较简单或性质比较熟悉的一些矩阵的乘积，这些分解式能够明显的反映出原矩阵的许多数值特征，如矩阵的秩、行列式、特征值及奇异值等。另一方面，构造分解式的方法和过程也能够为某些数值计算方法的建立提供理论依据。矩阵的分解给予了我们将线性变换转化成矩阵问题讨论的方法，将以往复杂而且性质不“好”的矩阵分解成为大家所熟知并且性质“好”的常用矩阵的乘积。通过对常用矩阵的分析获取复杂矩阵的相关性质，这在实际的应用中也具有很大的意义。二、矩阵分解简介1. 矩阵的三角分解如果方阵 A 可表示为一个下三角矩阵 L

3、 和一个上三角矩阵 U 之积，即 A=LU，则称A 可作三角分解。矩阵三角分解是以 Gauss 消去法为根据导出的，因此矩阵可以进行三角分解的条件也与之相同，即矩阵 A 的前 n-1 个顺序主子式都不为 0，即.所以在对矩阵 A 进行三角分解的着手的第一步应该是判断是否满足这个前提条件，否则怎么分解都没有意义。矩阵的三角分解不是唯一的，但是在一定的前提下，A=LDU 的分解可以是唯一的，其中 D是对角矩阵。矩阵还有其他不同的三角分解，比如 Doolittle 分解和 Crout 分解，它们用待定系数法来解求 A 的三角分解，当矩阵阶数较大的时候有其各自的优点，使算法更加简单方便。1) 矩阵的三

4、角分解可以用来解线性方程组 Ax=b。由于 A=LU，所以 Ax=b 可以变换成 LU x=b，即有如下方程组： LybUx先由依次递推求得,， ，再由方程依次递推求得 ， ，. 必须指出的是，当可逆矩阵 A 不满足时，应该用置换矩阵 P 左乘 A 以便使 PA 的 n 个顺序主子式全不为零，此时有： LypbUx这样，应用矩阵的三角分解，线性方程组的解求就可以简单很多了。2. 矩阵的 QR 分解矩阵的 QR 分解是指，如果实非奇异矩阵 A 可以表示为 A=QR，其中 Q 为正交矩阵，R为实非奇异上三角矩阵。QR 分解的实际算法各种各样，有 Schmidt 正交方法、Givens 方法和 Ho

5、useholder 方法，而且各有优点和不足。下面介绍一下比较经典的 Givens 方法与Householder 方法。1) Givens 方法的 QR 分解Givens 方法求 QR 分解是利用旋转初等矩阵，即 Givens 矩阵 来得到的，(,)ijTcs是正交矩阵，并且 。 的第 i 行第 i 列和第 j 行第 j 列为(,)ijTcsdet(,)1ijTcs(,)ijcs，第 i 行第 j 列和第 j 行第 i 列分别为 和 ，其他的都为 0.任何 n 阶实非奇on异矩阵 A 可通过左连乘 矩阵（乘积为 T）化为上三角矩阵 R，另 Q=T-，就有(,)ijTcsA=QR。2) Hous

6、eholder 方法的 QR 分解Householder 方法分解矩阵是利用反射矩阵，即 Householder 矩阵，其中 u 是单位列向量，H 是正交矩阵， 。可以证明，两个 H 矩阵的乘积就是 Givens 矩阵，并且任何实非奇异矩阵 A 可通过连乘 Householder 矩阵（乘积为 S）化为上三角矩阵 R，则 A= QR。这种方法首要的就是寻找合适的单位列向量去构成矩阵 H，过程和 Givens 方法基本相似，但是计算量要小一些。3. 满秩分解满秩分解也称最大秩分解，前面的 QR 分解是面对 n 阶矩阵的，而满秩分解可以处理长方阵。满秩分解是指，把秩为 r 的 矩阵 A 分解成 A

7、=FG，其中 F 是秩为 r 的 阶mnm矩阵，G 是秩为 r 的 阶矩阵。满秩矩阵的解求可以通过初等变换法，但是必须经过多n次求逆，所以就利用 Hermite 行标准形来完成。把矩阵 A 经过变换成为 Hermite 行标准形B，B 的 列为单位矩阵 的前 r 列，另 A 的第 列为矩阵 F，B12,rjj mI12,rjj 的前 r 行为矩阵 G，则有 A=FG。4. 奇异值分解矩阵的奇异值分解是线性代数中一种重要的矩阵分解，在最优化问题、特征值问题、最小二乘问题和广义逆问题及统计学问题中都有重要的应用。对秩为 r 的 阶矩阵 Amn进行奇异值分解的步骤是：1). 求得 的特征值 ，及对应

8、的特征向量并正交单位化，得矩阵HA12n, ，V，使得 ；212nM0,diag, ，2). 将 V 的前 r 列作为，令 ，再扩张 成 m 阶的矩阵 U；11UVH13). 那么 。从计算过程中可以看出，矩阵的奇异值分解解求是由矩0A阵的特征值开始的，因此这种分解自然和特征值的问题有莫大联系的。三、 矩阵分解主要应用矩阵的分解还有很多的应用，比如可以用来求矩阵的秩，对于阶数偏大的矩阵，即使用初等变换的方法，也是计算量很大的，而把矩阵分解后可以使计算简单。再如，在线性代数中求矩阵的 n 次幂是很常见的，若是一板一眼的进行矩阵相乘，当 n 较大时计算量可想而知，况且，当 n 逐渐增大或是非纯数据

9、间的运算的情况下，根本就没有计算的可能，此时，矩阵分解方法的应用可以令问题变得简单而易懂。判断矩阵的正定性需要不断的计算行列式，计算量大而复杂，矩阵分解可以使之更简单直接。在广义逆问题中，矩阵的奇异值分解的作用一样不可代替。在证明 的存在性时，1,23A首先就需要用奇异分解来得到一个结论： ，由此得到()()()HHrAr的 可以由 表示，再去证明 应该满足的条件就方便得多了。HA1,23同时，在广义逆中，满秩分解有很多的应用。在证明 A1的存在性时就需要用到Hermite 行标准形来得到“对于任一的矩阵，总是存在非奇异矩阵 Q 和置换矩阵 P，使”，之后才能构造 来证明 是存在的。用矩阵的满

10、秩0QPrE0XrEPL1分解还能构造 A+，若矩阵 A 有满秩分解，即 ，则可以证明有AFG。1HHAGF矩阵的 QR 分解可以用来解决线性最小二乘法的问题，也可以用来降低矩阵求逆的代价。矩阵的求逆是件不小的工程，尤其是当矩阵阶数慢慢变大的情况时，而用先把矩阵 QR分解成正交矩阵和上三角矩阵，就容易多了，况且正交矩阵的转置就是逆，这一点是其他的矩阵分解无法比拟的。在解求线性方程组中，如果系数矩阵的阶数比较大，可以利用 QR分解来使计算简单化。另外，QR 分解考虑的是 n 阶矩阵，其他的矩阵是不能用这种方法进行分解，由于 QR 分解的这一前提条件，使得下面提到的满秩矩阵分解和奇异值分解就有了其

11、特殊的意义。下面就矩阵的奇异值分解详细谈谈。定义 设 是秩为 的 复矩阵， 的特征值为ArmnTA.1210rn 则称 为 A 的奇异值.ii(,2)易见，零矩阵的奇异值都是零，矩阵 的奇异值的个数等于 的列数， 的非零奇A异值的个数等于其秩.矩阵的奇异值具有如下性质：（1 ） 为正规矩阵时， 的奇异值是 的特征值的模；AA（2 ） 为半正定的 Hermite 矩阵时， 的奇异值是 的特征值；A（3 ）若存在酉矩阵 ，矩阵 ，使 ，则称 A 和 B,mnUVCmnBCUV酉等价. 酉等价的矩阵 A 和 B 有相同的奇异值.奇异值分解定理 设 是秩为 的 复矩阵，则存在 m 阶酉矩阵 与 nr(

12、0)n阶酉矩阵 ，使得V. HOUA其中 ， 为矩阵 的全部非零奇异值.12diag(,)r i(1,2)r A证明 设 Hermite 矩阵 的 n 个特征值按大小排列为HA.1210rn 则存在 n 阶酉矩阵 ，使得V. 12H()nOA 将 分块为 ，V12()V其中 ， 分别是 的前 r 列与后 列. 12nr并改写式为.2HOAV则有. H2H12AVAO或 由的第一式可得.H2H1111()()rVE或 由的第二式可得.H2 2() AVOA或令 ，则 ，即 的 r 个列是两两正交的单位向量.记作11UH1rUE1，因此可将 扩充成 的标准正交基，记增添的向量为2(,)ru 2,r

13、u mC，并构造矩阵 ，则1rm 21()rm12121(,)(,rUuu 是 m 阶酉矩阵,且有 .HH121 rUEO或于是可得.HH112()()UAV或 由式可得. HHH12rOuvuv称式为矩阵 的奇异值分解.A值得注意的是：在奇异值分解中 是 的特征向量，而 的121,rmuu HAV列向量是 的特征向量，并且 与 的非零特征值完全相同.但矩阵 的奇异值HHA分解不惟一.证明 2 设 Hermite 矩阵 的 n 个特征值按大小排列为HA.1210rn 则存在 n 阶酉矩阵 ，使得V. 12H()nOA 将 分块为 ，它的 n 个列 是对应于特征值V12(,)nv 12,nv的标

14、准正交的特征向量.12,n为了得到酉矩阵 U，首先考察 中的向量组 ，由于当 i 不等于 j 时mC12,rAvv有 HHHH(,)() 0ijjijijiijiAvvAvvv所以向量组 是 中的正交向量组.12,r mC又 ，HH2|iiiiiivv所以 .|iiA令 ， ，则得到 中的标准正交向量组 ，把它扩1iiuv,2r mC12,ru充成为 中的标准正交基 ，令mC11,ruu 11(,)rmUu 则 U 是 m 阶酉矩阵.由已知及前面的推导可得， ； ， ；iiAv1,2r iAv01,rn从而 121(,)(,)nrAVvAv 0112(,)(,)0r mrOuu 0OU故有 ，

15、即 .AVHAV求矩阵 的奇异值分解.120解 的特征值为 ，T5420A1239,4,0对应的单位特征向量依次为 .TTT12311(5,)(,),(2,)35vvv所以 .0263545V于是可得， .()2rA30计算 ，则 的奇异值分解为125UVA.T302AUV在 A 的奇异值分解中，酉矩阵 V 的列向量称为 A 的右奇异向量，V 的前 r 列是的 r 个非零特征值所对应的特征向量，将他们取为矩阵 V1，则 .酉矩阵H 12(,)VU 的列向量被称为 A 的左奇异向量，将 U 从前 r 列处分块为 ，由分块运算，,U有 HH111222() OAVV或 从而 .21AU或=0因此，

16、有下列结果（1） 的列向量组是矩阵 A 的零空间 的一组标准正交基；2V()NxA0（2） 的列向量组是矩阵 A 的列空间 的一组标准正交基；1UR（1） 的列向量组是矩阵 A 的零空间 正交补 的一组()x0H()R标准正交基；（1） 的列向量组是矩阵 A 的列空间 正交补 的一组标准2U()RAH()N正交基.在 A 的奇异值分解中，酉矩阵 U 和 V 不是惟一的.A 的奇异值分解给出了矩阵 A 的许多重要信息.更进一步，由于 ， ，可借助于奇异值分解，12(,)mu 12(,)nv将 A 表示为H11212 H0(,)mrnvOAu H12rvuv归纳这一结果，有如下定理. 定理 设 ，

17、A 的非零奇异值为 ， 是应于奇异mnC12r 12,ru值的左奇异向量， 是应于奇异值的右奇异向量，则12,rv.TT12rAuuv上式给出的形式被称为矩阵 A 的奇异值展开式，对一个 ，略去 A 的一些小的kr奇异值对应的项，去矩阵 为k.TT12k kAuvuv则 是一个秩为 k 的 mn 矩阵.可以证明， 是在所有秩为 k 的 mn 矩阵中，从k kAFrobenius 范数的意义下，与矩阵 A 距离最近的一个矩阵.这在实际中应用广泛.例如，在图像数字化技术中，一副图片可以转换成一个 mn 阶像素矩阵来储存，存储量 mn 是个数.如果利用矩阵的奇异值展开式，则只要存储 A 的奇异值 ，

18、奇异向量 的分量，总i,iuv计 r（m+n+1）个数.取 m=n=1000，r=100 作一个比较，mn=1000000，r （m+n+1 ）=100 （1000+1000+1 ）=200100.取 A 的奇异值展开式， ，存储量较 A 的元素情形减少了 80%.另外，可取 ，用kr逼近 A，能够达到既压缩图像的存储量，又保持图像不失真的目的.k由矩阵 的奇异值分解可得 TT12ruvuv可见， 是矩阵 的加权和，其中权系数按递减排列A12,r.120r显然，权系数大的那些项对矩阵 的贡献大，因此当舍去权系数小的一些项后，仍然A能较好的“逼近”矩阵 ，这一点在数字图像处理方面非常有用.矩阵的

19、秩 k 逼近定义为TT12 1kkrAuvuv秩 r 逼近就精确等于 ，而秩 1 逼近的误差最大.A矩阵的奇异值分解不但在线性方程组，矩阵范数，广义逆，最优化等方面有着广泛的应用. 而且在数字计算，数字图像处理，信息检索，心里学等领域也有着极重要的应用.有兴趣的读者可参阅有关教科书，如 Steven J.Leon 的线性代数 .四、 总结矩阵的分解作用很广泛，在不同的领域都发挥着其独特的作用，只要应用得好，肯定可以使原有的问题简单而易于理解。我们知道，矩阵理论就其理论来说，对于除了数学专业的人而言，意义是不大的。纯理论的学习是枯燥而乏味的，只有和是具体问题的结合才会显出它的强大生命力。单看一个

20、定理还是推论，我们会觉得它是简单而几乎没有意义的，甚至不知道怎么去理解它以及其存在的意义，当运用到实际的领域，一方面我们可以更好的了解相关的知识，重要的是解决了具体的问题。这应该就是学习的乐趣所在。在测量平差的秩亏网平差中，解求未知数的估计值时候和奇异值分解结合起来，不仅可以使得运算更加简单化，并且得到的结果更利于理解，算法也更容易在实际应用中实现。 参考文献：1.王岩,王爱青.矩阵分解的应用J.青岛建筑工程学院学报,2005,26（2）:90-93.2.屈立新.关于矩阵的分解形式J.邵阳学院学报(自然科学版),2005,2(3):4-5.3. 程云鹏，张凯院，徐仲.矩阵论(第 3 版) 西北工业大学出版社，2005.5.4许立炜,赵礼峰.矩阵论.北京:科学出版社,2011.