1、矩 阵 分 解 方 法 的 探 讨The discussion about decomposition of Matrix专 业: 数学与应用数学作 者: 指导老师: 学校二一I摘 要矩阵是数学研究中一类重要的工具之一, 有着非常广泛的应用, 矩阵分解对矩阵理论及近代计算数学的发展起了关键作用. 本文从矩阵的 分解、 矩阵的 分解、LUQR矩阵的满秩分解等几个方面对矩阵分解方法进行了论述: 给出了矩阵分解的几种方法. 关键词: 矩阵, 对称正定矩阵,矩阵的三角分解；矩阵的满秩分解；矩阵的 分解. IIAbstractThe matrix is a important tool in class
2、 of mathematical research, and it has a very wide range of applications, matrix decomposition plays a key role in matrix theory and development of modern computational mathematics. This article begin at the discuss from the matrix of LU decomposition、Matrix of the QR Decomposition、Matrix decompositi
3、on of full rank and so on. given a matrix factorization method.Keywords: Matrix; Symmetric positive definite matrix, Triangular decomposition of matrix; matrix full rank decomposition; decomposition of matrix. QR目 录摘 要 .IAbstract .II0 引言 11 矩阵的三角( )分解 .1LU1.1 矩阵的三角分解基本概念与定理 11.2 常用的三角分解公式 71.2.1 杜利特
4、分解 71.2.2 克劳特分解 71.2.3 乔累斯基分解 82 矩阵的满秩分解 .152.1 矩阵的满秩分解基本概念与定理 .153 矩阵的 QR 分解 18 3.1 矩阵的 QR 分解基本概念与定理 .183.2 矩阵 QR 分解的常用方法 .203.2.1 利用 Householder 矩阵变换 203.2.2 利用 QR 分解公式 203.2.3 利用列初等变换法 21参考文献 .24第 1 页,共 24 页0 引言矩阵的三角分解、正交三角分解、满秩分解将矩阵分解为形式比较简单或性质比较熟悉的一些矩阵的乘积,这些分解式能够明显地反映出原矩阵的许多数值特征,如矩阵的秩、行列式、特征值及奇
5、异值等. 另一方面, 构造分解式的方法和过程也能够为某些数值计算方法的建立提供了理论依据. 本文从矩阵的 分解； 矩阵的 分解；LUQR矩阵的满秩分解等几个方面对矩阵分解方法进行论述: 探讨矩阵分解的方法. 1 矩阵的三角分解1.1 矩阵的三角分解基本概念与定理定义 1.1 设 ,如果存在下三角矩阵 和上三角矩阵 , 使5mnACmnLCnmUC得 , 则称 可作三角分解或 分解. A=LULU定义 1.2 设 为对称正定矩阵, 为行列式不为零的任意对角矩阵,则 , DTA为一个单位上三角矩阵, 且有 成立：1) 如果 是单位下三角矩阵, 是对角矩阵, 是单位上三角矩阵, 则称分解U为 分解.
6、DALU2) 如果 是下三角矩阵, 而 是单位上三角矩阵, 则称三角分解 为= ALU克劳特 分解;Crout3) 如果 是单位下三角矩阵, 为上三角矩阵, 则称三角分解 为 U 杜利特 分解;Dlite4) 如果 , 称为不带平方根的乔累斯基11ALDL分解;Cholesky5) 如果 , , 则 , 由于 , 则1212U12AUDLTUL, 称为带平方根的乔累斯基 分解. TAL Cholesky第 2 页,共 24 页定理 1.1 阶非奇异矩阵 可作三角分解的充要条件是 ,nAk0A1,2n这里 为 的 阶顺序主子阵, 以下同. Ak证明 必要性. 设非奇异矩阵 有三角分解 , 将其写
7、成分块形式LUk12k1212L0=Ak这里 , 和 分别为 , 和 的 阶顺序主子阵. 首先由 知 , AkkLU 0AL, 从而 , ; 因此 . 00kLU0kkA1,2n充分性. 对阶数 作数学归纳法. 当 n=1 时, =（ ）=（1） （ ）,结论成立. na1a设对 结论成立, 即 , 其中 和 分别是下三角矩阵和上三角矩阵. 若nkk=ALk,则由 = 易知 和 可逆. 现证当 时结论也成立, 事实上0AkUkn. -1kk1TT1T-k+1, k, kc0ck TULrarar 由归纳法原理知 A 可作三角分解. 定理 1.1 给出了非奇异矩阵可作三角分解的充要条件, 由于
8、不满足定01A理 1.1 的条件, 所以它不能作三角分解. 但. 1010122A上例表明对于奇异矩阵,它还能作三角分解未必要满足定理 1.1 的条件. 首先指出,一个方阵的三角分解不是唯一的, 从上面定义来看,杜利特分解与克劳特分解就是两种不同的三角分解,其实,方阵的三角分解有无穷多, 这是因为如果 是D行列式不为零的任意对角矩阵, 有,1()ALUCDL其中 也分别是下、上三角矩阵, 从而 也使 A 的一个三角分解. 因 的任意LU性, 所以三角分解不唯一. 这就是 的分解式不唯一性问题, 需规范化三角分解. 定理 1.2 （ 基本定理）设 为 阶方阵,则 可以唯一地分解为An第 3 页,
9、共 24 页(1.1)A=LDU的充分必要条件是 的前 个顺序主子式 . A1nk01,2n其中 , 分别是单位下、上三角矩阵, 是对角矩阵 ,LU=diag12,nd, .1kdA,2n 0A证明 充分性. 若 , 则由定理 1.1, 即实现一个杜利特分k0,解 , 其中 为单位下三角矩阵, 为上三角矩阵,记ALU U= = ,1212nnuu 1122nnaa A因为 . u0iia1,2下面分两种情况讨论：1) 若 非奇异,由式(1)有 = = , 所以 , 这时An12na 0A0nau令 , 则 . 12diagnD 112,nDdig于是有(1.2)1()ALULDU是 的一个 分
10、解. ALU2)若 奇异,则 ,此时令 , u0iia121,(,0)ndiaga, = ,121n-1 ,nDdg 1n1uT则= ,10nTU1110DUnnnTT因此不论哪种情况, 只要 , 总存在一个 分解式(1.1), kA,2 L第 4 页,共 24 页, . 1akAd,21n 0A再证这个分解是唯一的, 仍分两种情况讨论：1) 当 非奇异时,有 , , , , 所以 、 、 均非奇异. A0DULDU若还存在另一个 分解 , 这里 , , 也非奇异, 于是有LU1AL11(1.3)上式两端左乘以 以及右乘以 和 , 得11D, (1.4)11LU但式(1.4)左端是单位下三角矩
11、阵, 右端是单位上三角矩阵 , 所以都应该是单位阵, 因此, ,1LI1DI即 , . 由后一个等式类似地可得 , ,1L1UD 1U1DI即有, . 1U12) 若 奇异, 则式(1.3)可写成分块形式A,1110011TTTTTLDLDU其中 , 是 阶单位下三角阵; , 是 阶上三角阵; , 是 阶对1nUn1Dn角阵; , , , 是 维列向量. 由此得出1,11TTTLDLD=其中 , , 和 , , 均非奇异, 类似于前面的推理, 可得1LD1U, , , , .=11U1T1=必要性. 假定 有一个唯一的 分解, 写成分块的形式便是ALD第 5 页,共 24 页, (1.5)1
12、111A0=n nnnTTxDLUyad其中 , , , 分别是 , , , 的 阶顺序主子矩阵; 1nLD1nU A, , , 为 维列向量. 由式(1.5)有下面的矩阵方程:xy, (1.6)11nnALDU, (1.7)Ty, (1.8)1nx. (1.9)Tnad否则, 若 , 则由式(1.6)有 . 10nA1110nALDU于是有 , 即 奇异. 那么对于非其次线性方程组(1.8)有无穷1nLDn多非零解, 不妨设有 , 使 , 而 = . 1Lx同理, 因 奇异, 也奇异, 故有 , 使1nU11TTnnDU, 或 . 取 , 则有1TnUDy1TTny da,1110nnnTT
13、nAxLa这与 的 分解的唯一性矛盾, 因此 . AL1nA考察 阶顺序主子矩阵 由式(1.6)写成分块形式, 同样有 . 1n1n 22nnALDU由于 , 所以 , 可得 ,0D20n220nnLDU从而 . 依此类推可得 . 2nA kA,1综上所述, 定理证明完毕. 推论 1 设 是 阶方阵, 则 可惟一进行杜利特分解的充分必要条件是 的前3n A个顺序主子式n第 6 页,共 24 页, ,110kkkaA 2,1n其中 为单位上三角矩阵, 即有L 12121 2312,1 nnnnuulAll 并且若 为非奇异矩阵, 则充要条件可换为: 的各阶顺序主子式全不为零, 即:A, . 0k
14、2推论 2 阶方阵 可惟一地进行克劳特分解3nA11212 21 nnnluLUll 的充要条件为, . 110kkkaA ,21n若 为奇异矩阵, 则 , 若 为非奇异矩阵, 则充要条件也可换为A0nl, .0kA1,2n定理 1.3 设 为对称正定矩阵, 则 可惟一地分解为 ,3 TALD其中 为下三角矩阵, 为对角矩阵, 且对角元素是 对角线元素的倒数. 即LD, . 121nnlLll 121nlDl第 7 页,共 24 页其中 , , .1/jijiikjlal1,2ni 1,2ji1.2 常用的三角分解公式1.2.1 杜利特分解设 为 阶方阵, 如何确定 和 这两个三角矩阵呢, 设
15、 , 其中AnLU=LUA, 121=nnlll 1212=nnuu 按矩阵的乘法, 有,min(,)1jijisjalu1,2由于 , 所以有 , . 1kl1kkjjsjul,kn故得, . 1kkjjsjualu,1kn同理, 1kikiisklalu1,2ikn即得到三角矩阵 和 . LU1.2.2 克劳特分解设 为 阶方阵（不一定对称）, 有分解式 ,AnALU即 1111 1211,1 1 1jn jniijiii jjnnjn naal uullaall 当 时（下三角位置）, 有ij第 8 页,共 24 页, 11jiijikjkjialul得, , ;1jijiikjlalu
16、,2in 1,2ji当 时（上三角位置）, 有ij, , ;11jiijikjkjijalulu1,2n 1,2ji得, , . 1/iijijkjiualu1,2n 1,2jin这样即可得到三角矩阵 和 . LU1.2.3 乔累斯基 分解Cholesky设 为对称正定矩阵, 存在一个实的非奇异下三角矩阵 , 且 的对角元素为正A L时, 有惟一的分解式. TAL即,1 11111 1 jnii ii jjnninninnal lllll llaalll l 当 时, 有ij, 也即 , . 11jjijikjikjijlll1/jijiikjjlalij特别地, 当 时, 有, =1,2,
17、, .12iij klal n例 1.1 求矩阵第 9 页,共 24 页524010A的 分解和 分解. LDUolite解 对 作矩阵A, 所以125401L125401L计算 1152400=952LAA对 作矩阵1A= , 2L10210251L计算 1 2254001=3LAA对 作矩阵2A第 10 页,共 24 页, ,310L=-130L=-21计算 2 3-135-401LA=A2-7令 12315L=4-02可得 的 分解为 , 的 分解为ADolite3A=LDU.541-052-7例 1.2 求三阶方阵 2-13A=4的 分解与 分解. LUD解 因为, , 1A=202-
18、1=503A=50所以 有唯一的 分解和 分解. 且ALUD第 11 页,共 24 页, 10.51L 11230.5.LAA由 可计算 及 如下:1A2A, 201L 1 2230.5.1LAA于是 120.51L因此 的 分解为ALU1230.50.5.1A且 的 分解为ALD120.50.5.51.2A例 1.3 已知范德蒙 矩阵 , 求Vandermo123n22213111nnnV的三角分解. V解 由于范德蒙矩阵 满足定理 1.2 的条件, 于是有唯一的三角分解: , V VLU结合范德蒙矩阵的特点, 先对范德蒙矩阵 进行一系列初等行变换 . V用 阶矩阵n第 12 页,共 24
19、页11 1L 左乘范德蒙矩阵 得,V213111444213113 32200 nnnnnLV 记 2122011L 则 2131 12 212 4 4331 132 200 nn nnLV 一般地,记第 13 页,共 24 页, . 111kk kL 2,1kn左上角是 阶单位矩阵. 依次相乘有1kLdk2131 n-1n1223 n-11-12 22n-1n1LV=Uj j jj j jn j jj jjj 从而,12n-1UVL其中, . (1.10)k21211L=1kkknk 1,2kn在对 进行一系列初等列变换. U记第 14 页,共 24 页1111U121311,nDdiag
20、有 321221 21100011nnnjnjj jjjUD 一般地,记 11kU 1121,kkkknkDdiag 个所以, . (1.11)k121 1DU=kknk ,21kn第 15 页,共 24 页于是 12111.nnVLDU 其中 由式(1.10)给出, 为下三角矩阵. 而 由式(1.11)给出, 为稀疏上三角矩阵. kLk2 矩阵的满秩分解2.1 矩阵的满秩分解基本概念与定理定义 2.1 若矩阵 的行(列)向量线性无关, 则称 为行(列)满秩矩阵. 4AA定义 2.2 设 是秩为 r（r0）的 矩阵, 若存在 列满秩矩阵 和2 mnmrF行满秩矩阵 , 使得rnG（2.1）=F
21、G则称（2.1）式为矩阵 的满秩分解. A定义 2.3 设 是 的矩阵, , 满足2HmnrankHr1) 的前 行中每一行至少含有一个非零元素, 且每行第一个非零元素是 1, 而后r行元素均为 0;mr2)设 中的第 行的第一个非零元素 1 位于第 列, 有i j1,2ir 12rjj3) 的第 , , , 列构成 阶单位矩阵 的前 列. H1j2 rjmI则称 为 的 标准型. Aermit定理 2.1 设 为任一秩为 的 矩阵, 则 必有满秩分解式 , 其中 为nAA=FG列满秩的, 为行满秩的. G证明 因为 的秩为 , 所以存在 阶可逆矩阵 和 阶可逆矩阵 , 使得rmPnQE0PQ
22、=r若令第 16 页,共 24 页,r-1EF=P0-1G0Qr则 为 列满秩矩阵, 为 行满秩矩阵, 且有Fmnn-1-1-1AE0=FG0rr结论成立. 若记, 12rF=, T12rG=,则有(2.2)TT12A+r这里(2.2)式也是 的满秩分解的一种表示. 定理 2.2 任何非零矩阵 都存在满秩分解. Pmn证明 设 . 则可通过初等变换将 化为阶梯形矩阵 , 即0rAB, 且秩 = . G=AB行 rnGr于是存在有限个 阶初等矩阵的乘积 , 使得mP或者 . 0-1APB于是 10G将 作相应的分块, 1P, , . 1PFSmnPmnrS则有. 1 00GABFG其中 为列满秩
23、矩阵, 为行满秩矩阵. FG由于初等行变换有三种变换：1、调换两行;2、某一行乘以一个非零常数;3、某一第 17 页,共 24 页行乘以一个非零常数加到另一行. 实际上只用第三种初等变换方法就可以将其化为阶梯形. 值得指出的是, 的满秩分解式为(2.1)与(2.2)并不是惟一的. 现对任一 阶可逆A r方阵 , 总有H(2.3)-1=FGH=F成立, 且 , 分别为 列满秩矩阵与 行满秩矩阵. 因而(2.3)式也是 的一个FGmrrnA满秩分解式. 定理 2.3 设 , 且3rACABC均为 的满秩分解, 则1) 存在矩阵 , 使得rQC, . BQ12) . 11HHHHCB定理 2.4 设
24、 是 的矩阵, , 其 标准型为 , 则在2Amn0rankrermitH的满秩分解中, 可取 为由 的 , , , 列构成的 的矩阵, 为 的前AF1j2 rjG行构成的 的矩阵. rrn定理 2.5 矩阵满秩分解的存在性定理11) 设 , 则使用初等行变换可将 化为 标准型;C0mnrAHermit2) 设 , 则存在 和 , 使得 . Ar mrFCrnGFG例 2.1 已知 是一个 矩阵 , 则 的秩为 1, 且它的满秩分解为2312-346A=F-2显然, 分块矩阵 E00rr第 18 页,共 24 页例 2.2 求矩阵 的满秩分解. 1326950A解 由题可知, , 由定理 2.
25、4 可得2rank，其中3221 123130006rr rGA 1320321122100PE则 对单位下三角矩阵求逆矩阵等于把严格下三角部分元素变号即可.102取 的前两列构成 , 则 . 1P102F103221AFG例 2.3 求矩阵 的满秩分解. 11解 , 且 中的第 10111A B 行 2rankB列和第 2 列为单位矩阵的前两列, 故 101A3 矩阵的 分解QR3.1 矩阵的 分解基本概念与定理第 19 页,共 24 页定义 3.1 设 是单位列向量,即 , 称矩阵5nuR1Tu2HI为 矩阵. 由 矩阵确定的 上的现线性变换 称为HousehldrHosehldrnRyH
26、x变换. 若 不是单位向量, 则定义 为 矩阵, u2TIuosehldr对应的变换成为 变换. osehldr矩阵具有如下性质:Huselr1) （对称矩阵）;T2) （正交矩阵）;E3) （对合矩阵）;24) （自逆矩阵）;1H5) 是 阶 矩阵;0rEnHousehldr6) . 1定义 3.2 如果实（复）非奇异矩阵 能够转化成正交（酉）矩阵 与实（复）5 AQ非奇异上三角矩阵 R 的乘积, 即,QR则称上式为 的 分解. AQ定理 3.1 任何实的非奇异 阶矩阵 可分解为正交矩阵 和上三角矩阵 的乘5nAQR积,且除去相差一个对角线元素之绝对值全等于一定对角矩阵因子 外, 分解式D是
27、惟一的. AR定理 3.2 设 为 复矩阵 , 且 个列向量线性无关, 则 有分解式3AmnnA,AUR其中 是 复矩阵, 且满足 , 是 阶复非奇异上三角矩阵, 且除去相差UnHIn第 20 页,共 24 页一个对角线元素的矩阵行列式全为 1 的对角矩阵因子外, 分解式 是惟一的. AUR推论 设 为 实（复）矩阵, 且其 个列向量线性无关, 则存在 阶正交3Amnnm（酉）矩阵 和 阶非奇异实（复）上三角矩阵 , 使得QR0QA定理 3.3 如果在非奇异矩阵 的 分解中规定上三角阵 的各个对角元素的8 R符号, 则 的 分解式惟一的. AQR定理 3.4 设 为任意的 矩阵, 且 , 则存
28、在 阶正交矩阵 与mnrankArmTH阶正交矩阵 , 使得 或 ， 这里 为 矩阵, 他可以表示为nKTHARTKRn一个准对角矩阵形式: 10其中 是 阶的下三角非奇异方阵, 或 又称为 的正交三角分解. 1Rr THAKRTA定理 3.5 设 , 则存在酉矩阵 , 使得 , 其中 是阶mnACmQCQRmnC梯型矩阵. 3.2 矩阵 QR 分解的常用方法3.2.1 利用 矩阵变换Househldr将矩阵 的列向量一次实施 矩阵变换, 简记 , 使之化为以具有 1 个非零AseolrH元, 2 个非零元, 个非零元作为列向量的上三角矩阵 , 即若有nR,则 . 11nR 121Q3.2.2
29、 利用 分解公式设 , , 为（列）正交矩阵, 为上三12,nA 12,Tnqq QR角矩阵, 即第 21 页,共 24 页,12120rrddR若 有 分解, 则由 , 有 , , 即 , ,AQRAQ1dq11d1q得 的 分解公式:, ,1d1q, ,Tkji2,i,iijidq, =1, 2, , . ijiiiqdr利用对矩阵 的列向量进行标准正交化得到 , 且AQTRA3.2.3 利用列初等变换法步骤如下:1)构造矩阵 ;TPA2)对 作初等列变换将 化为下三角矩阵 , 同时 化为列正交矩阵 ;T1RA1Q3)对上述得到的矩阵 , 再利用初等列变换化 的各列向量为单位向量, 则1R
30、Q1Q化为列正交矩阵 , 同时 , 即 . 1Q1T1T例 3.1 已知 , 求 的 分解. 304AAR解 由 变换易得Househldr第 22 页,共 24 页10.6.8H令 151402A又 210H可使 21540AR从而 120.681QH例 3.2 用正交化方法求矩阵 01A的 分解. QR解 由已知, 把列向量 , , 正交化10,Ta21,0Ta31,0Ta可得 10,Tba211,2T3212,3Tbab第 23 页,共 24 页构造矩阵, 2106311263Q1236R则有 . AR例 3.2 将矩阵 分解为 形式. 12AQR解 取 , 则 , 用-1 乘以第一列加
31、到第二列, 则有31T61T,162505602132 5006T TA RP Q 第 列第 列即, 605R1265106Q致谢 本文是在 的指导和帮助下完成的, 在此对周老师表示衷心的感谢!第 24 页,共 24 页参考文献1 张贤达. 矩阵分析及应用M. 北京: 清华大学出版社, 2004. 2 刘慧, 袁文燕, 姜冬青. 矩阵论及应用M. 北京: 化学工业出版社, 2003. 3 方保镕, 周继东, 李医民. 矩阵论M. 北京: 清华大学出版社, 2004. 4 刘丁酋. 矩阵分析M. 武昌: 武汉大学出版社, 2003. 8. 5 廖安平, 刘建州. 矩阵论M. 长沙: 湖南大学出版
32、社, 2005. 7. 6 张凯院, 徐仲矩阵论同步学习辅导M. 西安: 西北工业大学出版社, 2002. 107 关红钧, 苏艳华. 关于n 阶矩阵的三角分解J. 沈阳航空工业学院学报, 18:4(2001), 38-40. 8 冯天祥, 李世宏. 矩阵的QR 分解J. 西南民族学院学报, 20:4(2001),418-421. 9 吴强. 基于矩阵初等变换的矩阵分解法J. 数学理论与应用, 20:4(2000), 105-107.10 Fuzhen zhang, Matrix Theory, Springer, 1999.11 Horn R A, Johnson C R. 1989. Matrix Analysis(矩阵分析 ), 杨奇. 天津：天津大学出版社12 D J Field What is the goal of sensory coding？4(1994).13 M Heiler. C Schnorr Learning sparse representations by non-negative matrix factorization Matrix factorization and sequential cone programming7 (2006).
