1、22第章 解线性方程组的直接解法0 引言 121122212nnnnaxaxbxx 1212121,(,),()nTTnnnnaaAb Axb若 非奇异，即 ，方程组 有唯一解。由Adet()0xbCramer 法则，其解 t(),1,2deiiAxn其中 为用 代替 中第 列所得的矩阵。当 大时，ibi个行列式计算量相当大，实际计算不现实。1n121212(,)det()nnniiiiAa 1 Gauss 消去法（I）Gauss 消去法的例子（1） 123 1322 36()58xxE2131()(),(8)EE23（2） 123142356()597()xEx方程组 与方程组 同解13()
2、E14),得54（3）12314366()957xEx由（3）得 321,13()(,)TTx（3）的系数矩阵为 ，上三角0591矩阵。（II）Gauss 消去法，矩阵三角分解 Axb1211,22,12,1nnnnnaaAb 令 (1),;,ijijaj ()Ab第 1 次消去 ,(1)0令 ()1,2,3iial n作运算： 1()(iiilE表示第 个方程（第 行）i242,3in(2)(1)(1)0,iiialai()()()1,1ijijij()(1)()()2,12,(2) (2)(2)(),1nnnnaAb 如果令 2113101nlLl1()(2)()(2);AAb令12320
3、1nLl(2),3,4.iial(1)()(1)(1)2321(2)(3) ()(3)()()3nnnaLAa1(2)()bA进行 k-1 步后，得 ()()kkx25,1(1)() (1)()2,2() ()()(),1()()()nnk kknkknaaAbaa 11, 1k knkLl 1()(1)()kkAbb1()(1)()nnL()()()(1)12,2,()(),1nnaa 以上完成了消去过程，A 非奇异 ；倒着求解()0na这称为回代过程。消去过程和回代过程结合起1,nx来称为（顺序）Gauss 消去法，从消去过程可以得出。11()()2nnLA其中 是一个上三角阵。()(11
4、1()2nnLA ()11261,kknkLll 记 2131212,1nnnlLll 此矩阵是对角线元素为 1 的下三角矩阵，称其为单位下三角阵。定义 1.1 设 令()ijnAa121212,iiiiiaa 是 1 至 阶行列式，称为 A 的顺序主子式。,nGauss 消去过程能进行下去的条件应为，而此条件必在消去过程中才能知道。()0,2,ia定理 1.2 全不为零的充分必()1,2,)i k要条件是 A 的顺序主子式，其中0,12,i k n证明“ ”（必要性）设 ，则可进行消去过程的 步，每(),ia 1k步 由 A 逐次实行 的运算得到，这()m()(ijiilE些运算不改变相应顺
5、序主子式的值，所以有27(1)()(1)22()2()()mmmaaa 0,1,mk“充分性”设命题对于 k-1 成立，现设。由归纳假设有11,0kk，Gauss 消去可以进行 k-1 步。()(),0a化为(1)A()()()120kkA其中 为对角元为 的上三角阵。由于 是()1k(1)(1),ka ()kA由 A 经“一行（方程）乘一数加至另一行（方程） ”逐步得到的，因此 A 的 k 阶顺序主子式等于 的 k 阶顺序主子式，()即 (1)2(1)(1,()*det0kkkaa由 。()kkGauss 消去过程 ()nAL其中 L 为单位下三角阵， 为上三角阵。以后记为 U，那()n么
6、A=LU定理 1.3 非奇异矩阵 ，若其顺序主子式R，那么存在唯一的单位下三角阵 L0,12,i和上三角阵 U，使得 A=LU。证明 Gauss 消去过程已给出 L，U。下面证明唯一性设 A 有两个分解， 12其中 为单位下三角阵， 为上三角阵，因 A12,L,非奇异 都可逆。12,U28122UL仍为上三角阵， 也是上三角阵， 为单位下12112L三角阵 122LI11,U可以证明，当 A 为奇异阵时，定理仍成立， A 的 LU 分解，L 为单位下三角阵，U 为上三角阵，此分解称 Doolittle 分解。若将上三角阵 ，其中 D 为对角阵， 为单位U上三角阵，并记 那么有LA其中 为下三角
7、阵， 为单位上三角阵，此分解称为UCrout 分解。 LD其中 L 为单位下三角阵，D 为对角阵， U 为单位上三角阵，此称为 A 的 LDU 分解。定理 1.4 非奇异阵 有唯一的 LDU 分解（D 为nAR对角阵，L 为单位下三角阵，U 为单位上三角阵）的充分必要条件是 A 的顺序主子式 皆是非零。121,n如果 A 奇异，上述定理也成立。2 列主元 Gauss 消去法例 2.1 用三位十进制浮点运算求解 512.0.0x解 用（顺序）Gauss 消去法 521.0al(2) 52110al() 5,3.029在 3 位十进制运算的限制下，得 (2),31.0ax代回第一个方程得 ，此解不
8、对 求解不对的原因是1用小数 作除数，使 是个大数，在计算 的值完1a2l(2)a中全被掩盖了：如果对方程组先作变换 ，12E再用 Gauss 消去法可以得。12.0,.x列主元消去法 进行第 1 步消去之前，在 A 的第 1 列中选出绝对值最大的元素 即 ，1,ia1maxiiin其中 。1i由于 A 非奇异，有 ，这一步骤称为选主元。10i如果 ， 则消去过程与顺序 Gauss 消去法一样1i如果 ，则先进行换行 ，然后再11()iEGauss 消去运算，得 。(2)Ab进行了 k-1 步选主元，换行和消去的步骤，得 ，第 k 步先选主元 ，()k()kia使 ()()max,ki iki
9、n由于 非奇异，有()A()0ki若 ，则进行顺序 Gauss 消去法的第 k 步ki若 ，则对 先换行： ，然()kb()kkiE后再进行类似顺序 Gauss 消去法的运算。如上进行 n-1 步选主元，换行与消去法运算，得，此方程组与 Ax=b 等价。 为上三()()nnAxb()nA角阵，再回代求解。例 2.2 用列主元法解方程组 Ax=b，计算过程取 5 位数字，其中300.20.41.7851363.96.78Ab解 (1)选主元， ，换行(1)3.a13()E21025.96l31l再作行变换 212313()(;)(ElEl得到 (2).965.47.1807.02.82.3Ab
10、对 选列主元， ，作换行(2)()3,ai，计算23E320.6170.4968l再作行变换 ，得到323()()ElE(3).965.47.18082.039.59Ab 消去过程完。回代计算得解 12 3.973.65.04xxx此题精确解为 123.0.984.92而不用列主元的顺序 Gauss 消去法有123.930.650.8xxx313 直接三角分解方法（I）Doolittle 分解法,0,1,2niARinLU根据 A 的元素 来确定 L.U 中的元素ija1212112,112nnnnlllaa 1212nnuuuL，U 的元素可由 n 步直接计算定出，其中第 k 步定出 U 的
11、第 k 行，L 的第 k 列。第 1 步 ，得出 U 的第 1 行1,2,jjau元素。 11,3kkl n得出 L 的第 1 列的元素。第 k 步：假定已定出 U 的第 1 行到第 k-1 行的元素与 L 的第 1 列到第 k-1 列的元素。利用矩阵乘法有 11()nkkjkrjrjkjalulu计算 U 的第 k 行（1）1,.kjjkrjulkn对于 i321,1,kiirkikalulin计算 L 的第 k 列（2）1,1,ikirkialul in由第 1 步，第 2 步，第 n-1 步就完成 A=LU，解方程组 Ax=b , LUX=b 分两步Ly=b y=L-1b 其实，L 为单
12、位下三角阵，逐次向前代入Ux=y x=U-1y 其实，U 为上三角阵，逐次向后2回代定理 3.1 非奇异, ，nAR121,0n那么 Ax=b 可用直接分解方法来求解。例 3.2 求矩阵 23475的 LU 分解解 121321320475ul 先求出 U 的第 1 行1213;uauaua 求出 L 的第 1 列：212214ll3313au U 的第 2 行2127;723l32331au L 的第 2 列323132324;lll33 U 的第 3 行3132335;6alulu016A定理 3.3 非奇异阵 ，若其顺序主子式nR皆非零，则存在唯一的单位下三角阵 L,12,in和上三角阵
13、 U，使得A=LU同样地有 A 有唯一的分解， A=LDU；A 非奇异条件不加，定理还真，L 为单位下三角阵，D 为对角阵，U 为单位上三角阵。 1212nnuuAUu 131121 222 1nnuu uU 单位上三角阵 A=LU（L 单位下三角阵，U 上,D三角阵） ，此分解称为 Doolittle 分解。如果把A=LDU （LD）U=LU（L 下三角阵，U 单位上三角阵） ，此分解称 crout 分解（II）直接三角分解法解线性代数方程组 AxbA 非奇异， 11,0nL令 ;UxyL求解 等价于求解 b;ybUx34121212nnyblLyly 221;ybybly12 12,1;n
14、nnnnl lyl 12122nnuuxUxy 11,11,/;()/nnnnyuyux1112()/nkxx例 3.4 用 Doolittle 分解法解方程组 Ax=b, 其中347,(1,2)25TAb解 103126LUyb1230y112;,;yyUx123006x3211;,9x35（III ） 三对角方程组的追赶法设方程组12,(,)n TnnAxdRddRA 为三对角矩阵 12211nnbcabca 如果 A 满足 LU 分解条件，那么可以进行 Doolittle 分解。A 是三对角阵，L，U 有如下形式 12 23 11,1nnuclUcl u 利用 A=LU，及矩阵乘法有11
15、/,2,3iiiiiublainlc依次计算 123,nullu解原来方程组 Axb可分成两步 ;LyUy计算公式为：11,2,3iiiyblnnyxu1,2,1iiiycxi这个过程称为解三对角方程线的追赶法。例 用追赶法解 Axb36410123Ab12 23 31 0uLlU利用矩阵乘法有 1223341000ul121214;4ulul2254,4l3231,15lul334564, 1lu10.25.75.613.LU AxbLxb(,3.25,.86)TLyy0.17901479Uxx追赶法在西方用 Thomas 算法的名称定理 3.5 371221,n nbcaARcab 其元素
16、满足 1bc,0,2,3,1iiiiaacinnA 非奇异，A 分解中元素满足0,1,2,iuin,1iici,2,3,iiiiibauban定理可以看出， 0， 用追赶法可以进行计算。又有i的估计式，即追赶法中，中间变量有界，不会产生很大iu变化，由此可以有效计算出结果，即计算是稳定的。定理条件即为追赶法稳定计算的条件。（IV）对称正定矩阵的 cholesky 分解解法,nTARA称 A 正定(,)0nxxRA 对称正定 A 的全部特征值为正 A 对称正定 A 的顺序主子式;由于 A 对称正定,1,2,iin，因此 A 有唯一的0iLU 分解， ALU定理 3.6 ，对称，且nR38A 的顺
17、序主子式 ，那么 A 可以唯一分0,12,i n解为 ，其中 D 为对角阵， L 为单位下三角阵TL证 iUu1121212 21nnnnuuu 12,nDUdiag ，L 为单位下三角阵， 为单位AU上三角阵,由于 ()()TTTLDA由 LU 分解的唯一性，从而有(),TTLU即AL定理 3.7 设 对称正定，则存在唯一的对nR角元为正的下三角阵 L 使TA这种分解称为 Cholesky 分解证 利用上一定理知 A 有唯一分解，其中 为单位下三角TLD阵。 12,ndiaguuA 对称正定，A 的顺序主子式 。0k而 ，从而有 12kku ku令 ，212,nDdiag那么有39。1122
18、()TTTALDLDL具体分解方法 121 12122 2121n nnnnnnaallllll 1,1,jijikjijalljij当 时 ij12jjjkjal12jjjjkll11,2,jijikjijjall ijn111,3iiajll由于求解过程中，需开方，因此称其为平方根法。方程组求解 AxbTTLLxb;yby（1） L1121 2212nnnl ybllyb 401111222222/()/lybybll yl1()/,iiiikiyblyln（2） TLx121122nnnllxylxy 1211122nnnlxllxyl 11,11,1/()/()/,1,nnnnniik
19、iikixylxlxylxln 例 3.8 用 Cholesky 方法求解方程组 Axb其中41164845,3210Ab解 A 对称，；1236,74576，A 对称正定 112312313380450llllll，216,64l312214,2aalll 2212,5,l l32132321,43alll122 23133;(9)lll4;23TLAxbLxb;TxyL9(1,26);(,42)Ty424 矩阵范数（I）向量范数定义 如果向量 （或 ）的某个nxRnC实值函数 ，满足条件：()N（1） 充分必要条0,;0nxx件（2） ,xRC或（3） ，三角不等式则称 是y()Nx上的一
20、个向量范数（或 上的一个范数） ，一般用 表nRn示。常用的向量范数向量的 -范数11maxiin向量的 1-范数21i向量的 2-范数3221nix例 计算向量 的范数 。3(,)TR12,x解 1236,4xx定理 4.1 ，非奇异， 上一个范数，nARnR为令 ，那么 上的一个范数xnA为证 满足条件任 ； 1,0nAx43000AxxAxx（A 非奇异）对任2R() AAxAxx3,ny()A Axxyxy上的一个范数nR为定理 4.2 设 为 上的一个向量范数，那么 是xx的分量 的连续函数。12,n定义 4.3 设 为 上两个向量范数，若存在,nR使得对任 有0mMx那么称 是等价
21、的。可以证明,2xnx12xx（II）矩阵范数定义 4.4 设 上实值函数，对任 有nR是 nAR唯一的数 相对应，如果 满足条件A（1） 0,O44（2） nRACorA,（3） nBB（4） ,那么称 为 上矩阵范数nR定理 4.5 设 是 上的向量范数，那么n01maxa,nnnxRRAA定义 4.6 对于 上的任一种向量范数 ，由定理 4.5 确定的矩阵范数称为从属于向量范数 的矩阵范数，即称从属范数，也称算子范数。由定理可以得出 Ax满足此条件，称所给的矩阵范数与向量范数是相容的。设 ，如果对于 R（或 C）中一个数 ，存在n中非零向量 使得()nRC或 xA那么 称为矩阵 A 的特
22、征值， 称为 A 的属于特征值 的一个特征向量。称为 A 的特征多项式。I为 A 特征值 为特征多项式的根。为其特征值，令,(1,2)niRn)maxii称为 A 的谱半径。定理 4.7 n()A证：设 为 A 的任一特征值， 为相应的特征向量，那x么有 xx A45()A由定理 4.5 可以得出，单位矩阵 有 ；nIR1I常用范数有 01maxanxRAA110nxxR2201aanxxRA定理 4.8 设 ，那么有（1） ， 行范数1manijij（2） ， 列范数11xnijjA（3） 2()T证：（1）对任 12,TnxxR 1121221121jjnnjjnnnjjaaaxxAxa
23、11maxxnnij iji ijA111()man nijj iji nij j 1xnijijA由于 的任意性，有nxR4610maxannijiRjA1nijij下面将证明 1maxnijijA存在 使0,i0,11axnnijijij j取 满足(0)()()(0)2,TnnjxR 0(0)1ijjax(0)(0)mjjnx(0) (0)11axanijiAAx00()111nnnijijijijj j1maxnijijA推论 4.9 如果 A 是对称 2()A称为对称；设 为 A 的特征值， 为相应的特Tx征向量x22x1()maiinA4722 2211()max(a)()iiin
24、inAA例 4.10 求3412,解 1ax7nijijA11m6nijj32104TA的特征多项式 210()301P125,51,()maxTiA2Jordan 标准形设 ，矩阵C1()r rJ称为属于特征值 的 Jordan 块( 阶)。由若干个 Jordan 块，所构成的分块对角阵(),12,irJm 12(),()mrrrdiagJJ12()()mrrrJ称为一个 Jordan 形矩阵48定理 4.11 复数域上每一个矩阵都相似于一个 Jordan 形矩阵，这个 Jordan 形矩阵除了其中 Jordan 块的排列次序外是由原矩阵唯一确定的，称这个 Jordan 形矩阵为原矩阵的Jo
25、rdan 标准形。定义 4.12 ，如果存在可逆矩阵 使得,nABRnUR1U则称 A 与 B 是相似的 。()nnC可 改 成定理 4.13 对任 ，实数 ，那么至少存在一R0种算子范数 （从属范数）使得()A证明 对任 ，存在非奇异阵 使nRnSR1JSJ 为 A 的 Jordan 标准形。 12,mdiagJ11ii iJ对于给定 ，定义对角矩阵0D211,ndiag ()令 112,mJDiJ其中 iii iJ取 的 范数J49111()JDSADSA111maxa()max(niji iiininj注意到 112mJ 是非奇异阵。引入新的向量范数（定理 4.1）SD 1()xSDx由
26、定理 4.1 ， 为向量范数。令 。QS1x对于引入的范数，令 1maxA1 11aaxx yQAA 。1m()()()ySDySD矩阵范数还具有如下性质：是 A 的元素 的连续函数1,nARija（等价性）对于 上任两范数 ，2n,存在常数 使得0mM对于常用矩阵范数有 21AnAn12150定理 4.14 设 是 上的算子范数，矩阵nR nBR满足 ，那么 非奇异，并且1BIB1()证 用反证法。设 I+B 为奇异阵，那么存在使得 。 为 B,0nxR()0IBx;1x的一个特征值。从而有 ，并1，矛盾于定理条件，所以 I+B 非奇异。()B令 1()DI1IBB(1)D1()DI5 误差
27、分析（I）引言 1234.0.0x准确解 *(,)Tx若 A，b 作微小的扰动 12342.9.0x准确解 *(,0)TxA， b 的微小扰动 。引起121.;.0baB， 了解的很大变化，其原因？（II）条件数定义 5.1 设 为可逆矩阵， 为一种矩阵的算nR51子范数。 1()CondA称为 A 的条件数如果矩阵范数取为 ，那么记2 122()ondA同样地， ，1()ond逆矩阵11CA定义 5.2 ，划去 A 的 元()nijaR(,)ijija所在的第 行，第 列，剩下的 个元素按原来排法组i 2(1)成的 n-1 级矩阵的行列式称为 A 的 元的余子式，记为,ij。令ijM(1)ijijiM称 是矩阵 A 的 元的代数余子式ij ,定义 5.3 设 是 级方阵，用 表示 A 的()ijnaij元的代数余子式，矩阵(,)ij121212nnnA 称为 A 的伴随矩阵。记为 *1A例 5.4 求 2.0()CondA解 120解 1 2101.052A
