1、第二章 解线性代数方程组的迭代法2.1 引 言在许多实际问题中,常常需要求解这样的线性代数方程组,它的系数矩阵数很高,但非零元素很少,人们称其为大型稀疏线性代数方程组,对于这类方程组,如果它又不具有带状性,那么,再用直接法求解就不太有效,因为用直接法进行消元或矩阵的三角分解时,没有考虑到系数矩阵的稀疏性,破坏了系数矩阵的形状,导致了计算量的增加和存储单元的浪费,于是,人们常用迭代法求解大型稀疏线性代数方程组。迭代法只需要存储系数矩阵的非零元素,这样,占用内存在单元较少,能解高阶线性代数方程组。由于迭代法是通过逐次迭代来逼近方程组的解,因此,收敛性和收敛速度是构造迭代法时要注意的问题。那么,是否
2、可以构造一种适用于一般情况的迭代法呢?回答是否定的,这是因为不同的系数矩阵具有不同的性态,一般地,每一种迭代法都具有一定的适用范围,在本章的学习中将会看到,有时,某种方法对一类方程组迭代收敛,而对另一类方程组进行迭代时就会发散。因此,我们应该学会针对具有不同性质的线性代数方程组,构造合适的迭代方法。本章主要介绍一些基本的迭代法,并在一定的范围内讨论其中几种方法的收敛法。2.2 基本迭代法考虑线性方程组(2.1)nnnnbxaxa 21 222 121 采用矩阵和向量记号,我们可以把(2.1)式写成, (2.2)A其中, 为非奇异矩阵,设 。nRA)(0ii下面我们介绍雅可比(Jacobi)迭代
3、,高斯-塞德尔(Gauss-Seidel)迭代与 SOR 迭代以及 SSOR 迭代的基本思想和算法。为了方便地给出矩阵表示式,我们引进下列矩阵分裂:(2.3),UDLA其中 ,001,12nna ,21naaD .00,112nU (1)雅可比迭代的基本思想从式(2.1)的第 i 个方程中解出 :),2(ix).(1 (11,2111131nnnnijnijjii nxaxabxxaabx我们把迭代前面的值代入上式右边,由计算得到等式左边的值作为一次迭代的新值,然后再把这个新值代入右边,再从左边得到一个新值,如此反复,就得到了雅可比迭代公式。算法 2.1 雅可比迭代法。选定初值 ,对 计算nR
4、x)0( ,21m(2.4)).(1 )( )( 1(,)1()(11()()( 1()(1)( mnmnnmij nijjjii mnxaxbaxxaxba由式(2.4)及采用矩阵 A 的分裂记号式( 2.3) ,可以得到,)1()1()( ULD于是得到雅可比迭代的矩阵表示形式:. (2.5)bDxxmm)(1)((2)高斯-塞德尔迭代的基本思想在用雅可比迭代式(2.4)计算第 i 个新分量 时,前 个分量已经更新,与雅可)(i1i比迭代法相比,高斯-塞德尔迭代是把更新过的分量 代替式(2.4)第 i 个方程右端中的j,于是,得到高斯-塞德尔迭代公式:)1,()1ijxmj算法 2.2 高
5、斯-塞德尔迭代法。选定初值 ,对 ,计算nRx)0( ,21m(2.6)).(1 )( )(1,)(1)(11()()( 1()1(1)( mnmnnmijnijjjii mnmxaxbaxxaxba由式(2.6)及采用矩阵 A 的分裂记号式( 2.3) ,可以得到,)()()( ULD于是得到高斯-塞德尔迭代的矩阵表示形式:. (2.7)bDxxmm1)1()( (3)SOR 迭代的基本思想在高斯-塞德尔迭代式(2.6)中,第 i 个迭代分量可以改写成 .1)(1)()1()( njmijmjiimii xabax上式等号右端的第二项可以看成是校正量,高斯-塞德尔迭代法相比,SOR 迭代是把
6、这个校正量乘上一个因子 ,于是得到 SOR 迭代公式。算法 2.3 SOR 迭代法。选定初值 ,对 ,计算)0(x,21 ).,21( ,1)(1)()()( nixabanjmjiijmjimii 由上式及采用矩阵 A 的分裂记号式( 2.3) ,可以得到,)( 1()()(1)1()( DULDx于是得到 SOR 迭代的矩阵表示形式:. (2.8)bLxLxmm )1()(称 为松弛因子。(4)SSOR 迭代的基本思想在 SOR 迭代过程中,新向量的分量计算依次从第 1 到第 n 逐个进行,这个次序也可以倒过来,即 ).1,2,( ,1)(1)()1()( ixaxabxnijmjijmj
7、imii 如果两种次序的 SOR 迭代过程交替使用,就可以得到 SSOR 迭代公式。算法 2.4 SSOR 迭代法。选定初值 ,对 ,计算)0(x,2 ).1,2,( ),( 121 112121ni xaxabxi xxxnijmjijmjmii njmjiijmjmii 由上式及采用矩阵 A 的分裂记号式( 2.3) ,可以得到 )()(21121)( )1()( mmmUxDLbxx从上面的第一式解出 后,再化简可得11)( DUxm )1(1 m.)()(21bILI例 2.1 试用雅可比迭代法、高斯- 塞德尔迭代法、SOR 迭代法以及 SSOR 迭代法计算线代数方程组 ,141432
8、1x取初值为 ,精确到 (精确 ) 。0)(x51 Tx),(*解 构造雅可比迭代: ,计算,2k).1(4)1(41(3)1(2)()( )(4)()()(3 1()1(3)()(2 )(4)()(2)(1 mmmmmmxxxxxx迭代到第 43 次结果为 .0.,.,0.,.()43( T构造高斯-塞德尔迭代:对 ,计算2k)1(4)1(4(3)(2)()( )1(4)()()(3 ()(3)()(2 )1(4)1()1(2)(1 mmmmmmxxxxxx迭代到第 22 次结果为 .0.1,.,9.0,.()2( T构造 SOR 迭代:对 ,计算,k).41(4)41( 1()(3)(2)
9、()()(4 )()()()()(3)( 1(4)1(3)1(2)()(2)( )()()()()1()(1 mmm mmmxxx xxx当 取不同值时的迭代结果为;Tx )0.1,.,9.0,.(,0.1)2( ;16;.,.,.,.,.)(;T)310;x 0.1,.,0.,.,4.)( ;1956;T).,.,.,.,.)2(;9713;x 9.0,.,0.,.,8.)5( 。T)1190构造 SSOR 迭代:对 ,计算,2k ).41(4)41(4121321221433 14312212 112 mmm mmm xxx xxx ).41( )41( 432121 2122 42132
10、3 221214 mmm mmm xxx xxx当 取不同值时的迭代结果为;T9.0,.,0.,.(,0.1)6(;x )1;.,.,.1,.,2.)( ;T317;)0.,.,0.,.,4.)0(;x 152;T.,.,.1,.,6.)31( ;)974;.0,.,0.,9.,8.)52(。Tx132.3 范数及方程组的性态、条件数由于迭代法是通过迭代来逼近精确的,于是近似解向量与精确解向量之差趋于零的收敛速度就是迭代法最为关心的问题,为了讨论迭代法的收敛性,我们需要引衡量向量和矩阵大小的度量概念向量范数和矩阵范数。首先给出向量范数的定义:定义 2.1 对任意的向量 ,若对应一个非负实值函数
11、 ,且满足:nRxx(1)正定性: ,等号当且仅当 时成立;00x(2)齐次性:对任意实数 ;|,(3)三角不等式: ,则称 为向量 x 的范数或模。nRyyx,在下面的例子中,给出了三个常用的向量范数:例 2.2 设 ,试证Tn),(21,22|: nxxx,|1,|ma:ini满足向量范数定义中的三个条件,它们分别称为向量 2 范数、1 范数和无穷范数。证明 我们仅对向量 2 范数进行证明,向量 1 范数和向量无穷范数的证明由读者自己完成。显然, 满足定义 2.1 中条件(1) 、 (2) ,现在证明条件(3) ,对任意的 ,2 nRyx,由柯西(Cauchy )不等式得 niiiyxyx
12、12)(niinii yx1122 niiinix1221,22)(y即条件(3)成立,于是 是 中的向量范数。2nR现在给出矩阵范数的定义:定义 2.2 对任意的 ,若对应一个非负实值函数 ,且满足:AA(1)正定性: ,等号当且仅当 时成立;00A(2)齐次性:对任意实数 , ;|(3)三角不等式; ;nRBB,(4) ,nRA,则称 为矩阵 A 的范数。进一步,若对给定的矩阵范数 ,它与某个向量范数 满足条件:M V(5) ,则称矩阵范数 与向量范数 相容。nVMVRxAx, MV对 ,常用的矩阵范数有nnijRaA,niijja11|m:,jijniA|x,的 最 大 特 征 值矩 阵
13、 T:2,nijijFa12|它们分别称为矩阵 1 范数、无穷范数、2 范数和 F-范数,可以证明它们都满足定义 2.2 矩阵范数的四个条件,并且它们分别与向量范数有下列的相容关系:,11xA,22,xF在用计算机求解线性代数方程组时,常会发现这样的情况,当用同一方法求解不同的线性代数方程组时,有时产生不同的效果,这主要涉及到所解的线性代数方程组的性态。下面,我们给出线性代数方程组性态“好” 、 “坏”的概念,并给出一种衡量标准。考虑线性代数方程组(2.9),01.5901.351222xx由简单计算知方程组(2.9)的解为 ,当式(2.9)的第二个方程有一个小扰,动时,例如(2.10),02
14、.599.341222xx则方程组(2.10)的解为 , 。70比较方程组(2.9)与方程组(2.10)的解可以看出,由于系数矩阵和右端的小扰动,导致它们的解完全不同,下面我们研究一般的线性代数方程组(2.11)bAx的系数矩阵 和右端 有小扰动时,对方程组(2.11)的解 x 所产生的影响。nRAnbi)如果(2.11)式中 b 有一小扰动 ,则解 x 产生一个扰动 ,即.)(于是 ,1bA从而(2.12),x另一方面,由式(2.11)知(2.13).b由式(2.13)和式(2.12)即得(2.14).1bAxii)如果式(2.11)中 A 有一小扰动 ,则解 x 产生一个扰动 ,即x.)(
15、于是 ,1x从而 .xA所以(2.15)x1iii)如果式(2.11)中 A 和 b 都有小扰动时,则 x 的扰动满足: .)(b于是 A即 xbxAx111从而 .11b两边除以 ,并考虑式(2.13)得到xxA)(1b1AxA1.b1当 时,由上式可以推出11A.AbAx1观察式(2.14) 、式(2.15)和式(2.16)可以知道,无论方程组(2.11)中的系数矩阵A 有扰动,还是右端 b 有扰动,或者两者都有扰动,解 x 的相对误差除了受相应扰动的相对误差的影响外,还与 的大小有关,因此,研究 的值对估计解的相对1 1误差有着重要的意义。定义 2.3 设 为非奇异矩阵,称数nRAvvA
16、Cond1)(为矩阵 A 的条件数,其中 为 为的某种矩阵范数。vR常用的条件数有,11)(A,ond.)()(minax212 ACT如果 A 对称正定,则.)()(inax2Aond条件数有下列性质:(1)对任意的非奇异矩阵 ,有 ,其中 为 A 的某种矩阵范数。nR1vCv(2)对任意的非奇异矩阵 , 为常数,则0c.vvondAod)()((3)对任意的正交矩阵 A,则 。2(4)设 A 为非奇异矩阵,P 为正交矩阵,则.22)()()( APn矩阵的条件数是方程组 的解 x 对系数矩阵 A、右端 b 中数据有微小扰动时敏感b性的一种度量,或者说是对方程组 是否病态的一种度量。定义 2
17、.4 设 为非奇异矩阵,对线性代数方程组nR(2.17),(1)如果条件数 很大时 ,则称式(2.17)为病态方程组vACod)()1(Cond(或 A 为病态的) ;(2)如果条件数 相对较小时,则称式(2.17)为良态方程组(或 A 为良态n的) 。n 阶希尔伯特(Hilbert)矩阵 121321nnnHn 是常见的病态矩阵,它的条件数有下列结果: ,748)(3Cod0.55H.17n2.4 收敛性分析在 2.1 中给出三种迭代公式,雅可比迭代、高斯-塞德尔迭代和 SOR 迭代,都可以看成是把原方程式(2.1)改写成某种等价形式:,fBx再选定一个初值 ,进行迭代)0(x ).,21(
18、 )1()( mm参照式(2.3)的矩阵分裂,则在雅可比迭代、高斯-塞德尔迭代、SOR 迭代和 SSOR 迭代时的 B 和 f 分别为,),(1bDfULJ,)(1fG,)(1bLfBS .)()(2,11111bDUILDIfUs 为了分析迭代法的收敛性,我们需要引进一些特殊矩阵,并讨论它们的某些性质。定义 2.5 如果矩阵 中的元素满足nnijRaA(1) ijji i1),2,1( | (或 ) ,njiij nja1 ),( | 则称 A 为按行(或按列)严格对角占优;(2) nijji i1),2,( | (或 ) ,njiij nja1 ),1( | 且上式至少有一个不等式是严格成
19、立,则称 A 为按行(或按列)弱对角占优。定义 2.6 设矩阵 ,如果存在置换阵 P 使得)2(RAnnij(2.18),021PT其中 为 r 阶方阵, 为 阶方阵 ,则称 A 为可约矩阵;否则,如果不1A2r)(r存在使得式(2.18)成立的置换阵 P,则称 A 为不可约矩阵。引理 2.1 如果 为按行(或按列)严格对角占优矩阵,或者为按行(或按列)nR弱对角占优且为不可约矩阵,则 A 为非奇异矩阵。证明 仅对第一个结论中的按行情况证明,其他情况的证明留作习题。假定按行严格对角占优阵 A 为奇异矩阵,则存在 满足nRz0.z于是存在指标 ,使得 ,并且0i |max|10iniizjji0
20、.从而 z 的第 个分量满足0i.nij nijjiji aza0 0011|这与 A 为按行严格对角占优矛盾,因此 A 为奇异矩阵。引理 2.2 矩阵 ,则下列三个条件等价:nR(1)对任意的 成立: ;zlimz(2) ;0lim(3)A 的谱半径 。1)(引理 2.3 如果矩阵 的谱半径 ,则 为非奇异矩阵。nRA1)(A)(I证明 若 为奇异矩阵,则(I,0detI于是矩阵 A 有一个特征值为 1,与 矛盾,所以 为非奇异矩阵。)()(I下面我们研究一般迭代法的基本收敛结果。定理 2.1 给定迭代格式(2.19),)1()(fBxm则对任意的 ,有下列的收敛性结果:nRx)0((1)迭
21、代格式(2.19)收敛的充要条件为谱半径 ,1)(B(2)迭代格式(2.19)收敛的充分条件为范数 。证明 (1)若迭代格式(2.19)收敛,不妨设收敛于 ,于是nRx*.*fx把上式与式(2.19)相减得到 ).()( 0(*1(*)(* BBxmmm在上式中令 ,于是有lili0)()( xx再由引理 2.2 及 的任意性即得 。)(*反之,若 ,则由引理 2.3 知 为非奇异矩阵,从而 存在,1)(IfBI1)(不妨设为 ,于是fBIx.fxB把上式与式(2.19)相减得到.)()(01)( xxmmm 由假设条件 及引理 2.2 可以推出1( ,lili )()( x即迭代格式(2.1
22、9)收敛。(2)设 为 B 的任一特征值, 为其对应的特片向量,即nRz0.B于是 .1sup| yznR从而 ,由(1)知迭代格式(2.19)收敛。)(B定理 2.2 用雅可比迭代或高斯-塞德尔迭代计算线性代数方程组 ,有下列的收bAx敛性结果:(1)A 为按行(或按列)严格对角占优或者 A 为按行(或者列)弱对角占优且为不可约矩阵,则雅可比迭代和高斯-塞德尔迭代收敛;(2)若 A 对称正定,则高斯 -塞德尔迭代收敛;(3)若 A 对称正定,则雅可比迭代收敛的充要条件为矩阵 2D-A 也对称正定。证明 (1)我们仅对 A 为按行严格对角占优或者 A 为按行弱对角占优且为不可约矩阵时,证明雅可
23、比迭代和高斯- 塞德尔迭代的收敛性,按列情况的收敛性证明可完全类似地进行。先证高斯-塞德尔迭代的收敛性,用反证法,若不收敛,那么,由定理 2.1 中的结论(1)知高斯-塞德尔迭代法的迭代矩阵的谱半径 ,参考矩阵分裂式(2.3) ,于是1)(GB存在 的某一特征值 , ,满足GB1|)det(0GItULDI t)(1由于 ,因此et. (2.20)0)(de另一方面,考虑矩阵 .)( 1,21 ,12 1,121 nnnn nnaaULDi)当 A 为按行严格对角占优时,由假定 即得|,于是矩阵 ijjijjnijjijijiaa 1111 |为行严格对角占优,再由引理 2.1 知它为非奇异矩
24、阵,与式(2.20)矛盾,)(ULD从而谱半径 ;(GBii)当 A 为按行弱对角占优且为不可约矩阵时,由类似于 i)的推导可得矩阵为按行弱对角占优且为不可约矩阵,再由引理 2.1 知它为非奇异矩阵,与)(式(2.20)矛盾,从而谱半径 。1)(GB由 i) 、ii)及定理 2.1 即得高斯-塞德尔迭代收敛。类似地,当 A 为按行严格对角占优或按行弱对角占优且为不可约矩阵时,可以证明雅可比迭代法的迭代矩阵的谱半径 ,从而雅可比迭代收敛。)(J(2)若 A 对称正定,于是高斯 -塞德尔迭代的迭代矩阵为TGLDULB11)()(设 为 的任一特征值, 为其对应的特征向量,即GBnRz0,zT1这里
25、 和 z 分别可能是复特征值和复特征向量。设 为 z 的转置复共轭向量,于是由上H式得到,LzT)(设 ,于是0,DziLHH(2.21).)(izzH另一方面,由 A 对称正定得.20LDAH由上式、式(2.21)以及 可以得到.1)()(| 2222 即 ,从而谱半径 ,所以高斯-塞德尔迭代收敛。1|1GB(3)由 A 对称正定,于是 对称,并有完全标准正交特征向量系,不212)(DA妨设为 ,其对应的 n 个特征值 为实数,并有nky1 Rk.,)(2121kllTk kyy设 ,并由简单计算得kkyDz21. ,)(21211kllTk kkkJz zyDyADB从而, 构成 的完全特
26、征向量系, 为其对应的所有特征值。nkz1J nk1若雅可比迭代收敛,那么由定理 2.1 知谱半径 ,于是对 ,有)(JBn,21lTklTk zAzz )2( kllD所以,对任意的 ,有 ,并且nRnkc1lk nkklTlT czzzADz, 12,0)()2()2( 即 对称正定。)2(反之,若 对称正定,设 为 的任一特征值,其对应的特征向量为 ,即JBz. (2.22)zADzJ)(1设 , ,于是由式(2.22)得到0zTT)(.zT又因 ,A 对称正定,即有D2.)(0,)2zDAzT由上式可得 ,从而 ,因此|.1|于是谱半径 ,所以雅可比迭代收敛。1)(JB定理 2.3 若
27、 SOR 迭代收敛,则松弛因子满足 。)2,0(证明 设 SOR 方法的迭代矩阵为 , 为 的 n 个特征值,于是SBn,21 SB|det|)(21nnS= |)()det(1UDLt| |tn.|)(|n从而.1)(|1|SB所以 20定理 2.4 对线性代数方程组 ,bAx(1)若 A 为对称正定矩阵,则当 时,SOR 迭代收敛;(2)若 A 为按行(或按列)严格对角占优矩阵,则当 时,SOR 迭代收敛。10证明 (1)考虑 SOR 迭代矩阵 ).)1()(UDLBS由 A 对称正定知 ,于是TLU.TL设 为 的任一特征值, 为对应的特征向量,即SB0z ,)()1()( zzDHT设
28、 ,于是,iLzHH zLDzH)()1i,)(其模的平方为(2.23).)()(| 22另一方面,由简单计算知 .0 zLDzLAzTHH由上式及 、 得2.0)2()()( 22 所以,由上式和式(2.23)可得 ,即 ,从而谱半径 ,根据定理1| 1SB2.1 知 SOR 迭代收敛。(2)我们仅对 A 为按行严格对角占优矩阵时证明定理结果,按列情况的证明也可类似进行。用反证法,若不收敛,则 SOR 迭代法的迭代矩阵的谱半径 ,于是存在)(S的某一特征值 , ,满足SB1|)det(0SI)( UDL.)(dett1D由于 ,因此0)(. (2.24)0)1L设 ,由 , 可以得到i|)(
29、|1| 22222 1)(),0于是 .|1|由上式,A 严格对角占优以及 ,可以推出矩阵|)(ULDC中的元素满足 |1| ii ac|nijjijij11|ijijijija|.nijjc1|即矩阵 严格对角占优,其行列式非零,与式(2.24)矛盾,从)1(ULD而 ,即 SOR 迭代收敛。)SB定理 2.5 对线性代数方程组 ,若 A 为对称正定矩阵,则当 时,bx 20SSOR 迭代收敛。证明:考虑 SSOR 迭代矩阵 11LDBSU1由于 A 为对称正定矩阵,于是 ,取LUT,UDW21,21121 LLP可以计算得到 21121 DDBS ,2121 LTTTP).()()( 11
30、1WAWBITS从而 , 都为对称正定矩阵,因此 ,即 SSOR 迭代收敛。SBSIS2.5 共轭梯度法在本节中,我们将对线性代数方程组 ,bAx当矩阵 为对称正定时,引进一种迭代方法共轭梯度法,并讨论基于这种方法nRA发展起来的一类加速方法预条件共轭梯度法。算法 2.5 给定的对称正定矩阵 ,求解线性代数方程组 的共轭梯度法。nRbAx选定初值 ,设 ,对 ,计算nx)0( 0)0()( xbdr,21k, (其中 ) ;kkax1 ),(kdr;Ar, (其中 )kkdd1 ),(1kkr其中, 为 中的内积,即 。) ,(nRyxT),(引理 2.4 在算法 2.5 中,如果对 , 均不
31、为零,则1nkr,10亦不为零,从而 与 都不为零,并且kd,10 k,10 1,k, , , .),(jir),(jidr)(jiAdij证明 用归纳法证明,当 时,由算法 2.5 知, 00101 r)(,), 000rdAdr= 0, .(),(11于是即 ,又 ,,0),(),(,(),( 20101011 drdrrd100rd从而 和 都不为零,并有0 )(,),( 100101 rA,),(0r= 0.假设当 时结论成立,那么,当 时,对 ,由算法 2.5mk1mk1,2mj可得,0),(),(),( 111 jjjmj dArr,)d而且 ),(),(),(1 mmrrr),
32、1mdAd= 00),(),( 111 mmmrdr于是 ), mdr,()(21r,0而且 ),(1mAd ),(mAdr ),(, 111 mmAdrr,),(),(),(mrd= 0.引理 2.4 得证。若用算法 2.5 计算线性代数方程组 ,其中 是对称正定矩阵,我们有下bAxnR列结论:定理 2.6 设 为对称正定矩阵,假定 为采用算法 2.5 计算线性代数方程组nRAk时产生的迭代序列,并取bAx ,)(minaxAk它为矩阵 A 的条件数 ,那么)(2Cond(1)用不超过 n 次的算法 2.5 的迭代(如果计算是精确的)就可求得精确解;(2)对于每步的迭代值 ,有如下的误差估计
33、:kx,AkAx*0*1其中, 为方程组 的精确解,范数 。*xbAx),(xA证明 (1)由算法 2.5 知 .)( 111 jjjjj rdx于是.kj kj kjjjjkx1100 )()从而.kkk AxbxAr)(00显然,如果对 ,有 ,那么, 为方程组的精确解,否则,如果n,由引理 2.4 知,这 n 个向量正交,从而构成 中的一组墓,再由)10(krk nR引理 2.4 可得,对 ,成立,2j ,0),()(11jnnjn rdr而且 ,(),( 111nnAdrr)(), 2nn= 0.即 与 正交,从而 ,于是 为方程组 的精确解。n0(k0rAxbnxbAx(2) (留作
34、习题) 。由定理 2.6 可知,当 为病态方程组时, 很大,算法 2.5 收敛缓慢。因此,x)(k希望能找到一个适合下钱两个条件的对称正定矩阵 M:1)方程组 容易求解;rMh2)设 ( 为非奇异矩阵) ,矩阵WTnR11)(AWT的条件数 。)(Ak于是,求解方程组 就等价于求解方程组bx(2.25),bx这里, , ,11)(T bT)(1假定再采用共轭梯度法计算式(2.25):选定初值 ,设 ,nR)0( 0)0( xAdr对 ,计算,21k, (其中 ) ;kkdx1),(kkAd;kAr, (其中 )kd1 ),(1kkr取, , , ,kkxWkTrkdW1kMh1, ,),(kA
35、dh),(kr并代入前面的计算公式,即得预条件共轭梯度法的计算过程。算法 2.6 给定的对称正定矩阵 ,求解线性代数方程组 的预条件共轭nRAbAx梯度法。选定初值 ,设 ,求解 , ,对 ,nRx)0( 0)0(xbr)0()(rhM0hd,21k计算, (其中 ) ;kkd1 ),(kkdA;kAr求解: ;1khM, (其中 ) 。kdd1 ),(1kkrh在算法 2.6 中,每步迭代都需要解一个线性代数方程组 ,再由定理 2.6 知,算法M2.6 的收敛率为 ,)(minaxAk因此,选取 M 的好坏将直接影响到算法的计算速度和收敛速度,并称 M 为 A 的预条件矩阵。下面我们介绍对称
36、正定矩阵 的几种预条件矩阵 M 的选取方法:R(1)当选取 21 ,DWM那么,预条件共轭梯度法就是雅可比 加速方法;cg(2)当选取,UL121,21)()这里, ,预条件共轭梯度法就是 SSOR-cg 加速方法;20(3)设 A 有不完全三角分解(即不完全乔列斯基分解),RLDAT且 保持 A 的稀疏性, 元素为正,如果选取 ,那么,预条件共轭梯度法就LTM是不完全乔列斯基分解的 cg 加速方法(Iccg) 。习 题 21. 用迭代法求解线代数方程组.2513054813x(1)分别写出雅可比迭代、高斯-塞德尔迭代、SOR 迭代(取 )和 SSOR 迭35.1代(取 )的计算式;35.(2
37、)对任意初值,迭代式是否收敛?为什么?2. 设线性代数方程组,bAx讨论(1) , (2)3201A12时用雅可比迭代、高斯-塞德尔迭代求解的收敛性。3. 对于线代数方程组(1) ;2860143xy(2) ,1讨论用高斯-塞德尔迭代法求解时的收敛性,并说明高斯 -塞德尔迭代法的收敛情况可能由方程组中方程或未知元的改变而改变。4. 用雅可比迭代法、高斯-塞德尔迭代法求解下列线性代数方程组(如果可能) ,且比较收敛速度,要求当 时迭代终止。01.2)()1(kkx(1) ;256310824x(2) ;679023(3) ;6205410014115321xx(4)试重排方程组(1) ,再解之,
38、以改善结果。5. 用 SOR 迭代法和 SSOR 迭代法求解下列线代数方程组(分别取).,.,3.,3411042x要求当 时迭代终止,其中精确解 ,并对每个6)(*5kx T)5.0,.(*值确定迭代次数。6. 设线性代数方程组 ,其中 为对称正定阵(且设 A 的特征值满足:bAxnR) ,又设有迭代法)(0,),10( )()()1( kAxkk证明:当 时,上述迭代法收敛。27. 试证矩阵 1A对于 时是正定的,当 时,用雅可比迭代法求解 是收15.05.0. bAx敛的。8. 用共轭梯度法、雅可比 加速方法和 SSOR-cg 加速方法求解线性代数方程组cg.212410014116531xx9. 证明定理 2.6 中的(2) 。