1、第1 章矩阵与线性方程组矩阵是描述和求解线性方程组最基本和最有用的工具。本章涉及向量和矩阵的基本概念，归纳了向量和矩阵的基本运算。1.1 主要理论与方法1.1.1 矩阵的基本运算一、矩阵与向量a11x1 + a12x2 + + a1nxn = b1a21x1 + a22x2 + + a2nxn = b2.am1x1 + am2x2 + + amnxn = bm9=;(1.1)它使用m个方程描述n个未知量之间的线性关系。这一线性方程组很容易用矩阵|向量形式简记为Ax = b (1.2)式中A =26664a11 a12 a1na21 a22 a2n.am1 am2 amn37775(1.3)称为
2、m n矩阵，是一个按照长方阵列排列的复数或实数集合；而x =26664x1x2.xn37775; b =26664b1b2.bm37775(1.4)分别为n 1向量和m 1向量，是按照列方式排列的复数或实数集合，统称列向量。类似地，按照行方式排列的复数或实数集合称为行向量，例如a = a1; a2; ; an (1.5)是1 n向量。二、矩阵的基本运算1. 共轭转置：若A = aij 是一个m n矩阵，则A的转置记作AT，是一个n m矩阵，定义为ATij = aji；矩阵A的复数共轭A 定义为Aij = aji；复共轭转置记作AH，定义为AH =26664a11 a21 am1a12 a22
3、am2.a1n a2n amn37775(1.6)共轭转置又叫Hermitian伴随、Hermitian转置或Hermitian共轭。满足AH = A的正方复矩阵称为Hermitian矩阵或共轭对称矩阵。2. 矩阵求和：两个mn矩阵A = aij 和B = bij 之和记作A+B，定义为A+Bij =aij + bij。3. 标量与矩阵相乘：令A = aij 是一个m n矩阵，且是一个标量。乘积A是一个m n矩阵，定义为Aij = aij。4. 矩阵与向量相乘：m n矩阵A = aij 与r 1向量x = x1; x2; ; xrT的乘积Ax只有当n = r时才存在，它是一个m 1向量，定义为
4、Axi =n Xj=1aijxj ; i = 1; 2; ;m5. 矩阵与矩阵相乘：m n矩阵A = aij 与r s矩阵B = bij 的乘积AB只有当n =r时才存在，它是一个m s矩阵，定义为ABij =n Xk=1aikbkj ; i = 1; 2; ;m; j = 1; 2; ; s根据定义，容易验证矩阵的加法服从下面的运算规则。 加法交换律(commutative law of addition)：A + B = B + A 加法结合律(associative law of addition)：(A + B) + C = A + (B + C)定理1.1 矩阵的乘积服从下面的运算法
5、则。(1) 乘法结合律(associative law of multiplication): 若A 2 Cmn;B 2 Cnp;C 2Cpq，则A(BC) = (AB)C。(2) 乘法左分配律(left distributive law of multiplication)：若A和B是两个mn 矩阵，且C是一个n p矩阵，则(A + B)C = AC + BC。(3) 乘法右分配律(right distributive law of multiplication)：若A是一个mn 矩阵，并且B和C是两个n p矩阵，则A(B + C) = AB + AC。(4) 若是一个标量，并且A和B是两个
6、m n矩阵，则(A + B) = A + B。6. 逆矩阵：令A是一个nn矩阵，若可以找到一个nn矩阵A1满足AA1 = A1A =I，称矩阵A可逆，并称A1是矩阵A的逆矩阵。下面是共轭、转置、共轭转置和逆矩阵的性质。(1) 矩阵的共轭、转置和共轭转置满足分配律：(A + B) = A + B(A + B)T = AT + BT(A + B)H = AH + BH(2) 矩阵乘积的转置、共轭转置和逆矩阵满足关系式(AB)T = BTAT(AB)H = BHAH(AB)1 = B1A1 (A;B 为可逆的正方矩阵)(3) 共轭、转置和共轭转置等符号均可与求逆符号交换，即有(A)1 = (A1);
7、 (AT)1 = (A1)T; (AH)1 = (A1)H因此，常常分别采用紧凑的数学符号A;AT和AH。(4) 对于任意矩阵A，矩阵B = AHA都是Hermitian 矩阵。若A可逆，则对于Hermitian矩阵B = AHA，有AHBA1 = AHAHAA1 = I。7. 幂等矩阵：矩阵Ann称为幂等矩阵(idempotent matrix)，若A2 = AA = A。8. 对合矩阵：矩阵Ann称为对合矩阵(involutory matrix)，若A2 = AA = I。三、向量的线性无关性与非奇异矩阵1. 向量组线性相关/无关：一组m维向量fu1;u2; ;ung称为线性无关，若方程c
8、1u1 + c2u2 + + cnun = 0只有零解c1 = c2 = = cn = 0。若能够找到一组不全部为零的系数c1; c2; ; cn使得上述方程成立，则称m维向量组fu1;u2; ;ung线性相关。2. 奇异/非奇异矩阵：一个n n矩阵A是非奇异的，当且仅当矩阵方程Ax = 0只有零解x = 0。若A不是非奇异的，则称A 奇异。四、初等行变换与阶梯型矩阵1. 矩阵的初等行变换：令矩阵A 2 Cmn的m个行向量分别为r1; r2; ; rm。下列运算称为矩阵A的初等行运算(elementary row operation)或初等行变换：(1) 互换矩阵的任意两行，如rp $ rq，
9、称为型初等行变换。(2) 一行元素同乘一个非零常数，如rp ! rp，称为型初等行变换。(3) 将第p行元素同乘一个非零常数后，加给第q行，即rp + rq ! rq，称为型初等行变换。2. 阶梯型矩阵：一个m n矩阵称为阶梯型(echelon form)矩阵，若(1) 全部由零组成的所有行都位于矩阵的底部。(2) 每一个非零行的首项元素总是出现在上一个非零行的首项元素的右边。(3) 首项元素下面的同列元素全部为零。1.1.2 向量空间、内积空间与线性映射一、向量空间以向量为元素的集合V 称为向量空间，若加法运算定义为两个向量之间的加法，乘法运算定义为向量与标量域S中的标量之间的乘法，并且对于
10、向量集合V 中的向量x; y;w和标量域S中的标量a1; a2，以下两个闭合性和关于加法及乘法的八个公理(axiom) 也称公设(postulate)或定律(law)满足：闭合性(closure properties)(c1) 若x 2 V 和y 2 V ，则x + y 2 V ，即V 在加法下是闭合的，简称加法的闭合性(closure for addition)；(c2) 若a1是一个标量，y 2 V ，则a1y 2 V ，即V 在标量乘法下是闭合的，简称标量乘法的闭合性(closure for scalar multiplication)。加法的公理(a1) x + y = y + x;
11、8 x; y 2 V ，称为加法的交换律(commutative law for addition)；(a2) x+(y +w) = (x+y)+w; 8 x; y;w 2 V ，称为加法的结合律(associative law foraddition)；(a3) 在V 中存在一个零向量0，使得对于任意向量y 2 V ，恒有y +0 = y (零向量的存在性)；(a4) 给定一个向量y 2 V ，存在另一个向量y 2 V 使得y + (y) = (y) + y = 0 (负向量的存在性)。标量乘法的公理(s1) a(by) = (ab)y对所有向量y和所有标量a; b 成立，称为标量乘法的结合
12、律(associativelaw for scalar multiplication)；(s2) a(x + y) = ax + ay对所有向量x; y 2 V 和标量a 成立，称为标量乘法的分配律(distributive law for scalar multiplication)；(s3) (a + b)y = ay + by对所有向量y和所有标量a; b成立(标量乘法的分配律)；(s4) 1y = y 对所有y 2 V 成立，称为标量乘法的单位律(unity law for scalar multipli-cation)。二、实内积空间实内积空间(real inner product
13、space)是满足下列条件的实向量空间E：对E中每一对向量x; y，存在向量x和y的内积hx; yi 服从以下公理：(1) hx; xi 0; 8 x 6= 0，称为内积的严格正性(strict positivity)或称内积是正定的(positive denite)，并且hx; xi = 0 , x = 0；(2) hx; yi = hy; xi，称为内积的对称性(symmetry)；(3) hx; y + zi = hx; yi + hx; zi; 8 x; y; z；(4) hx; yi = hx; yi对所有实向量x; y及所有实标量成立。三、复内积空间复内积空间(complex in
14、ner product space)是满足下列条件的复向量空间C：对C中每一对向量x; y，存在复向量x和y之间的内积hx; yi 服从以下公理：(1) x 6= 0 ) hx; xi 0，称为内积的严格正性或称内积是正定的；(2) hx; yi = hy; xi，称为内积的共轭对称性(conjugate symmetry)或Hermitian性；(3) hx; y + zi = hx; yi + hx; zi，对所有向量x; y; z成立；(4) hcx; yi = chx; yi对所有复向量x; y 及所有复标量c成立。四、线性映射令V 和W分别是Rm和Rn 的子空间，并且T : V 7!
15、 W是一映射。称T为线性映射或线性变换，若对于v 2 V; w 2 W和所有标量c，映射T满足线性关系式T(v + w) = T(v) + T(w) (1.7)和T(cv) = cT (v) (1.8)1.1.3 随机向量一、随机向量的统计描述1. 均值向量：考查m1随机向量x() = x1(); x2(); ; xm()T。令随机变量xi()的均值Efxi()g = i，则随机向量的数学期望称为均值向量，记作x，定义为x = Efx()g =26664Efx1()g Efx2()g .Efxm()g37775=2666412.m37775(1.9)式(1.9)表明，均值向量的元素是随机向量各
16、个元素的均值。2. 自相关矩阵：随机向量的自相关矩阵定义为Rxdef = Efx()xH()g =26664r11 r12 r1mr21 r22 r2m.rm1 rm2 rmm37775(1.10)式中，rii; i = 1; 2; ;m表示随机变量xi()的自相关函数，定义为riidef = Efjxi()j2g; i = 1; 2; ;m (1.11)而rij表示随机变量xi()和xj()之间的互相关函数，定义为rijdef = Efxi()xj ()g; i; j = 1; 2; ; m; i 6= j (1.12)显然，自相关矩阵是共轭对称的，即为Hermitian矩阵。3. 自协方差
17、矩阵：随机向量x()的自协方差矩阵定义为Cxdef = Efx() xx() xHg =26664c11 c12 c1mc21 c22 c2m.cm1 cm2 cmm37775(1.13)式中，主对角线的元素ciidef = Efjxi() ij2g; i = 1; 2; ;m (1.14)表示随机变量xi()的方差2i ，即cii = 2i ，而非主对角线元素cijdef = Efxi() ixj() j g = Efxi()xj ()g ij = cj i (1.15)表示随机变量xi()和xj()之间的协方差。自协方差矩阵也是Hermitian矩阵。随机向量间的互相关矩阵与互协方差矩阵很
18、容易由自相关矩阵与自协方差矩阵推广得到。4. 统计不相关：两个随机向量x()与y()统计不相关，若它们的互协方差矩阵等于零矩阵，即Cxy = O。5. 正交：两个随机向量x()和y()称为正交，若它们的互相关矩阵为零矩阵，即Rxy = Efx()yH()g = O (1.16)二、正态随机向量若随机向量x() = x1(); x2(); ; xm()T的各分量为联合正态分布的随机变量，则称x()为正态随机向量。1.1.4 内积与范数一、向量的内积与范数1. 常数向量的内积与范数(1) 内积：两个m 1维常数向量x = x1; x2; ; xmT 和y = y1; y2; ; ymT的内积(或叫
19、点积)定义为hx; yi = xHy =m Xi=1xi yi (1.17)(2) 范数：(a) l1范数kxk1def =m Xi=1jxij = jx1j + jx2j + + jxmj (1.18)上述范数有时也叫和范数或1范数。(b) l2范数kxk2 = (jx1j2 + jx2j2 + + jxmj2)1=2 (1.19)这一范数常称Euclidean范数，有时也称Frobenius范数。(c) l1范数kxk1 = max(jx1j; jx2j; ; jxmj) (1.20)也称无穷范数或极大范数。(d) lp范数kxkp = m Xi=1jxijp!1=p; p 1 (1.21
20、)lp范数也叫Holder范数20。2. 随机向量的内积与范数(1) 内积：若x()和y() 分别是样本变量的随机向量，则它们的内积定义为hx(); y()i def = EfxH()y()g (1.22)其中，样本变量可以是时间t、圆频率f、角频率!和空间变量s等。(2) 范数：随机向量x()的范数定义为kx()k2 def = EfxH()x()g (1.23)二、矩阵的范数1. Frobenius范数kAkFdef =0m Xi=1n Xj=1jaij j21A1=2(1.24)这一定义可以视为向量的Euclidean范数对按照矩阵各行排列长向量x = a11; ; a1n; a21;
21、; a2n; ; am1; ; amnT的推广。矩阵的Frobenius范数也被称为Euclidean范数、Schur范数、Hilbert-Schmidt范数或者l2范数。2. lp范数kAkpdef = maxx6=0kAxkpkxkp(1.25)式中，kxkp是向量x的lp范数，由式(1.21)定义。lp范数也称为Minkowski p 范数，或者简称p范数。3. 行和范数(row-sum norm)kAkrow = max16i6m8 0; 8 x 6= 0；半正定矩阵，若二次型xHAx 0; 8 x 6= 0 (也称非负定的)；负定矩阵，若二次型xHAx 0。(b) 若A;B均为m n
22、矩阵，则tr(ATB)2 6 tr(ATA)tr(BTB) (Cauchy-Schwartz不等式)tr(ATB)2 6 tr(ATABTB)tr(ATB)2 6 tr(AATBBT)(c) Schur不等式：tr(A2) 6 tr(ATA)。(d) tr(A + B)(A + B)T 6 2tr(AAT) + tr(BBT)。(e) 若A和B为m m对称矩阵，则tr(AB) 6 12 tr(A2 + B2)。三、行列式1. 定义：一个n n正方矩阵A的行列式记作det(A)或jAjdet(A) = jAj =a11 a12 a1na21 a22 a2n. an1an2ann(1.35)若A = fag 2 C11，则它的行列式由det(A) = a给出。2. 性质：(1) 关于行列式的等式关系27(a) 如果矩阵的两行(或列)互换位置，则行列式数值保持不变，但符号改变。(b) 若矩阵的某行(或列)是其他行(或列)的线性组合，则det(A) = 0。特别地，若某行(或列)与另一行(或列) 成正比或相等，或者某行(或列)的元素均等于零，则det(A) = 0。(c) 任何一个正方矩阵A和它的转置矩阵AT具有相同的行列式，即det(A) = det(AT) (1.36)但det(AH) = det(AT)。(d) 单位矩阵的行列式等于1，即det(I) = 1。
