1、1,6.1 引言 6.2 最小二乘估计法（LS法）的原理 6.3 最小二乘估计的统计特性 6.4 加权最小二乘估计 6.5 最小二乘估计的递推算法 6.6 辅助变量法（IV法） 6.7 广义最小二乘法（GLS法） 6.8 增广最小二乘法（ELS法） 6.9 最小二乘辨识法的比较,第六章 最小二乘法估计系统参数,2,6.1 引言,最小二乘法的提出和应用最早可以追溯到1795年。著名学者高斯在预测行星和彗星的运动轨道时， 提出并实际使用了这个方法。从此，最小二乘法就被用于解决许多技术问题，针对它的各种应用场合提出了相应的数值计算方法。,对于最小二乘法的性质，也曾经多次进行了分析，根据各种特定的要求
2、，对最小二乘法本身也进行了修改，提出了很多种方法，如：,增广最小二乘法 广义最小二乘法 辅助变量法 相关二重法 极大似然法 ,3,在系统辨识和参数估计领域中，最小二乘法已经是这个领域中的一种基本估计方法。最小二乘法可用于动态系统，也可用于静态系统，可用于线性系统，也可用于非线性系统，可用于离线估计，也可用于在线估计。,在随机的环境下利用最小二乘法时，要求观测数据提供出概率统计方面的信息，用这种方法所获得的估计结果，有较好的统计特性。,最小二乘法容易理解和掌握，利用最小二乘法所确定的辨识算法在实施上比较简单，在一些问题用其它辨识方法失效时，用最小二乘法可以提供解决方案，所以它频受人们重视，应用相
3、当广泛。,用最小二乘法解决问题的方式有两种方式，一种是经典的一次完成的批量算法，一种是现代的递推算法。前者在理论研究方面比较方便，后者更适用于计算机在线辨识。,4,6.2 最小二乘估计法（LS法）的原理,为了建立对最小二乘法的整体认识，在此基础上更深入地完整掌握最小二乘法的一般原理，我们通过一个例子引入这个估计的方法。,例：我们希望确定一根金属轴的长度与温度之间的关系。,设：金属轴的长度为y，金属轴的温度为t，希望获得,那么我们的做法是分两步走：,第一步：根据实验观测数据或理论知识寻找一个函数,去拟合这些数据，确定 y 和 t 之间关系的数学模型及模型,结构。,第二步：根据实验观测数据来确定数
4、学函数关系式中（也就是模型,中）的未知参数。,5,对于我们所讨论的问题，假若已经确定了模型的类型和结构，即为：,其中:,为0时轴的长度,为膨胀系数,和,是未知参数，为待估计参数,一般情况下， 如果测量无误差，则取两个不同温度t 下的轴长度测量值 y，即可列出两个方程，从而计算出 a 和 b 。,但是实际上，由于种种原因，我们不可能获得真正的金属轴的长度，而观测到数据中包含了不可观测的随机测量噪声，如第 i 次观测值为 ：,测量值,真值,随机误差,6,为了降低误差的影响，需进行多次测量，即取,温度下的观测数据,来估计出所选模型中的a 和 b。,那么根据什么原则来确定a 和b 呢? 显然希望是由所
5、确定的或者说是估计出来的,计算出的输出值 与测量值 z 之间的误差最小。,每次观测误差为：,如果用所有误差相加来描述总误差，会出现正、负误差抵消，将不可能获得整个观测误差的情况。,如果用绝对值之和来描述总误差，虽然可以获得整个观测误差的情况，但是将来数学处理起来比较麻烦。,7,当然我们希望，将这个函数定义成准则，而且令：,也就是选取 a 和 b ，使每个误差的平方和 J 的值最小。,因此，用每个误差的平方和作为总误差，即：,由于平方运算也称为“二乘”运算，因此，按照这种原则来估计参数 a 和 b 的方法，通常称为“最小二乘估计法”。,8,根据数学分析中寻求极值的原理，要使J 达到极小值，只需要
6、,这样，,和,可由下面方程确定：,9,从而得到,10,上面的例子是最简单的情况，所列的数学模型为两个参数的静态模型。在大多数情况下，影响因素不是一个，可能是多个，需要估计的参数有可能不止一个，两个，可能是多个，而系统特性除了静态模型外，还有动态模型。下面我们来看一下一般情况下的最小二乘估计法的描述。,首先我们看一下对系统的描述方法，也就是说，系统模型的表达方式。,一般我们把被辨识系统看成“黑箱”，也就是只考虑系统的输入输出特性，而不强调系统的内部机理。,11,在这里，“黑箱”的输入 u(k) 和输出 z(k) 是可观测的。, 用来描述系统的输入输出特性，称为系统模型。, 为系统的综合噪声的描述
7、，称为噪声模型。,其中：,12,噪声模型的输出综合的不确定因素,可看成为平稳,的有理函数。,的随机序列，且均值为零，谱密度,所以有：,可看成为白噪声。,不同的辨识方法，选取的模型结构也不太一样，比如说，对于最小二乘估计法，所用的模型是：,对于增广最小二乘估计法，所用的模型是：,对于广义最小二乘法，所用的模型是：,13,假设被辨识系统的数学模型为时不变的单输入单输出的数学模型可以写成：,其中：, 输入变量, 观测输出变量, 方程误差 =1,2,3,N,设 na、nb 已知，通常nanb ，可以设为na=nb=n,若在不同的时刻0,1,2,3,N，对系统进行N次观测，每次得到所有的输入和输出。这些
8、输入和输出的观测数据可由N个线性方程联系起来。,14,=1，2，3.N,如果我们令：,于是这N个方程可写成：,k=1,2,3, ,N,15,更进一步，对于=1,2,3,N 写成向量矩阵的形式，则有：,其中:, N 个输出, 误差向量, 参数向量, 观测向量,16,为了提高参数估计的精度，降低噪声的影响，从统计的观点考虑，观测的总次数N必须大大地超过待定的未知参数的数目2n+1，也就是要求：,这样所出现的情况是，由观测所提供方程式的数目，已经超过了为了确定方程组唯一解所需要的数目。也就是，所提供的方程数据比定解问题所需要的方程数有多余。,另一方面，所提供的这些数据又是带有误差的。因此，这里的问题
9、不再是一般的方程组求定解问题，而是要通过多余的带有误差的数据，尽可能准确地估算出“未知量”的值。,k=1,2，N,17,或写成：, ,其中 eN 为拟合误差或残差：,而残差向量可表示为：,显然，e(k) 一般与(k）不相等。,残差e(k) 包含两方面的误差因素带来的误差：一是参数拟合误差，二是随机干扰噪声。,18,e(k) 的平方和达到最小值，即：,这样，一般我们将这个函数称作准则函数，即取为：,19,对于,是正定的。,20,对于,若使J=min，则有：,21,可判定当,即：,或称最小二乘估计值。,相应的参数估计值，这样的处理问题的方法就称为称为最小二乘估计的,批量算法，或一次完成算法。,.,
10、22,这种算法在理论研究方法有许多方便之处。但在计算方面要碰到矩阵求逆的困难。当矩阵的维数增加时，矩阵求逆的运算量将急剧增加，这会给计算机的计算速度和存储量带来负担，因此有时也可以用高斯消元法直接解。,递推计算的形式，这样便于在线辨识，而且大大的减少了数据储存。节省,了计算机的内存。稍后我们将讨论最小二乘的递推算法。,它的充分必要条件就是系统的输入信号必须是2n 阶持续激励的信号。,23,也就是应具有开环可辨识性条件，它意味着辨识所用的输入信号不能随意选择，否则可能造成不可辨识。,目前常用的信号有：, 随机序列（如：白噪声）；, 伪随机序列（如：M序列或L序列）, 离散序列。通常指对含有几种频
11、率（频率不满足整数倍的关系）的正弦组合信号，进行采样处理，获得离散序列。,24,例1 系统脉冲响应的辨识,设线性系统的输出 z(k) 用输入序列 u(k) 与脉冲响应序列g(i),i=0,1,2,N 的卷积和形式表示，即：,其中:,是系统输出的测量噪声，设为零均值的白噪声。,25,当取 k=1,2,N 时，可写成：,其中:,可得到系统脉冲响应的最小二乘估计值为：,26,6.3 在白噪声假设下，最小二乘参数估计的统计性质,如果 e(k) 为平稳的噪声序列，均值Ee(k)=0，方差Var e(k) =,而且，观测值 u(k) 和 z(k) 也独立，则可得出以下结论:,即：,27,(1) 是0 的无
12、偏估计，即,无偏性是用来衡量估计值是否围绕真值波动，它是估计值的一个重要统计性质。,28,（2） 是渐近正态分布的随机向量，即：当 N 时，,的分布趋近于以真值为均值的正态分布，其方差阵为：,N 中的元素与eN 无关,29,也就是说，随着 N ，曲线越尖。,方差阵 的主对角线元素为系统参数的最小二乘估计 与真值 之间的均方误差，可用来反应估计的精度。,30,(3) 一致性（表明系统具有可辨识性）,如果估计值具有一致性，说明它将以概率1收敛于真值，这是人们最关心的一种统计性质。,可以证明，当噪声额e(k)为白噪声时，最小二乘法参数估计是一,致收敛的，否则， 不可能依概率1收敛于真值。,(4) 有
13、效性,有效性是估计值的另一个重要性质，它意味着估计值偏差的协方差阵将达到最小值。,31,6.4 加权最小二乘法（加权 L.S 估计）,前面讲的是最基本的最小二乘法估计，求 N 次拟合残差的平方和时，认为各次残差平方彼此地位相同，故直接相加，没有什么花样。但是，当各次观察精度不同，以及被识别系统参数有漂移的情况下，应采用加权残差平方和。也就是对于较准确的结果应予以重视，这样可使其对于参数估计的最终结果有更大的影响。,这样，即有：,残差,权，即为信任度。权越大，对最后的影响则越大。,式中，,WN 为加权矩阵， WN =diagw1,w2,w3,wN 0 ，即满足正定的。,32,即：,显然，当所有
14、wk=1 时，wN= IN ，这相当于一般不加权的情况。,这样，加权最小二乘法估计值 可以写作：,33,小结：,对于系统可描述为：,其最小二乘估计值为：,其加权最小二乘估计值为 ：,其中：,为可观测值,34,6.5 LS估计的递推算法,（1）算法提出,前面讲的 LS 批量算法，可以由 N个观测点得到第N点的估计值为 ：,第N+1点的估计值可写为 ：,35,很容易地看出，每多一个观测点，需要重新构造矩阵，重新计算。随着N的增加，会出现下列问题：, 数组 及 的维数随之增大，导致内存溢出。, 运算量 (矩阵乘法运算，特别是还需要求逆) 也随增大，且增得多得多。导致实时性不能满足，(即还没算完，新的
15、要求又提出了)。,解决上述问题的办法是采用改进递推算法，解决加权矩阵 W 如何选择问题。,对于慢时变参数的系统，可采用渐消记忆法（即对新的数据更加重,视，而对老数据逐渐退出影响，来实现加权）。也就是选择遗忘因子满,足： ，构成指数加权矩阵。,36,例如：新的数据加权为1，则前一个为 ，再往前为,0 1 -称为遗忘因子,这是指数加权法，即：WN=diag ,37,（2）算法推导,即：从新增加的观测点获得修改量，该修改量占内存量应不太大，由此推出 ZN+1 与 ZN 的关系。,递推算法的基本思想可以概括成：,38,39,令,40,则有,乘,有矩阵公式：,41,是标量，定义为,其中：,即有：,又有：
16、,42,43,44,则, , , ,45,预报输出值：,预报误差为：,由于这是在每一步的计算中只需要保存上一步的估计结果 和PN+1 ，,再利用观测新值ZN+1和,识有特别重要的意义）。,46,如果系统参数确实是不变的。则当迭代过程进行到相邻两组参数估,实际上，在应用上述算法时，为使迭代运算启动，必须先设法给出,47,可以有两种方法：,方法一：即先以离线方式求出 和 PN0,这时需要采用N0+n个输入、输出、观测值u(k)和z(k)，k = 1-n，2-n,N,由式子:,在线控制计算机。,48,方法二:,a. 预设初值为:,b. 利用递推算法获得初步的参数估计 和P值。,c. 每获得一组观测值
17、就可以利用式求得 ， 以此递推。,达到满意的结果。,49,50,这种给定初值的方法避免了求逆运算，因而特别适用于小型和微型计算机中。,踪真值变化的能力都有很大影响。（01，通常不小于0）。,51,在前面我们讨论过，普通最小二乘法估计参数 的无偏性是在利用了方程误差 (k) 是与输入观测序列 u(k) 和输出观测序列 y(k) 独立的零均值白噪声序列。这一基本假设前提下总结出的性质。,但是，实际上这个假设是不成立的，也就是方程误差 (k) 不可能为白噪声，而是有色噪声序列。在这种条件下，普通最小二乘法估计的参数实际上是具有有偏性。,针对于最小二乘法对于有色噪声不能给出无偏一致估计，提出了一些改进
18、方法，如：辅助变量法、广义最小二乘法、增广最小二乘法、相关二步法等等。而这每一种改造的辨识方法都对应某种特点的噪声模型结构。,52,小结最小二乘法递推算法：, 迭代启动,首先给出初值 和,方法一：取观测 N0+n 个点，用批量算法计算出,其中 N02n，适合于n 较小的时候。,方法二：设置初值为：,（E充分小的实向量）,（c为充分大的数，可接近计算机允许的最大值）,53,下面，我们就讨论其中几种改进的最小二乘法。, , , , 再取观测值，计算，.，直到 和 相差足够小为止。, 获得一组新的观测数据，即可计算出 和 PN+1,54,6.6 辅助变量法（IV法_ Instrumentationa
19、l Variable ）,对于 SISO 系统其数学模型可描述为：,其中：,是零均值的有色噪声。,且,假设：,和 为模型阶次，是已知的。,55,由于e(k) 是有色噪声，直接利用最小二乘法是不能获得模型参数的无偏一致估计的。这时可以用辅助变量法来获得无偏估计。,首先回忆一下各参数阵的定义：,56,或,由普通最小二乘法获得参数估计,模型：,转化成最小二乘格式：,57,如下图所示:,此时,其中,58,不相关,则得到一个新的估计：,59,因为不相关,60,具有渐近无偏性，这样可满足：,61,如果把辅助模型看成自适应滤波器时，辅助变量 x(k) 一般可取:,式中：,和,或,这样一般需要用最小二乘法先递
20、推若干步，获初步的参数估计值,，再作辅助变量法。,表示k时刻的辅助变量 参数估计值, 可由地推 算法给出,62,纯滞后,当辅助模型为纯滞后环节时，辅助变量可取作,如果噪声 e(k) 可以看成,则辅助变量可取作,即就是,63,与普通最小二乘法情况类似，可以导出参数估计的辅助变量法的递推公式：,式中,其中,64,这样，辅助模型可以看成是一个自适应滤波器，而,相当于对参数估计值序列,进行低通滤波，其目的是消除,观测噪声对于 的高频随机干扰影响。,(而不是直接用 按 求出 X(N) 也就与 e(k),滤波后的序列 可以认为与 e(k) 基本上不相关，然后用,几乎不相关了。,65,递推计算时的初值问题有
21、以下解决方法：,(2) 用普通最小二乘递推算法起动，待N0=50100（一般50步）后，再换接到辅助变量法，并以最小二乘法最后一步得 和 P 作其初值。,(1) 预设,66,6.7 广义最小二乘法（GLS法）,设 SISO 系统采用如下的数学模型描述：,其中： u(k) 和 z(k) 表示系统的输入、输出；v(k) 是均值为零的不相关随机噪声。,且,67,式中，,假设：na，nb，nc已知，将 式两边同时乘以 C(z-1) ，即得：,这样，,68,将模型写成最小二乘格式：,其中，v(k) 是白噪声，所以利用最小二乘法即可得到参数的无偏估计。即：,69,但是，*(k) 中元素u*(k) 和 z*
22、(k) 均与 C(Z-1) 有关，而 C(Z-1),又并不知道。下面需解决的关键问题就是如何用比较简便的方法获得,C(Z-1) 中的参数 C1, C2,Cnc，从而获得 u*(k) 和 y*(k) 。,在这里我们可以采用迭代的方法来估计C(Z-1) ，令,又, 称噪声模型,70, v(k) 为白噪声，所以可以再次利用最小二乘法获得噪声模型的参数e,的无偏估计。但是这里的e(k) 仍然包含着不可测的噪声量 e(k-1) ,其中，当 k0 时，,当 k0 时，,而, ，e(k-nc ) 。可以用相应的估计值代替。即：,71,这样，广义最小二乘递推算法(RGLS)可归纳成：,72,广义最小二乘递推算
23、法是一种迭代的算法，计算步骤为:,(2) 由,获得 z*(k) ，u*(k),(1) 给定初始条件,73,(4) 由(A)、(B)、(C) 式递推计算出,(5),从而得到,(6) 由(D)、(E)、(F) 三个式子 递推计算出,(7) 返回第(2)步进行迭代计算，直到获得满意的辨识结果，直到 与,相差足够小。,(3) 由,74,对采集数据先进行一次滤波预处理，然后利用普通最小二乘法对滤波后的数据进行辨识。,广义最小二法乘的基本思想是:,如果滤波模型选择的合适，对数据进行了较好的白色化处理。那么可直接利用普通最小二乘法获得无偏一致估计。,75,6.8 增广最小二乘法（ELS法_Extanded
24、LS ）,设 SISO 系统采用如下数学模型描述,其中，,z(k)，u(k) 为系统的输出和输入；,v(k) 是均值为零的不相关随机噪声。,且,76,假设 模型阶次 na，nb，nc 已经确定，在这种情况下，这类问题的,同样令：,若将上述模型写成最小二乘格式：,辨识可用增广最小二乘法，可以获得满意的结果。,77,由于 v(k) 是白噪声，同样可以利用最小二乘法获得参数 的无偏 估计。同样有一个问题就是在 中包含着不可测的噪声量 v(k-1), v(k-1), , v(k-1)，它可用相应的估计值代替，即:,其中：,，,，,78,这样，可以得到增广最小二乘递推算法（简称RELS）,从这可以看出，
25、增广最小二乘法，只是最小二乘法的一种简单推广，它是扩充参数向量 和数据向量 (k) 的维数，把噪声模型的辨识同时考虑进去了，因而称为增广最小二乘法。,79,6.9 最小二乘辨识方法的比较,比较各种最小二乘辨识方法一般从辨识精度、收敛性质、计算量、所需先验知识等方面考虑。,辨识方法,性能,最小二乘法 （LS法）,80,辨识方法,性能,广义最小二乘法 （GLS法）,当噪声比较小时，辨识精度较高； 当噪声比较大时，收敛点可能不唯一，参数估计值往往是有偏的； 计算量比较大； 数据要充分多，否则辨识精度明显下降； 初始值 和 对辨识结果有较大影响； 噪声模型阶次不宜过高。,辅助变量法 （IV法）,1.
26、辨识效果较好，2. 计算量较小，且收敛速度快;3. 能适应较广的范围的噪声特性；4. 对初值 P(0) 敏感，可用LS法起步，否则没有可靠的收敛性;5. 对数据 u(k) 在 z(k) 的直流分量敏感，对z(k)的直流分量不敏感;6. 辨识精度低于极大似然法，尤其数据精度比较大时。,81,辨识方法,性能,增广最小乘法 （ELS）,1. 一般情况下， ，但噪声模型参数不能估计很准; 参数性能类似LS与IV ; ELS是极大似然法的一种近似形式，当数据长度较小时,辨识精度可能优于极大似然法，但数据长度较大时，精度低于极大似然法。,到此为止，介绍了几种最小二乘法的参数辨识方法，这些方法的递推算法具有一个共同结构即为：新的参数估计值 = 旧的参数估计值 + 增益矩阵*新息在这里需要做第二个实验来验证和探讨最小二乘参数估计法，包括：1. 普通最小二乘法 LS；2. 辅助变量法 IV，3. 增广最小二乘法 ELS。,(完),
