1、第4章 极大似然法辨识,方法特点：(1)无偏估计方法；(2)适用于(k)相关情况；(3)当系统信噪比较小时有较好的估计效果；(4)算法稳定度好；(5)是一种递推算法；(6)实际工程中广泛使用。,辨识准则：以观测值的出现概率最大为准则。,4.1 辨识基本原理,可见，似然函数最直接的取法为：观察值概率分布密度函数的乘积,辨识准则：以观测值的出现概率最大作为准则。,如何构造指标函数？,称为似然函数,因此，使该似然函数为最大时的参数估计值就称为：极大似然参数辨识,简称ML参数辨识方法。,定义似然函数L为：,ML辨识基本原理,设某离散随机过程V(k)与待辨识参数有关。,其分布密度为：,若测得n个独立的观
2、测值,辨识的原则就是使得L达到极大值，即：,通常对L取对数求解，即,lnL取得极大则L取得极大，则有：,由(4.1)或(4.2)解出的即为极大似然估计,(4.1),(4.2),4.2 差分方程的极大似然辨识,1.白噪声情况,式中，(k)为高斯白噪声序列且与u(k)无关。,系统差分方程：,上式写成向量形式为：,系统估计残差为：,设e(k) 方差为,则似然函数L为：,由于(k)为高斯白噪声，故而e(k)也为高斯白噪声。,因为高斯分布概率密度函数：,则依极大似然辨识原理有：,解上述方程有：,可见在(k)为高斯白噪声序列这一特殊情况下，极大似然辨识与一般最小二乘法辨识具有相同结果。,2.有色噪声情况,
3、其向量形式为：,式中：,预测误差e(k)为：,系统差分方程：,因为(k)为高斯白噪声，故而e(k)可假设为零均值的高斯白噪声。则似然函数L为：,由,记,讨论：y(k)出现的概率最大，亦即J达到极小值。即使对概率密度不作任何假设，使J极小也是极有意义的。因此，ML估计就变成了如何求取J极小的算法。可见，使L为最大的估计值，等价于使J为极小的估计值。,式中：,称为J的梯度矩阵,称为J的海赛矩阵,求J的极小值问题只能采用循环迭代方法。 常用的迭代算法有：拉格朗日乘子法和牛顿-拉卜森法。,牛顿-拉卜森法的迭代公式：,注意：上式中J的梯度矩阵和海赛矩阵，依不同辨识对象，需进行详细推导，推导出矩阵中每个元
4、素的具体表达式。推导时要非常仔细。,Newton-Raphson迭代计算步骤,(1) 初始值的选定,(2) 计算预测误差(残差)及J值,指标函数J值：,预测误差：,误差方差估计值：,(3)计算梯度矩阵及海赛矩阵,当估值比较接近真值时，e(k)接近于0，后一项可忽略，则海赛矩阵为：,(4) 按牛顿-拉卜森迭代公式计算新的估计值,(5) 计算残差方差比,则终止迭代。,返回(2)进行循环迭代，若：,的解算,则各参数的偏导数如下：,上式均为差分方程，其初始条件均为零。通过求解上述差分方程，可得到e(k)对各参数的全部偏导数。,4.3 递推极大似然法,递推ML算法的特点：,按不同的估计方法，可得不同的递
5、推极大似然算法。 常用的有按牛顿-拉卜森法、二次型函数逼近法的递推ML算法。,(1)其性能介于递推广义最小二乘法与离线ML法之间；(2)收敛性好，以概率1收敛于局部极小值；(3)在高噪声时，采用递推ML效果好。,递推极大似然法由同学们自学。,目的：随时间t变化而变化，估计,第5章 时变参数辨识方法,卡尔曼滤波法：采用卡尔曼预测公式估算。,方法：仍为老方法，只是更加强调新数据作用。,矩形窗法： 只取后N个数据，前面全抛弃。,本章自学,指数窗法：,第6章 多输入多输出系统的辨识,主要方法有：,本章自学,MIMO的最小二乘辨识,MIMO的极大似然辨识,第7章 随机时序列模型的建立,本章自学,观点：无
6、“因”有“果”模型的辨识，即只有输出而无输入模型的建立及辨识。,上述知识在随机过程课程讲述。,主要随机模型：回归模型、自回归模型、移动平均模型、自回归移动平均模型,第8章 系统结构辨识,目的：确定系统模型阶次n。,常用的定阶方法有以下六种：,(1)按残差方差定阶 (2) AIC准则 (3)按残差白色定阶 (4)零点极点消去检验定阶 (5)利用行列式比定阶 (6)利用Hankel矩阵定阶,重点掌握前三种定阶方法。,8.1 按残差方差定阶,定阶原理：,(1)按估计误差方差最小定阶 (2)F检验法,该方法可细分为两种方法：,实际工程中采用F检验法。,计算不同阶次n辨识结果的估计误差方差，按估计误差方
7、差最小或最显著变化原则来确定模型阶次n。,指标函数：,向量形式：,LS估计：,残差：,1.按估计误差方差最小定阶,系统差分方程：,依次计算n=1,2,3,时的指标函数Jn，并将其绘制成曲线。,定阶原则：则随着n增大，J值是下降的。若n0为正确的阶次，此时J值所在的点是曲线上最大的拐点，此后J值基本不变化或变化很小。,Jn曲线如下：,依上述原则，上述曲线模型阶次为3。,2.F检验法,选取F变化最大时的n为系统的阶次。,实际工程应用时，在定阶过程中，我们并不是取Jn最小时 n值，作为系统模型的阶次，而是对在n增大过程中，使Jn显著减小的n值感兴趣。,为了避免人为主观判断的影响，引入准则：,依F检验
8、法，系统模型阶次为3。,8.2 AIC信息准则（akaike）,L-是模型的似然函数； P-是模型中的参数个数。,AIC准则定义为：,1.AIC定阶原则,式中：,含义：使L最大时的最小的n值为模型阶次。,定阶原则：AIC最小值所对应的n即为系统阶次。,e(k)为服从正态分布的白噪声, 则似然函数为：,2.AIC计算公式,系统模型：,(1) 白噪声情况,由,选取不同的阶数n1、n2，按上式计算AIC值，其中最小AIC对应的n1、n2值即为系统的阶次。,取：,按AIC准则n1=3、n2=2。,(k)为服从正态分布的白噪声, 经推导可得：,系统模型：,(2) 有色噪声情况,计算不同n1、n2、n3时
9、的AIC值，取最小的AIC值对应的n1、n2、n3值为系统的阶次。,式中：,8.3 按残差白色定阶,定阶原理：若阶次n设计合适，则残差近似为白噪声。因此可利用计算残差e(k)的自相关函数来检查白色性。,自相关函数的计算如下：,由上图可知n=2残差近似为白噪声，则系统阶次为2。,8.4 零点-极点消去检验,则系统的闭环脉冲传函G(z)为：,G(z)中必有零极点可对消。,就可判定阶次的合理性。,定阶原理：,8.5 行列式比定阶,如果输入u(k)为持续激励信号，则有,因此有,也是满秩的，定阶困难。,定义:,8.6 Hankel矩阵定阶,但存在噪声则无上述结论，因此定义指标：,当D达到极大时L值即为系
10、统阶次n。,另一种求D的方法,计算脉冲响应序列的自相关值：,归一化处理：,当D达到极大值时的l值就是系统的阶次n。,第9章 闭环系统的辨识,9.1 闭环辨识的问题,辨识对象：,控制器：,问题：在闭环工作下辨识,方法：直接辨识法和间接辨识法。,特点：闭环系统有的可以辨识，有的不可辨识。因此，闭环辨识存在可辨识性概念。,原因：开环不稳定或该系统是大系统的一部分，不可分割。,为系统脉冲传递函数：,9.2 可辨识性概念,将u(k)=dy(k)代入阵，即,某系统：,结论：闭环系统可辨识性与控制器的结构、阶次和反馈通道的噪声有关。,若系统的反馈通道改为：,或,或,1.直接辨识,9.3 SISO闭环系统的辨
11、识,辨识的计算公式可由LS可得。 我们主要讨论可辨识性条件和闭环辨识的一致性估计。,闭环系统差分方程为：,式中：(k)与s(k)互不相关， P和q分别是反馈通道和前向通道的滞后时间。,可以证明：,(1)当 (k)和s(k)均存在互不相关时，若p0或q0，则LS为一致性和惟一性估计。,(2)当(k)存在且s(k)=0，若q0或p0，则LS为一致性估计。若ncnb-q或ndna-q, 则LS为惟一性估计。,(3)当(k)=0，LS为一致性和惟一性估计。,(4)若(k)为有色噪声，LS不是一致性估计，可用LS的无偏估计法，从而得到一致性估计。当s(k)=0，若ncnb-q或ndna-q, 则LS为惟一性估计。,结论：反馈通路中存在噪声，G(z)是可辨识的。故最好在反馈通道中加入一个持续的激励信号。,2.间接辨识,自学,大 作 业,邮箱： 密码：88888888,要求：闭卷考试时交纸质版一份，同时电子版email至上述邮箱。,
