1、This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr oco
2、ntroler and DS18B20 t emperature sensor. 1 6.1 引言 6.2 最小二乘估计法（ LS法）的原理 6.3 最小二乘估计的统计特性 6.4 加权最小二乘估计 6.5 最小二乘估计的递推算法 6.6 辅助变量法（ IV法） 6.7 广义最小二乘法（ GLS法） 6.8 增广最小二乘法（ ELS法） 6.9 最小二乘辨识法的比较 第六章 最小二乘法估计系统参数 This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes
3、 the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 2 6.1 引言 最小二乘法的提出和应用最早可以追溯到 1795年 。著名学者高斯 在预测行星和彗星的运动轨道时，
4、提出并实际使用了这个方法。从此，最小二乘法就被用于解决许多技术问题，针对它的各种应用场合提出了相应的数值计算方法。 对于最小二乘法的性质，也曾经多次进行了分析，根据各种特定的要求，对最小二乘法本身也进行了修改，提出了很多种方法，如： 增广最小二乘法 广义最小二乘法 辅助变量法 相关二重法 极大似然法 This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and co
5、nt rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 3 在系统辨识和参数估计领域中，最小二乘法已经是这个领域中的一种基本估计方法。最小二乘法可用于 动态系统 ，也可用于 静态系统 ，可用于 线性系统 ，也可用于 非线性系统 ，可用于 离线 估计，也可用于 在线 估计。
6、 在随机的环境下利用最小二乘法时，要求观测数据提供出概率统计方面的信息，用这种方法所获得的估计结果，有较好的统计特性。 最小二乘法容易理解和掌握，利用最小二乘法所确定的辨识算法在实施上比较简单，在一些问题用其它辨识方法失效时，用最小二乘法可以提供解决方案，所以它频受人们重视，应用相当广泛。 用最小二乘法解决问题的方式有 两种方式 ，一种是经典的一次完成的 批量算法 ，一种是现代的 递推算法 。前者在理论研究方面比较方便，后者更适用于计算机在线辨识。 This paper mainly int roduces the design of an inteligent emperature cont
7、 rol system which realizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 4 6.2 最小二乘估计法（ LS法）的原理 为了建立对最小二乘
8、法的整体认识，在此基础上更深入地完整掌握最小二乘法的一般原理，我们通过一个例子引入这个估计的方法。 例 ：我们希望确定一根金属轴的长度与温度之间的关系。 设：金属轴的长度为 y，金属轴的温度为 t，希望获得 ()y f t那么我们的做法是分两步走： 第一步： 根据实验观测数据或理论知识寻找一个函数 ()y f t去拟合这些数据，确定 y 和 t 之间关系的数学模型及模型 结 构。 第二步： 根据实验观测数据来确定数学函数关系式中（也就是模型 中）的未知参数。 This paper mainly int roduces the design of an inteligent emperature
9、 cont rol system which realizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 5 对于我们所讨论的问题，假若已经确定了模型的类型和结
10、构，即为： y a btaba b其中 : 为 0 时轴的长度 为膨胀系数 和 是未知参数，为待估计参数 一般情况下， 如果测量无误差，则取两个不同温度 t 下的轴长度测量值 y，即可列出两个方程，从而计算出 a 和 b 。 但是实际上，由于种种原因，我们不可能获得真正的金属轴的长度，而观测到数据中包含了不可观测的随机测量噪声，如第 i 次观测值为 ： i i i i iZ y a bt 测量值 真值 随机误差 This paper mainly int roduces the design of an inteligent emperature cont rol system which r
11、ealizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 6 12, , , Nt t t为了降低误差的影响，需进行多次测量，即取 温度下的观测数据 来估计出所
12、选模型中的 a 和 b。 12, , , Nz z z,ab那么根据什么原则来确定 a 和 b 呢 ? 显然希望是由所确定的或者说是估计出来的 计算出的输出值 与测量值 z 之间的误差最小。 每次观测误差为： ()i i i i iz y z a bt 如果用所有误差相加来描述总误差，会出现正、负误差抵消，将不可能获得整个观测误差的情况。 如果用绝对值之和来描述总误差，虽然可以获得整个观测误差的情况，但是将来数学处理起来比较麻烦。 yThis paper mainly int roduces the design of an inteligent emperature cont rol sys
13、tem which realizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 7 当然我们希望，将这个函数定义成准则，而且令： m inJJ 也就是选取 a
14、和 b ，使每个误差的平方和 J 的值最小 。 因此，用每个误差的平方和作为总误差，即： 2211 ( )NNi i iiiJ z a b t 由于平方运算也称为“二乘”运算，因此，按照这种原则来估计参数 a 和 b 的方法，通常称为“ 最小二乘估计法 ”。 This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using singl
15、e bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 8 根据数学分析中 寻求极值 的原理，要使 J 达到极小值，只需要 , 1| 2 ( ) 0Niia a b biJ z a b ta 2, 1| 2 ( ) 0N i i i ib ba a iJ z t at btb ab NiiNii zNatb112
16、1 1 1N N Ni i i ii i ib t a t z t 这样， 和 可由下面方程确定： This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The co
17、re component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 9 21 1 1 12211N N N Ni i i i ii i t iNNiiiit z t t zaN t t 1 1 12211N N Ni i i ii i iNNiiiiN t z t zbN t t 从而得到 This paper mainly int roduces the design of an inteligent emperature cont rol system which realiz
18、es the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 10 上面的例子是最简单的情况，所列的数学模型为两个参数的静态模型。在大多数情况下，影响因素不是一个，可能是多个
19、，需要估计的参数有可能不止一个，两个，可能是多个，而系统特性除了静态模型外，还有动态模型。下面我们来看一下一般情况下的最小二乘估计法的描述。 首先我们看一下对系统的描述方法，也就是说，系统模型的表达方式。 一般我们把被辨识系统看成“ 黑箱 ”，也就是只考虑系统的输入输出特性，而不强调系统的内部机理。 This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and co
20、nt rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 11 在这里，“黑箱”的输入 u(k) 和输出 z(k) 是可观测的。 )( 1zG)( 1zN 用来描述系统的输入输出特性，称为系统模型。 为系统的综合噪声的描述，称为噪声模型。 1 1 212( ) 1 nnAz
21、 az az az 1 1 212() nnBz bz bz bz 1 1 212( ) 1 nnCz cz cz cz 1 1 212( ) 1 nnDz dz dz dz 其中： 111()()()BzGzAz111()()()DzNzCzThis paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using single bus di
22、git al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 12 )(ek cos噪声模型的输出 综合的不确定因素 可看成为 平稳 的有理函数。 的随机序列，且均值为零，谱密度 1e( ) ( ) ( )k N z k所以有： )(k 可看成为白噪声。 不同的辨识方法，选取的模型结构也不太一样，比如说，对于最小二乘估计法，所用的模型
23、是： 11( ) z( ) ( ) ( ) ( )Az k Bz uk vk 对于增广最小二乘估计法，所用的模型是： 对于广义最小二乘法，所用的模型是： 1 1 1() z( ) () ( ) () ( )Az k Bz uk Dz vk 1111( ) z( ) ( ) ( ) ( )()A z k B z uk vkCz This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measu
24、rement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 13 假设被辨识系统的数学模型为时不变的单输入单输出的数学模型可以写成： ( ) ( ) ( ) ( )10abnnk k i k i kiiiiZ a z b u ()ku()kz()k其
25、中： 输入变量 观测输出变量 方程误差 =1,2,3,N an设 na、 nb 已知，通常 nanb ，可以设为 na=nb=n 若在不同的时刻 0,1,2,3,N ，对系统进行 N次观测，每次得到所有的输入和输出。这些输入和输出的观测数据可由 N个线性方程联系起来。 This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using
26、single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 14 12( ) ( 1) ( 2) ( ). nk k k k nz az az az 01 ( ) ( 1) ( ) ( ). nk k k n kbu bu bu =1， 2， 3.N 如果我们令： ( 1), (2 ), ( ), (),
27、( 1), ( )Tk k k k n k k k nz z z uu u 1 2 0 1, , , , , , , ,Tnnaa ab b b 于是这 N个方程可写成： ( ) ( )kkkz k=1,2,3, ,N This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using single bus digit al tempe
28、rature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 15 更进一步，对于 =1,2,3,N 写成向量矩阵的形式，则有： N N NZ 其中 : (1), (2), , ( )N NZ z z z (1), (2), ( )N N (0) (1) (1 ) (1) (1 )(1) (2) (2 ) (2) (2 )( 1) ( 2) ( ) ( )
29、( )Nz z z n u u nz z z n u u nz N z N z N n u N u N n 1 2 0 1, , , , , , , ,Tnnaa ab b b 1N N 个输出 误差向量 参数向量 (2 1)Nn21nNN 观测向量 This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using single bu
30、s digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 16 为了提高参数估计的精度，降低噪声的影响，从统计的观点考虑，观测的总次数 N必须大大地超过待定的未知参数的数目 2n+1，也就是要求： 21Nn 这样所出现的情况是，由观测所提供方程式的数目，已经超过了为了确定方程组唯一解所需要的数目。也就是，所提供的方程数据比
31、定解问题所需要的方程数有 多余 。 另一方面，所提供的这些数据又是带有 误差 的。因此，这里的问题不再是一般的方程组求定解问题，而是要通过多余的带有误差的数据，尽可能准确地估算出“ 未知量 ”的值。 K ()k由于通过观测只能掌握 z(k) 和 ，而不可能确切知到 因此按已知的 z(k) 和 只能得出参数向量 的估计值 ，而不 K 有： 是真值 本身。于是对于 kz k e k k=1,2， ， N This paper mainly int roduces the design of an inteligent emperature cont rol system which realize
32、s the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 17 或写成： NNN eZ )() , . . . . . . ,2(),1( NeeeeN 其中 eN 为拟合
33、误差或残差： 而残差向量可表示为： NN N NNNZe ()NN ()N 显然， e(k) 一般与 (k） 不相等。 残差 e(k) 包含两方面的误差因素带来的误差：一是参数拟合误差，二是随机干扰噪声。 This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature
34、sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 18 运用最小二乘准则，可找出一个模型，其模型参数向量 可使残差 e(k) 的平方和达到最小值，即： 这样，一般我们将这个函数称作准则函数，即取为： 1m inNk N Nke e e 1m inN k N NkN eeJ e This paper mainly int roduces the design o
35、f an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 1
36、9 对于 1m inN k N NkN eeJ e NNN eeJJ )( )()( NNNN ZZ.N N N N N N N Nz z z z 是正定的。 很显然， JN 是标量，且 JN 是 的函数。因此也称作损失函数，即： NN式中， 为 (2n+1) (2n+1) 对称方阵，若其逆存在，并且还 This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and
37、cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 20 .N N N N N N N N NJ z z z z 对于 若使 J=min， 则有： 0J 0 2 0N N N N N N NJ ZZ 0N N N N NZ This paper mainly in
38、t roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20
39、t emperature sensor. 21 可判定当 0N N N N 即： 1.LS N N N N 1N N N N N N N N NJ N N N N 或称最小二乘估计值。 相应的参数估计值，这样的处理问题的方法就称为称为 最小二乘估计的 当获得一批数据之后，利用 1N N N N N ，可一次求 得 批量算法 ， 或一次完成算法。 . A 1N N N N N 于是， 的最小二乘估计的解析解， 即为 This paper mainly int roduces the design of an inteligent emperature cont rol system which
40、realizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 22 这种算法在理论研究方法有许多方便之处。但在计算方面要碰到 矩阵求逆 的 困难 。当矩阵的维数增
41、加时，矩阵求逆的运算量将急剧增加，这会给计算机的计算速度和存储量带来负担，因此有时也可以用高斯消元法直接解。 A 将方程 变换成： N N N N 以便更快地求出参数估计值。 递推计算的形式，这样便于在线辨识，而且大大的减少了数据储存。 节省 但是，更为实用的方法还是设法把 1N N N N N 转化成 了计算机的内存。稍后我们将讨论最小二乘的 递推算法 。 它的充分必要条件就是系统的输入信号必须是 2n 阶持续激励的信号。 应该注意 : 批量算法要求 NN 必须是正则矩阵 (即可逆矩阵 )， 那么 This paper mainly int roduces the design of an
42、inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 23 也就是
43、应具有 开环可辨识性 条件，它意味着辨识所用的 输入信号不能随意 选择，否则可能造成不可辨识。 目前常用的信号有： 随机序列（如：白噪声）； 伪随机序列（如： M序列或 L序列） 离散序列。通常指对含有几种频率（频率不满足整数 倍的关系）的正弦组合信号，进行采样处理，获得离 散序列。 This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol b
44、y using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The core component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 24 例 1 系统脉冲响应的辨识 设线性系统的输出 z(k) 用输入序列 u(k) 与脉冲响应序列 g(i),i=0,1,2,N 的卷积和形式表示，即： g(k) U(k) y(k) (k) Z(k) 0( ) ( ) ( ) (
45、)niZ k g i u k i k 其中 : ()k 是系统输出的测量噪声，设为零均值的白噪声。 This paper mainly int roduces the design of an inteligent emperature cont rol system which realizes the function of temper at ur e measurement and cont rol by using single bus digit al temperature sensor DS18B20 and single chip microcom puter. The co
46、re component s of the system ar e AT89C51 micr ocontroler and DS18B20 t emperature sensor. 25 当取 k=1,2,N 时，可写成： N N NZg ( 1 ) , ( 2 ) , ( 3 ) , ( )( 0 ) , ( 1 ) , ( 2 ) , ( )( 1 ) , ( 2 ) , ( 3 ) , ( )( 0 ) ( 1 ) ( 1 ) ( 1 ) ( 1 )( 1 ) ( 2 ) ( 2 ) ( 2 ) ( 2 )( 1 ) ( 2 ) ( ) ( ) ( )NNNZ Z Z Z Z Ng g g
