1、1,Todays Plan2011-10-17,上节课重点回顾：数据拟合，直线拟合今日新内容：多变量拟合，多项式拟合，非线性拟合,2,上节课(2011-10-13)重点回顾,谢谢刘洋琳同学带领大家做回顾总结！,数据拟合的问题：,设函数y=f(x)在n个互异点的观测数据为,求一个简单的近似函数(x)，使之 “最好”地逼近f(x)， 而不必满足插值原则。称函数y=(x)为拟合函数。,通常选择函数类型的做法：描出散点图， 再根据专业知识和经验来选择(x)的类型。,设,表示按拟合直线 y=a+bx求得的近似值，两者之差,称为误差，也称剩余。,只能尽可能地从所给数据点( xi ,yi )附近通过，就是说
2、，近似地成立,拟合直线,单变量或单一个影响因素：,按最小二乘法, 作直线拟合应使,(3)使误差的平方和为最小:,为最小，极小值点一阶导数为0得方程组,最小二乘法（least squares method）,(1) 数据散点图, 大致呈直线关系, 可以用直线进行拟合;,(2) 计算,(3)写出正规方程组，求出 a，b;,(4) 写出拟合直线方程 y*=ax+b.,直线拟合：,2. 多变量的线性数据拟合,很多实际问题中影响变量y的因素多于一个，如k个因素x1，x2，xk. 做N次试验得数据表, Nk.,很多实际问题中影响变量y的因素多于一个，如k个因素x1，x2，xk. 做N次试验得数据表, Nk
3、.,若变量y与k个因素的每一个都是线性关系，选近似方程,通常实验次数大于因素个数Nk, N个条件，k个待定量，条件个数大于未知量个数，得到矛盾方程组，用直线拟合的最小二乘原理求拟合方程。,最小二乘法：使误差的平方和为最小:,按最小二乘法, 作直线拟合应使,为最小，极小值点一阶导数为0 得方程组,每次试验的误差,求导：,整理得：,k个因素(a0,a1,ak)的多变量数据拟合法的正规方程,解出a0,a1,ak，则可得多变量拟合函数,当任一因素不能用其它因素线性表出时，正规方程总有唯一解。,可化简整理为另一形式,先解出a1,a2,ak, 然后解a0.,其中：,例1,两个因素，假设都呈现线性关系,两个
4、因素，选拟合方程 y*=a0+a1x1+a2x2,若只有a0, a1, a2,正规方程：, x1i x2i yi x21i x22i x1ix2i x1iyi x2iyi,x12 x22 x1x2 x1y x2y, ,或：,若只有a0,a1,a2:,Q,拟合方程为,两个因素x1，x2, x1i x2i yi x21i x22i x1ix2i x1iyi x2iyi,x12 x22 x1x2 x1y x2y, ,练习：,3. 非线性多项式数据拟合（单变量）:最小二乘法,多项式数据拟合的最小二乘法（与直线数据拟合类似）,设函数y=f(x)在n个互异点的观测数据为,y*=n(x)=anxn+an-1
5、xn-1+a1x+a0,用n次多项式拟合,使误差平方和最小,对每个点或每次实验的误差：,n(x)=anxn+an-1xn-1+a1x+a0,用n次多项式拟合,使误差平方和最小,类似线性拟合， 为使误差最小，Q偏导数为零,得：,从而推出n+1个正规方程以求解n+1个未知量aj,可展开为：,多项式最小二乘法正规方程,正规方程存在唯一解的条件：点xi互异。,若只有a0,a1,a2:,多项式最小二乘法正规方程,例2. Fit the data in Table with the discrete least squares polynomial of degree 2.,i 1 2 3 4 5 xi
6、0 0.25 0.50 0.75 1.00yi 1.0000 1.2840 1.6487 2.1170 2.7183,Solution：n=2， N=5，three normal equations are,Which gives,a0=1.0051, a1=0.86468, a2=0.84316,y*=2(x)=a2x2+a1x+a0,The least squares polynomial of degree 2 fitting the dada in Table is,2(x)=1.0051+0.86468x+0.84316x2,The total error,is the least
7、that can be obtained by using a polynomial of degree 2.,i 1 2 3 4 5 xi 0 0.25 0.50 0.75 1.00yi 1.0000 1.2840 1.6487 2.1170 2.71832(xi) 1.0051 1.2740 1.6482 2.1279 2.7129yi- 2(xi) -0.0051 0.0100 0.0004 -0.0109 0.0054,每点误差,拟合图：,4 . （非多项式的）非线性数据拟合,非线性数据拟合: 变量之间的关系不呈线性关系.,设函数y=f(x)在n个互异点的观测数据为,如:,解决途径:
8、首先确定为何种非线性关系然后将非线性关系转换为线性关系.（1）确定为何种非线性关系根据专业知识和经验来确定经验曲线 的近似公式.画散点图,根据散点图的分布形状及 特点来选择适当的曲线.,常见非多项式的非线性关系:幂函数: (x)= a+bxc指数函数：(x)= a+becx对数函数：(x)=a+blnx,指数上不含有未知变量：通过变量替换将非线性方程转换为线性方程, 转为直线数据拟合问题.B. 指数上含有未知变量：方程两边取对数，转换为线性拟合问题。,（2） 将非线性关系转换为线性关系.,通过变量替换将非线性方程转换为线性方程, 转为直线数据拟合问题.,适用于指数上不含有未知变量的非多项式的非
9、线性关系:c为已知常数幂函数: (x)= a+bxc指数函数：(x)= a+becx对数函数：(x)=a+blnx,指数上无未知变量，c为已知常数:幂函数: (x) = a + b xc指数函数：(x) = a + b ecx对数函数：(x) = a + b lnx,幂函数：令 x=xc，则 (x) = a + b xc =a + bx,指数函数：令x= ecx ，则 (x) = a + b ecx =a + bx,对数函数：令x= lnx ，则 (x) = a + b lnx =a + bx,均可通过变量替换转换为线性关系 (x) =a + bx， 然后用直线拟合的最小二乘法进行数据拟合。,
10、此方法可推广解决其它可化为线性的非线性拟合问题。,变量替换,(1) 计算,(2)写出正规方程组，求出 a，b;,(3) 写出拟合直线方程 y*=ax+b.,直线拟合：,例3,散点图：,根据散点图，选用双曲线,做变量替换：,得线性关系：,针对数据x，y的正规方程：,教材表3-6，计算x，y，及正规方程的系数。,写出正规方程组：,幂函数: y= a xb指数函数：y = a ebx,B) 若指数上含有待确定的参数a或b，如:,则通常会对近似方程两边取对数：,幂函数: lny = lna +b lnx指数函数：lny= lna +bx,然后做变量替换转换成线性关系：,例4 求一经验函数形如y=aeb
11、x的公式，a，b为常数，使与表中数据相拟合。,x 1 2 3 4 5 6 7 8 y 15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6,解：先对经验公式两边取常用对数,lg y = lg a + b x lg e,变量替换 令,y=lg y，A= lg a，B=b lg e,得,y = A + B x,y 1.1847 1.3118 1.4378 1.5635 1.6911 1.8169 1.9435 2.0704,变量替换后正规方程组为：,正规方程,课堂练习： 求一经验函数形如y=aebx的公式，a，b为常数，使与表中数据相拟合。,x 1 2 3 4 5 6
12、7 8 y 15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6,解：先对经验公式两边取自然对数,ln y = ln a + b x,变量替换 令,y=ln y，A= ln a,得,y = A + bx,y 1.1847 1.3118 1.4378 1.5635 1.6911 1.8169 1.9435 2.0704,变量替换后正规方程组为：,设函数y=f(x)在n个互异点的观测数据为,y*=anxn+an-1xn-1+a1x+a0,用n次多项式拟合,5. 多项式数据拟合除前面所讲直接用最小二乘法，也可以用转换为多变量线性关系做多变量直线拟合的方法。,做变量替换：z
13、1=x, z2=x2, z3=x3, , zn=xn,y*=an zn+an-1 zn-1+a1z+a0, 变为线性关系,然后用多变量数据拟合的方法来处理。,如抛物线 y=a+bx+cx2令 z1=x, z2=x2得一两个自变量的线性方程y=a+bz1+cz2用多变量数据拟合的方法很容易求解。,课堂练习. Fit the data in Table with the discrete least squares polynomial of degree 2.,i 1 2 3 4 5 xi 0 0.25 0.50 0.75 1.00yi 1.0000 1.2840 1.6487 2.1170 2
14、.7183,Solution：变量替换为多变量线性拟合。,y*=2(x)=a2x2+a1x+a0, x1i x2i yi x21i x22i x1ix2i x1iyi x2iyi,x12 x22 x1x2 x1y x2y, ,However, the approximation obtained in this manner is not the least square approximation for the original problem, and this approximationcan in some cases differ significantly from the least square approximation to the original problem. Numerical Analysis by R. Burden and D. Faires,将非线性变量替换为线性，然后针对新变量的线性关系做最小二乘拟合的弊端：,数据拟合方法一览表,线性关系,直线拟合,非线性关系,曲线拟合,单变量直线拟合,多变量直线拟合,多项式拟合,非多项式拟合,变量替换转换为直线拟合,多项式拟合的最小二乘法,变量替换为多变量直线拟合,方程两边取对数转换为直线拟合,作业,P64 ：2，3，5,
