1、数值分析,第三章 函数逼近与曲线拟合,当函数只在有限点集上给定函数值，要在包含该点击的区间上用公式给出函数的简单表达式，这些都涉及到在区间a,b上用简单函数逼近已知复杂函数的问题，这就是函数逼近问题。,插值法就是函数逼近问题的一种,拟解决的问题： 计算复杂的函数值 已知有限点集上的函数值，给出在包含该点集的区间上函数的简单表达式,函数逼近对函数类A中给定的函数f(x)，记作 要求在另一类简单的便于计算的函数类B中求函数 使p(x)与f(x)的误差在某种度量意义下最小。,逼近问题,函数逼近,曲线拟合,基本数学概念：,定义1：设集合S是数域P上的线性空间，元素,如果存在不全为0的数,，使得,线性相
2、关，否则，若等式(1.1)只对,则称,成立，则称为线性无关。,若线性空间S是由n个线性无关元素生成的，即：,为空间S的一组基，记为：,则称,并称该空间为n维空间。,称为x在这组基下的坐标。,例：n次多项式,连续函数不能用有限个线性无关的函数表示，故连续函数空间是无限维的，但它的任一元素可以用有限维的多项式逼近，使误差为任意小。定理1：设,则对任何,总存在一个代数多项式p(x),使,在a,b上一致成立。,范数与赋范线性空间定义2：设S为线性空间，x是S的元素，若存在唯一实数 ，满足条件：,则称 为线性空间S上的范数。,称为赋范线性空间。,例：n维向量空间上定义的三种范数：,称为 - 范数,称为
3、1 - 范数,称为 2 - 范数,例：连续函数空间上定义的三种范数：,称为 - 范数,称为 1 - 范数,称为 2 - 范数,例：求下列向量的1范数、2范数和无穷范数,内积与内积空间 定义3：设X为数域K（R或C）上的线性空间，满足条件：,称(u,v) 为 X上u与v的内积。定义了内积的线性空间为内积空间。若(u,v)=0,则称u和v正交。,例,例如：,例,其中 为权函数，满足定义4（page 68),正交函数 定义5：,既：f(x)与g(x)在a,b上带权 正交。 若函数族,满足,则称该函数族是在a,b上带权 的正交函数族。时为标准正交函数族,例如，三角函数族,是在区间 上的正交函数族。定义
4、6：正交多项式(page 57),最佳平方逼近 （P.67）,上述问题等价于求下列函数的最小值：,根据多元函数求极值的必要条件：,于是：,上式称为法方程组。由于 线性无关，系数行列式不为0， 有唯一解,误差：,例 p.68,逼近问题,函数逼近,曲线拟合,实例：考察某种纤维的强度与其拉伸倍数的关系,下表 是实际测定的24个纤维样品的强度与相应的拉伸倍数 是记录:,纤维强度随拉伸 倍数增加而增加,并且24个点大致分 布在一条直线附近,必须找到一种度量标准来衡量什么曲线最接近所有数据点,(1),仍然是已知 x1 xm ; y1 ym, 求一个简单易算的近似函数 P(x) f(x)。,但是, m 很大
5、；, yi 本身是测量值，不准确，即 yi f (xi),这时没必要取 P(xi) = yi , 而要使 P(xi) yi 总体上尽可能小。,使误差在某种度量意义下最小,常见做法：, 使 最小 /* minimax problem */,太复杂, 使 最小,不可导，求解困难, 使 最小 /* Least-Squares method */,最小二乘法的基本概念,一般使用,在回归分析中称为残差,称为平方误差,在回归分析中称为残差平方和,从而确定(1)中的待定系数,注意(1)式是一条直线,因此将问题一般化,一般情况下,仍然定义平方误差,我们选取的度量标准是,-(2),-(3),法方程组,由,可知,
6、因此可假设,因此求最小二乘解转化为,二次函数,由多元函数取极值的必要条件,得,即,-(4),即,引入记号,则由内积的概念可知,-(5),-(6),显然内积满足交换律,方程组(4)便可化为,-(7),将其表示成矩阵形式,-(8),并且其系数矩阵为对称阵,所以法方程组的系数矩阵非奇异,即,根据Cramer法则,法方程组有唯一解,即,是,的最小值,所以,因此,作为一种简单的情况,基函数之间的内积为,平方误差,例1. 回到本节开始的实例，从散点图可以看出,纤维强度和拉伸倍数之间近似与线性关系,故可选取线性函数,为拟合函数，其基函数为,建立法方程组,根据内积公式，可得,法方程组为,解得,平方误差为,拟合
7、曲线与散点 的关系如右图:,例2.,求拟合下列数据的最小二乘解,x=.24 .65 .95 1.24 1.73 2.01 2.23 2.52 2.77 2.99 y=.23 -.26 -1.10 -.45 .27 .10 -.29 .24.56 1,解:,从数据的散点图可以看出,因此假设拟合函数与基函数分别为,6.7941 -5.3475 63.2589 -5.3475 5.1084 -49.0086 63.2589 -49.0086 1002.5,1.6163 -2.3827 26.7728,通过计算,得法方程组的系数矩阵及常数项矩阵为,Go!,用Gauss列主元消去法,得,-1.0410-
8、1.26130.030735,拟合的平方误差为,图象如图,例3.,在某化学反应里,测得生成物浓度y%与时间t的 数据如下，试建立y关于t的经验公式,x=1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,y=4.00,6.40,8.00,8.80,9.22,9.50,9.70,9.86,10.00,10.20,10.32,10.42,10.50,10.55,10.58,10.60,解:,具有图示的图形的曲线很多，本题特提供两种形式,例：,(xi , yi) , i = 1, 2, , m,But hey, the system of equations for a a
9、nd b is nonlinear !,Take it easy! We just have to linearize it ,( a 0, b 0 ),两边取对数,得,得,即为拟合函数,基函数为,解法方程组得,平方误差为,用最小二乘法得,即,无论从图形还是从平方误差考虑,在本例中指数函数拟合比双曲线拟合要好,平方误差为, 离散型 /*discrete type */,加权最小二乘法,各点的重要性可能是不一样的,重度:,即权重或者密度，统称为权系数,定义加权 平方误差为,-(9),使得,由多元函数取极值的必要条件,得,即,引入记号,定义加权内积,-(10),矩阵形式(法方程组)为,方程组(10
10、)式化为,-(11),-(12),平方误差为,作为特殊情形,用多项式作拟合函数的法方程组为,-(13),例：连续型拟合中，取,则,Hilbert阵！,若能取函数族= 0(x), 1(x), , n(x), ，使得任意一对i(x)和j(x)两两（带权）正交，则 B 就化为对角阵！,这时直接可算出ak =,用正交多项式作最小二乘拟合*,即,正交多项式如何选取呢,-(14),使得,由,可知,因此,而,因此,可知,最后可得正交多项式选取的方法:,-(15),由,使得,由正交多项式的性质,法方程组,-(16),-(17),可化为,即,得,即,为利用正交多项式的最小二乘解,平方误差为,例4.,是用最小二乘法求拟合这组数据的多项式,解:,从散点图可知,数据和二次多项式拟合较好,因此选用二次多项式作 这组数据的拟合函数,设拟合函数,取,
