1、第七章 数据拟合与函数逼近,一、 正交多项式,三、 最小二乘法,二、 函数的最佳平方逼近,问题一的表中的数值带有误差，能否找到一个简单易算的p(x) , 可以近似地表示这些数据.,逼近的三个问题:,已知一个函数的数值表,能否找到一个简单易算的 p(x) , 使得 p(xi) = yi,函数 f(x) 的表达式非常复杂，能否找到一个简单易算的 p(x) ，使得p(x) 是 f(x) 的一个合理的逼近.,问题一,问题二,问题三,度量 p(x) 与 f(x) 的近似程度的常用两种标准,逼近标准,权函数,设a, b是有限或无限区间， 是定义在a, b上的非负函数，且满足：,(1) 对k = 1, 2,
2、 都存在(为有限值)；,(2) 对非负函数 ,若 则 。,称 为 a, b 上的权函数.,注：权函数与定义区间有关！,一、 正交多项式,1 正交函数系的概念,定义,常见的权函数,设 ， 是 a, b 上的权函数，定义,为函数 f(x) 与 g(x) 的带权 的内积.,上面定义的内积满足：,(3) , 等号当且仅当 f(x) = 0 时成立.,(1),(2),内积的概念,定义,设 为a, b上的权函数，f为定义在a, b上的,实值函数，定义f的范数,令,那么 是R上的一个线性空间,特别的，若 ，则记为,函数的线性空间和基,定义,设 线性无关，则称,个不全为零的数ci, i=0,1,n,使,则称函
3、数系 在 上线性无关,为由0, 1, , n 生成的线性空间， 0, 1, , n 组成 的一组基.,设 如果不存在n+1,设 ， 是 a, b 上的权函数，若内积,则称 f(x) 与 g(x) 在 a, b 上带权 的正交.,设函数系 且 ，若满足,则称 是a, b上带权 的正交函数系.,正交的概念,定义,定义,例：三角函数系1, sinx, cosx, sin2x, cos2x, 在-, 上是带权(x)=1 的正交函数系.,证：,(m, n = 1, 2, 3, ),(m, n = 0, 1, 2, ),设 是n次多项式(首项系数不为0)，若,则称 为a, b上带权 的正交多项式.,设 是
4、正交多项式， Pn为所有次数不超过n的多项式组成的集合，则,构成 Pn 的一组基.,正交多项式及性质,定义,性质1,2 正交多项式的构造,回顾Gram-Schmidt正交化方法,取,给定 线性无关.,由 得,令,设 为a,b上线性无关的函数,令,则 为正交的.,例 在C-1,1中定义内积为,试将 正交化,解：,令,那么,例 设 是区间0,1上权函数为,的最高项系数为1的正交多项式族, 其中,求 并计算积分,解,考虑到 是线性无关的,所以,另一种方法,由于 是以x为权函数正交，所以,另外,设 那么利用正交性可得,解得,设 是正交多项式，Pn 为所有次数不超过 n 的多项式组成的集合，则对 有,(
5、k = n+1, n+2, ),设 是首项系数为 1 的正交多项式，则有递推关系,其中,(n = 1, 2, ),性质2,性质3,设 是首项系数为 1 的正交多项式，则有递推关系,其中,(n = 1, 2, ),性质3,正交多项式递推公式,例 在C-1,1中定义内积为,判断函数 是两两正交,并求一个三次多项式，使其与上述函数两两,正交,解:,由于,所以 两两正交,设所求的三次多项式为,由于与前三个多项式都正交，故满足,即,于是,所求的 有无穷多个,还有没有其他做法？,二、 函数的最佳平方逼近,1 最佳平方逼近的概念和计算,设 为a, b上的权函数，f为定义在a, b上的,实值函数，定义f的范数
6、,令,那么 是R上的一个线性空间,特别的，若 ，则记为,设 ,如果存在 s*(x) ，使得,线性无关,则称s*(x)是f (x)在集合中的最佳平方逼近函数,若=Pn=span1, x, ., xn,则s*(x) 是f (x)的n次最佳平方逼近多项式.,定义,分两部分证明：,(2) 证明 s*(x) 是 f (x) 在 中的最佳平方逼近函数,(1) 利用多元函数求极值，构造出唯一的 s*(x),设 则 f (x) 在 中存在唯一的最佳平方逼近函数 s*(x) 。,定理,(1) 利用多元函数求极值，构造出唯一的 s*(x),求 s*(x),求多元函数 I(a0, a1, ., an) 的极小值,=
7、 0,由多元函数取极值的必要条件得,( k = 0, 1, , n ),(2) 证明s*(x)是f (x)在中的最佳平方逼近函数,对任意s (x)有( f-s*, s)=0 及 ( f-s*, s*- s) = 0, 0,即,Pn= span1, x, ., xn, k (x) = xk (k = 0, 1, , n),此时,(k = 0, 1, , n),( j, k = 0, 1, , n),则法方程为 ,其中,例 求 的n次最佳平方逼近多项式,例：求 在 0, 1 上的一次最佳平方逼近多项式 .,解：,法方程为,解得,一次最佳平方逼近多项式为：,例：求 在 0, 1 上的一次最佳平方逼近
8、多项式 .,解：,法方程为,解得,一次最佳平方逼近多项式为：,注：Hn 是一个病态矩阵，数值求解时会产生较大的误差. 故Hilbert矩阵只适合求次数较低的最佳平方逼近多项式.,设 且 0, 1, , n 是正交函数系，则此时法方程系数矩阵为,其中 Aj = (j, j) 0,即 f (x) 在 中的最佳平方逼近函数为,2 用正交函数做最佳平方逼近,三、 最小二乘法,已知一个函数的数值表,求一个简单易算的近似函数 p(x) f (x) 。,但是,(1) m 通常很大；,(2) yi 本身是测量值, 不准确, 即 yi f (xi) .,这时没必要使 p(xi) = yi , 而只要 p(xi)
9、 yi 总体上尽可能小.,常见做法：,太复杂,不可导，求解困难,1 基本概念,定义,设给定一组实验数据(xi, yi)=(xi, f(xi),i=0,m,各点的权系数 ,在函数类,中求函数,满足,称这种函数近似表达式的方法为数据拟合的最小二乘法, s*为最小二乘解.,定义,设有数据X=x0,x1,xm和权系数 称,为函数f和g在X=x0,x1,xm上以 为权的内积; 称,为函数f在X=x0,x1,xm上以 为权的范数.,若f与g的内积为0，即(f, g)=0,则称f与g在,X=x0,x1,xm带权 正交.,定义,个不全为零的数ci, i=0,1,n,使,则称 在X=x0,x1,xm上线性无关,
10、设 为n+1个函数，如果不存在n+1,进一步若 两两正交, 即,则称 在X=x0,x1,xm上正交.,和上一节最佳平方逼近问题的定义对比，可以发现刚才的内积、范数和正交定义实际上是连续函数的离散形式.,所以最小二乘问题的实质是最佳平方逼近问题的离散形式，可以将求连续函数的最佳平方逼近函数的方法直接用于求解该问题,类似最佳平方逼近的方法，可以得到最小二乘问题的解法,令,由多元函数取极值的必要条件得法方程,( k = 0, 1, , n ),这里的内积是离散内积，即,由于 线性无关，法方程系数矩阵非奇异，故存在唯一解，于是可得 f (x) 在 中的最小二乘逼近函数 s*(x) .,即,有唯一解,于
11、是有,例 给定函数值表,求f (x)的最小二乘拟合函数,解：,在坐标平面上描出上表中的数据点，根据,点的分布情况，选取,注：最小二乘问题中，如何选择数学模型很重要，即如何选取函数空间 ，通常需要根据物理意义，或所给数据的分布情况来选取合适的数学模型。,解得,所以,若取Pn= span1, x, ., xn, 则相应的法方程为,此时 称为数据拟合多项式，上述拟合称为多项式拟合.,2 用代数多项式作拟合函数,例：求下面数据表的二次最小二乘拟合多项式.,可得法方程,解：,设二次拟合多项式为,解得,所以此数据组的二次最小二乘拟合多项式为,例：求下面数据表的二次最小二乘拟合多项式.,解：,设二次拟合多项式为,可得法方程,解得,于是,注：(1) 若题目中没有给出各点的权值i ，默认为i = 1； (2) 该方法不适合 n 较大时的情形.,例 用 来拟合 。,例：,(xi , yi) , i = 1, 2, , m,But hey, the system of equations for a and b is nonlinear !,Take it easy! We just have to linearize it ,例 用 来拟合,( a 0, b 0 ),例 用 来拟合 。,
