1、第 36 卷 第 8 期2010 年 8 月北京工业大学学报JOURNAL OF BEIJING UNIVERSITY OF TECHNOLOGYVol 36 No 8Aug 2010高阶方向导数及其应用隋允康( 北京工业大学 机械工程与应用电子学院 ， 北京 100124)摘 要 : 将多元函数方向导数概念予以推广 ， 在得到二阶方向导数定义和计算公式后 ， 给出了多元函数的高阶方向导数 提出了高阶方向导数的应用 : 1) 把一元函数性质推广到多元函数的一般途径 ; 2) 得到多元函数取极值的必要条件和充分必要条件 ; 3) 利用二阶方向导数解释了矩阵半正定和半负定的几何意义 ; 4) 揭示
2、出线性方程组当矩阵正定或负定时 ， 背后存在的一个极值问题 5) 推导出多元函数的 Taylor 展式 关键词 : 方向导数 ; 高阶方向导数 ; 半正定矩阵 ; 半负定矩阵 ; 多元函数的 Taylor 展式中图分类号 : 46G 05 文献标志码 : A 文章编号 : 0254 0037( 2010) 08 1135 06收稿日期 : 2010-05-12作者简介 : 隋允康 ( 1938) ， 男 ， 辽宁大连人 ， 教授 ， 博士生导师 0 引言方向导数是数学分析中一个重要的概念 ， 迄今为止 ， 没有从文献中查到高阶方向导数的概念 1-6 本图 1 二元函数在 x 点沿 l 方向变化
3、率示意Fig 1 The change rates of the two-dimensionalfunction at a point x in a direction l文定义了高阶方向导数 ， 推得了其计算公式 ， 并且探讨了它的应用 一般 数学分析 教科书中 ， 均介绍了二元乃至三元函数的方向导数 如图 1 所示 ， 对于二维空间中一阶可导函数 f( x) = f( x1， x2) ， 在给定的 x 点 、沿给定方向 l = cos， sinT的方向导数定义为fl= lim0f( x + l) f( x)l( x0) ( 1)可见 ， 方向导数与偏导数为函数变化率的本质是一样的 ， 不同
4、之处仅在于 : 预先给定了函数在某个点变化的一个任意的空间方向 ， 取代了偏导数只能沿某一坐标轴的方向 由式 ( 1) 得fl= lim0f( x + l) f( x)l= lim0f( x1+ cos， x2+ sin) f( x1， x2)=lim0f( x1+ cos， x2+ sin) f( x1， x2+ sin) + f( x1， x2+ sin) f( x1， x2)=fx1cos +fx2sin=fx1，fx2cossin =Tfl其中f( x)=f( x)x1，f( x)x2T是函数 f( x) 的梯度 将方向导数的概念从低维空间的函数推广到高维空间的函数 ， 详见如下定义
5、定义 : 设 x， lEn， f( x) C1， l =1， E1， 0， 则 f( x) 沿 l 方向的方向导数为fl= lim0f( x + l) f( x)l= lim0f( x + l) f( x)北 京 工 业 大 学 学 报 2010 年令 f( x + l) = F( ) ， 则得fl= lim0F( ) F( 0)= F( ) | = 0=ni = 1f( xi+ li)d( xi+ li)d| = 0=Tfl其中f=fx1， ，fxnT另外一种推导方法是利用 LHospital 法则fl= lim0f( x + l) f( x)= lim0df( x + l)ddd=ni =
6、 1f( x)xili=Tfl1 高阶方向导数1. 1 二阶方向导数的定义设 x， lEn， f( x) C2， f( x) /l 为函数 f( x) 在点 x 处 l 方向的方向导数 ， 定义函数 f( x) 的二阶方向导数 2f( x) /l2为方向导数 f( x) /l 在点 x 处沿 l 方向的方向导数 1. 2 二阶方向导数的计算因f( x)l=Tf( x) l = lTf( x)故2f( x)l2=(lf( x)l= lT(f( x)l= lT( lTf( x) ) =lT(lTf( x) + Tf( x) l) = lT2f( x) l上面推导中用到了 2 点 :1) 常向量 l
7、 的梯度是零向量 ，lT=0;2)( aTb) =aTb +bTa， 证明如下 :( aTb) =(ni = 1aib)i=ni = 1( aibi) =ni = 1(ai) bi+ ai(bi) =(a1an) b + (b1bn) a =aTb +bTa以上二阶方向导数的结论 ， 也可以用分量求导得出 因f( x)l=ni = 1f( x)xili故2f( x)l2=nj = 1x(jni = 1f( x)xil)ilj=nj = 1ni = 12f( x)xixjlilj= lT2f( x) l1. 3 任意阶方向导数及其计算设 x， lEn， f( x) Cm， m 1f( x) /l
8、m 1为函数 f( x) 在点 x 处沿 l 方向的 m 1 阶方向导数 ， 定义函数f( x) 的 m 阶方向导数 mf( x) /lm为 m 1 阶方向导数 m 1f( x) /lm 1在点 x 处沿 l 方向的方向导数 由于已经在一阶方向导数的基础上推出了二阶方向导数 ， 故可以设m 1f( x)lm 1=ni1= 1nim 1= 1m 1f( x)xi1xim 1li1lim 1由定义得到6311第 8 期 隋允康 : 高阶方向导数及其应用mf( x)lm=nim= 1xi(mni1= 1nim 1= 1m 1f( x)xi1xim 1li1lim ) 1lim=ni1= 1nim=
9、1mf( x)xi1ximli1lim( 2)于是归纳地得到了任意阶方向导数的计算公式 2 高阶方向导数的应用2. 1 一元函数性质向多元函数推广的一般途径图 2 多元函数在给定点和给定方向上视为一元函数Fig 2 Multivariate function at a given point along a anydirection is regarded as function with simple variable借助高阶方向导数 ， 可以得到将一元函数性质向多元函数推广的一般途径 对于多元函数 f( x) ， 在给定点 x 和给定方向 l上 ， x + l 实际上成为 为变量的 n 维
10、空间的一条直线 ， 相应地 ， 多元函数 f( x) 变成了 的一元函数 ， 见图 2 所示 F( ) = f( x + l) ( 3)在函数 多元变量组成的 n +1 维空间中 ， 沿函数坐标轴向直线 x + l 引一个平面 ， 在函数超曲面 f( x)上截出一个曲线 F( ) 本质上 ， F( ) 是以 l 为变量坐标轴的一元函数 dF( )d=ni1= 1f( x + l)( xi1+ li1)d( xi1+ li1)d=ni1= 1f( x + l)( xi1+ li1)li1于是d2F( )d2=ni2= 1dF( )d( xi2+ li2)li2=ni1= 1ni2= 12f( x
11、 + l)( xi1+ li1) ( xi2+ li2)li1li2假定dm 1F( )dm 1=ni1= 1nim 1= 1m 1f( x + l)( xi1+ li1) ( xim 1+ lim 1)li1 lim 1于是推得dmF( )dm=ni1= 1nim= 1mf( x + l)( xi1+ li1) ( xim+ lim)li1 lim根据式 ( 2) ， 当 =0 时 ， 不难证明如下等价关系dmF( )dm = 0=fm( x)lm( m = 0， 1) ( 4)因此 ， 可以基于式 ( 4) 把一元函数性质在 = 0 处向多元函数推广 2. 2 多元函数极值的条件借助于高阶
12、方向导数 ， 可以把取极值的必要条件和充分必要条件从一元函数推广到多元函数 ， 图 3 分别示意了一元函数 f( x) 的几种情况 其中 ， 图 3( a) 、( b) 假定 f( x) 为二次函数 ， 则 f( x) 取极大值和极小值的情况为一阶导数为零的点 ; 图 3( c) 、( d) 假定 f( x) 为三次函数 ， f( x) = 0 对应的 x 点不是极值点 ， 而是拐点 1) 多元函数 f( x) 在 x 点取极小值的必要条件F( ) 在 = 0 处取极小值的必要条件为 : F( ) | = 0= f( x) /l =0 即Tfl =0， 由 l 的任意性可推得7311北 京 工
13、 业 大 学 学 报 2010 年图 3 一元二次 、三次函数的极值问题Fig 3 Extreme conditions of quadratic and thrice functions with simple variablef( x) = 0， ， 0T， 此即多元函数 f( x) 在 x 处取极小值的必要条件 可见 ， 多元函数 f( x) 在 x 点取极小值的必要条件等价于 : 在过 x 点的任何方向 l 上 ， 皆有f( x)l=02) 多元函数 f( x) 在 x 处取极小值的充分必要条件设 F( ) 在 = 0 处取极小值 ， 则 F( ) | = 0=0 和 F( ) | =
14、 00， 即 f( x) /l = 0 和 2f( x) /l2 0，亦即f( x) = 0， ， 0T和 lT2f( x) l 0， 由 l 的任意性 ， 知2f( x) 是正定矩阵 于是推得 :f( x) = 0， 0T和2f( x) 为正定矩阵 ， 是多元函数 f( x) 在 x 处取极小值的充分必要条件 可见 ， 多元函数 f( x) 在 x 点取极小值的充分必要条件等价于 : 在过 x 点的任何方向 l 上 ， 皆有 f( x) /l =0， 2f( x) /l202. 3 半正定和半负定矩阵的几何意义线性代数给出了矩阵半正定的定义 7-8: 若 n n 阶矩阵 A 对于任意 n 阶
15、向量 x0 有 xTAx0， 则矩阵 A 半正定 矩阵半正定的几何意义是什么 ? 从未见到相关的研究 ， 现在探讨这一问题 构造函数f( x) = xTAx/2 ( xEn) ( 5)取任意方向 lEn， 则 f( x) /l = Ax 及 2f( x) /l2= lT2f( x) l = lTAl， 因为矩阵 A 半正定 ， 得知2f( x) /l20根据 “二阶可微的一元函数为凸函数的充分必要条件是其二阶导数非负 ” 6的结论 ， 上述多元函数在任意方向 lEn上是一个凸函数 其实关于多元函数为凸函数的结论已经存在 ， 但有 3 点不同 : 1) 不是沿本文途径得到的 ; 2) 它按多元函
16、数直接表达 :2f( x) 为半正定矩阵是 f( x) 为凸函数的充分必要条件 ; 3) 以往没有解释半正定矩阵的几8311第 8 期 隋允康 : 高阶方向导数及其应用何意义 按上述二阶方向导数非负的结论 ， 作者给出半正定矩阵的几何意义 : 由半正定矩阵按式 ( 5) 构造的多元二次函数 ， 在多元空间任意给定点 、沿任意给定方向上截出的一元函数 ， 均为凸函数 同理 ， 可以给出半负定矩阵的几何意义 : 由半负定矩阵按式 ( 5) 构造的多元二次函数 ， 在多元空间任意给定点 、沿任意给定方向上截出的一元函数 ， 均为凹函数 2. 4 线性方程组 Ax = b 的意义构造函数f( x) =
17、12xTAx bTx ( 6)其方向导数为f( x)l= ( Ax b)Tl因 Ax = b， 故 f( x) /l =0， 即线性方程组 Ax = b 的解 x = A 1b 满足鞍点条件 进一步 ， 若 A 为正定 ，则 f ( x) 在 x = A 1b 处取极小值 ; 若 A 负定 ， 则 f ( x) 在 x = A 1b 处取极大值 可见 ， 线性方程组背后存在一个式 ( 6) 所示的极值问题 2. 5 多元函数的 Taylor 展式Taylor 展式有广泛的应用和很重要的使用价值 下面从一元函数的 Taylor 展式推得多元函数的 Taylor展式 m 阶可微的一元函数 ( x)
18、 在展开点 0 的 m 阶 Taylor 展式为( x) ( x) |x = 0+ ( 1)( x) |x = 0x + +1m!( m)( x) |x = 0xm( 7)为了把式 ( 7) 推广到高维空间 ， 对于 xEn的 f ( x) 在展开点 x0取一个固定的方向 lEn， 取 E1，于是在 l 方向上 x = x0+ l， f ( x0+ l) 成为关于 的一元函数 ， 可以进行 m 阶 Taylor 展开f( x) = f( x0+ l) = F( ) F( 0) +dF( )d = 0 +12!d2F( )d2 = 02+ +1m!dmF( )dmm( 8)根据式 ( 4) ，
19、式 ( 8) 可以写成f( x) f( x0) +f( x)l x = x0 +12!2f( x)l2x = x02+ +1m!mf( x)lmx = x0m( 9)注意到 x = x0+ l， 则 l = x x0或 li= xi x0i， 同时考虑到式 ( 2) ， 则由式 ( 9) 得到多元函数的 m 阶Taylor 展式为f( x) f( x0) +ni =1f( x)xix = x0( xix0i) +12ni1=1ni2=12f( x)xi1xi2x = x0( xi1x0i1) ( xi2x0i2) + +1m!ni1= 1nim= 1mf( x)xi1ximx = x0( xi
20、1 x0i1) ( xim x0im)当 m = 2 时 ， 可以写成f( x) f( x0) +Tf( x) |x = x0( x x0) +12( x x0)T2f( x) |x = x0( x x0)3 结论提出了高阶方向导数 ， 并且按其得出了多元函数的若干结论 ， 尽管这些结论均为已有的研究结果 ， 然而却给出了一种方便得到的途径和易于理解的角度 ， 而且多元函数的方向导数从一阶推广到高阶 ， 是一种9311北 京 工 业 大 学 学 报 2010 年崭新的理念 ， 其意义在于 :1) 高阶方向导数作为一个基本概念 ， 对于数学分析 、线性代数 、数学规划 ， 都属于重要的基础 ;2
21、) 高阶方向导数可以从直观上揭示一些数学概念的几何本质 ;3) 由于高阶方向导数便于沟通一元函数与多元函数的关系 ， 容易把一元函数中的性质推广到多元函数当中 相信高阶方向导数会有进一步的应用 ， 期望得出创新的结论 参考文献 : 1 RUDIN W Principles of mathematical analysis M 3rd ed S l : McGraw-Hill Science Engineering， 1976 2 张筑生 数学分析新讲 ( 共三册 ) M 北京 : 北京大学出版社 ， 1990 3 SPIVAK M Calculus M 3rd ed S l : Gilbert
22、 Strang， 1994 4 THOMAS G B， WEIR M D， HASS J， et al Thomas calculus M 11th ed Boston: Addison Wesley， 2004 5 ZAKON E Mathematical analysis M S l : The Trillia Group， 2004 6 同济大学数学系 高等数学 ( 上 、下册 ) M 第 6 版 北京 : 高等教育出版社 ， 2007 7 LEON S J Linear algebra with applications M 影印版 北京 : 机械工业出版社 ， 2004 8 同济大学
23、数学系 工程数学线性代数 M 第 5 版 北京 : 高等教育出版社 ， 2007An Extension to High Order for DirectionalDerivative of Multivariate FunctionSUI Yun-kang( The Mechanical and Electrical Engineering College， Beijing University of Technology， Beijing 100124， China)Abstract: The directional derivative concept of the multivaria
24、te function is expanded from first order to highorder in this paper After getting the definition of second order directional derivative and the calculation formula，the high order directional derivative has been given Applications of the high order directional derivative areproposed as following: 1)
25、A general way to expanding simple variable function characteristics to multivariatefunction is presented 2) The necessary conditions， necessary and sufficient conditions of extreme value criterionof function are easily obtained 3) The geometrical meaning of semi-positive and semi-negative definite i
26、sexplained according to second-order directional derivatives 4) It is revealed that there is extreme value problemof the function when the matrix of the linear equations is positive or negative definite 5) Taylors expansionformula of the multivariate function is easily deducedKey words: directional derivative; high order directional derivative; semi-positive definite matrix; semi-negativedefinite matrix; taylors expansion of multivariate function( 责任编辑 郑筱梅 )0411
