1、微积分、梯度和Jensen不等式,邹博,2016年3月6日,机器学习中的数学,2/31,,机器学习中的数学,微积分、梯度和Jensen不等式 Taylor展开及其应用 常见概率分布和推导 指数族分布 共轭分布 统计量 矩估计和最大似然估计 区间估计 Jacobi矩阵 解密矩阵乘法 矩阵分解RQ和SVD 对称矩阵 凸优化,机器学习中的数学,3/31,,主要内容,常数e的计算过程 常见函数的导数 分部积分法及其应用 梯度 上升/下降最快方向 凸函数 Jensen不等式,机器学习中的数学,4/31,,回忆知识,求S的值：,机器学习中的数学,5/31,,两边夹定理,当xU(x0,r)时，有g(x)f(
2、x) h(x)成立，并且 ， ，那么,机器学习中的数学,6/31,,极限,由右图：sinx x tanx，xU(0,) 从而：1 x/sinx 1/cosx 即： cosx sinx/x 1 因为： 从而：该式将三角函数和多项式建立了极限关系,机器学习中的数学,7/31,,思考,该式的极限是多少？,机器学习中的数学,8/31,,对数函数的上升速度,机器学习中的数学,9/31,,问题分析,令 则：问：,机器学习中的数学,10/31,,复习微积分：极限存在定理,单调有界数列必有极限 单增数列有上界，则其必有极限,机器学习中的数学,11/31,,构造数列xn,机器学习中的数学,12/31,,自然常数
3、,根据前文中 的二项展开式，已经证明数组an单增有上界，因此，必有极限，记做e。 对实数x，总存在整数n，使得nx n+1，得，根据两边夹定理，函数 的极限存在，为e.,机器学习中的数学,13/31,,导数,简单的说，导数就是曲线的斜率，是曲线变化快慢的反应 二阶导数是斜率变化快慢的反应，表征曲线凸凹性 二阶导数连续的曲线，往往称之为“光顺”的。 还记得高中物理老师时常念叨的吗：加速度的方向总是指向轨迹曲线凹的一侧。 根据 可以得到函数 的导数，进一步根据换底公式、反函数求导等，得到其他初等函数的导数。,机器学习中的数学,14/31,,常用函数的导数,机器学习中的数学,15/31,,变换,两边
4、积分，得，这即分部积分法。 例：,机器学习中的数学,16/31,,微分应用,已知函数f(x)=xx，x0 求f(x)的最小值 领会幂指函数的一般处理套路 在信息熵章节中将再次遇到它附： =？ 在计算机算法跳跃表Skip List的分析中，用到了该常数。 背景：跳表是支持增删改查的动态数据结构，能够达到与平衡二叉树、红黑树近似的效率，而代码实现简单。,机器学习中的数学,17/31,,求解xx,机器学习中的数学,18/31,,积分应用：,机器学习中的数学,19/31,,方向导数,如果函数z=f(x,y)在点P(x,y)是可微分的，那么，函数在该点沿任一方向L的方向导数都存在，且有：其中，为x轴到方
5、向L的转角。,机器学习中的数学,20/31,,梯度,设函数z=f(x,y)在平面区域D内具有一阶连续偏导数，则对于每一个点P(x,y)D，向量为函数z=f(x,y)在点P的梯度，记做gradf(x,y) 梯度的方向是函数在该点变化最快的方向 考虑一座解析式为z=H(x,y)的山，在(x0,y0)的梯度是在该点坡度变化最快的方向。 梯度下降法 思考：若下山方向和梯度呈夹角，下降速度是多少？,机器学习中的数学,21/31,,凸函数,若函数f的定义域domf为凸集，且满足,机器学习中的数学,22/31,,一阶可微,若f一阶可微，则函数f为凸函数当前仅当f的定义域domf为凸集，且,机器学习中的数学,
6、23/31,,进一步的思考,结合凸函数图像和支撑超平面理解该问题 对于凸函数，其一阶Taylor近似本质上是该函数的全局下估计。 反之，如果一个函数的一阶Taylor近似总是起全局下估计，则该函数是凸函数。 该不等式说明从一个函数的局部信息，可以得到一定程度的全局信息。,机器学习中的数学,24/31,,二阶可微,若函数f二阶可微，则函数f为凸函数当前仅当dom为凸集，且若f是一元函数，上式表示二阶导大于等于0 若f是多元函数，上式表示二阶导Hessian矩阵半正定。,机器学习中的数学,25/31,,凸函数举例,指数函数 幂函数 负对数函数 负熵函数 范数函数 最大值函数 指数线性函数 Log
7、Sum Expmax(x1,x2xn),机器学习中的数学,26/31,,Jensen不等式：若f是凸函数,基本Jensen不等式若 则若 则,机器学习中的数学,27/31,,Jensen不等式是几乎所有不等式的基础,利用y=-logx是凸函数，证明：提示：任取a,b0，=0.5带入基本Jensen不等式 利用f(E(x)E(f(x)，(f是凸函数)，证明下式D0,机器学习中的数学,28/31,,注意到y=-logx在定义域上是凸函数,机器学习中的数学,29/31,,总结,以应用为目的的高等数学并不难，几乎所有问题都可以通过熟悉的结论细致的推导出来。 以机器学习的角度来看， 推导没什么意义，掌握方法即可。 更多关于凸优化的内容，将单独以一次课的形式详细探讨。,机器学习中的数学,30/31,,我们在这里,http:/ 视频/课程/社区 七月题库APP：Android/iOS http:/ 微博 研究者July 七月算法 邹博_机器学习 微信公众号 julyedu,机器学习中的数学,31/31,,感谢大家！恳请大家批评指正！,
