1、神经网络的数学基础,1 信号与权值向量空间 2 神经网络中的线性变换 3 性能曲面和最优点 4 性能优化,1 信号与权值向量空间,线性向量空间 线性无关 生成空间 内积 范数 正交性 向量展开式,（一）线性向量空间的定义,一个线性向量空间X是一组定义在标量域F上且满足如下条件的元素集合：,X,假设C0,1是定义在0,1区间上的所有连续函数的集合，该集合的两个元素是：,C0,1也是一个线性空间,（二）线性无关,（三）生成空间,假设X是一个线性空间，且u1,u2,um是X中一般向量的子集。该子集能够生成X ，当且仅当对每一个xX，都存在一组标量a1,a2,am，满足：x=a1u1+a2u2+amu
2、m。也就是说，如果空间中的每个向量都能写成该子集中向量的线性组合，那么这个子集就能够生成一个空间。 基集：X的基集是由生成X的线性无关的向量所组成的集合。任何基集包含了生成空间所需要的最少个数的向量。,（四）内积,内积是许多神经网络操作的基础,但是这并不是惟一可能的内积形式！,（五）范数,如果一个标量函数|x|满足以下一些性质，则称其为范数：,范数基于内积的定义：,角度：,（六）正交性,如果两个向量x, y, 满足(x,y)=0, 那么说这两个向量是正交的。 正交的向量空间：如果向量xX正交于子空间X1中的每一个向量，则x正交于子空间X1，通常将其记为xX. GramSchmidt正交化方法(
3、Charpter 5 Demo) 标准正交向量：,（7）向量展开式,如果向量空间X的基集u1,u2,un,那么任意向量xX有唯一的展开式：,所以，有限维向量空间中的任意向量都可以用一列数来表示：,思考：如何求系数ai ?,互逆基向量,2 神经网络中的线性变换,线性变换 矩阵表示 基变换 特征值和特征向量,（一）线性变换,一个变换是线性的，如果：,（二）矩阵表示,对于两个有限维向量空间之间的任意线性变换都存在与其相应的矩降表示。,基变换,特征值和特征向量,3 性能曲面和最优点,性能学习开发的背景知识： 泰勒级数 方向导数 极小点 优化的必要条件 二次函数,（一）泰勒级数,方向导数,极小点,优化的必要条件,二次函数,4 性能优化,前面一章我们开始了性能曲面的研究。现在我们来寻求搜索参数空间和确定性能曲面最优点的算法(求给定神经网络的最优权值和偏置值),性能优化,最速下降法 牛顿法 共轭梯度法,最速下降法,牛顿法,共轭梯度法,
