收藏 分享(赏)

提高神经网络泛化能力的方法概述_0411.ppt

上传人:gnk289057 文档编号:6528871 上传时间:2019-04-15 格式:PPT 页数:28 大小:98.50KB
下载 相关 举报
提高神经网络泛化能力的方法概述_0411.ppt_第1页
第1页 / 共28页
提高神经网络泛化能力的方法概述_0411.ppt_第2页
第2页 / 共28页
提高神经网络泛化能力的方法概述_0411.ppt_第3页
第3页 / 共28页
提高神经网络泛化能力的方法概述_0411.ppt_第4页
第4页 / 共28页
提高神经网络泛化能力的方法概述_0411.ppt_第5页
第5页 / 共28页
点击查看更多>>
资源描述

1、提高神经网络泛化能力的方法概述,主要内容,神经网络的泛化能力提高神经网络泛化能力的方法研究展望,神经网络概述,定义 :一个神经网络是一个由若干个简单处理单元(也称神经元)构成的规模宏大的并行分布式处理器,天然地具备存储知识和使之可用的特性。,神经网络的拓扑结构,3层前传反馈神经网络结构图基本要素: 神经元、连接权、激活函数,一、神经网络的泛化能力,1. 定义:神经网络的泛化能力是指(经过用训练样本集)训练后的神经网络正确预测和识别训练样本集外其它样本的能力。,影响泛化能力的因素,1) 数据源的实际复杂度 2) 学习样本的数量和分布 3) 网络结构和规模 4) 初始权值、学习算法等,两个主要的研

2、究方面, 网络结构确定,需要多少样本可以保证训练后的网络具有较好的泛化能力 样本数确定,如何选择较优的网络结构使之对训练集外的输入模式产生较好的泛化,样本数确定后,问题:当样本数确定后,如何使训练后 的神经网络具有较好泛化能力?,二、现有提高泛化能力的方法, 对现有样本进行一些预处理 网络结构优化算法 惩罚项方法 训练的早期中止法,1. 对现有样本进行一些预处理, 在样本中加入噪音进行训练 对样本进行聚类,2. 网络结构优化算法, 并行学习法 简单并行法网络委员会法 串行修改法 剪枝法增长法,并行学习法之一:简单并行法, 首先,将样本分为学习样本集和确认样本集; 其次,对不同类型、规模的多个网

3、络用同样的学习样本集进行并行训练; 再次,用独立于学习集的确认集比较它们的泛化性能; 最后,从中选择一个最好的。,简单并行法的不足,浪费了大量的计算结果可能对测试样本集敏感,并行学习法之二:网络委员会法, 将多个神经网络组成一个委员会 委员会的输出是综合考虑委员会中各成员的输出最后决定的 一种简单表决方法是,取所有网络输出的平均值或加权平均值,串行修改法之一:剪枝法,训练从一个结构明显冗余的网络开始,然后逐步删除多余的神经元或连接权。 灵敏度法:估计训练后的节点或权对网络误差的重要程度,删除敏感度值较小者。 OBD法:衡量权值重要性,删除较小者。,剪枝法的不足,是一种半理论半经验的方法,不同的

4、剪纸算法都有一些经验参数需要设定由于在修剪过程中一次之改变一个节点或权,导致计算时间较长,串行修改法之二:增长法,训练从一个最简网络开始,不断增加神经元或连接权直至达到要求的精度。 级联相关法:从一个不包含隐单元开始,然后逐次增加隐单元和相关连接。 崛起算法 (Upstart Algorithm) 铺瓦式方法 (Tiling Algorithm),增长法的不足,很难确定什么时候中止增长过程若控制不当,会造成过拟和问题,剪枝法与增长法的结合,网络从初始间规模开始增长;达到给定的性能指标后,再进行修剪。,3. 惩罚项法,指导思想:训练误差网络误差网络误差项就是原来的误差函数,复杂度项是衡量网络结构

5、复杂程度的一项。由传统方法中只优化网络误差,变为在优化误差的同时优化网络的复杂度。, “复杂度项”,复杂度项的作用,在训练过程中:抑制一些连接权不让它增长太大驱使一些不重要的连接权逐渐减小为零,常用的几种惩罚项, weight-decay Weight-elimination Combination of 1. and 2. Structural learning with forgetting Inner-product,4. 训练的早期中止法, 将样本空间分成训练集、确认集和测试集三部分 训练集用于网络权值的修正,确认集用于泛化能力的评估,测试集则比较训练后的模型的泛化性能 在训练过程中,

6、利用观察网络的学习曲线,来判定何时终止训练,操作步骤, 将样本空间分成训练集、确认集和测试集三部分; 用训练集和确认集来训练不同的候选模型; 用测试集测量被选用模型的泛化性能。,训练过程,用训练集训练网络一个周期后,将确认集中的样本逐次呈现给网络得到确认误差;确认过程结束后,训练重新开始另一个周期,重复以上过程;当训练过程中确认集上的误差不降反升时,训练提前终止。,交叉验认,把N个样本组成的样本空间分成k个子集; 选取一个子集作为测试集,其余子集用于一个网络模型的训练; 再选取另一个子集作为测试集,重复上述过程共K次; 对该模型泛化性能的最终评估,是求所有试验的测试误差的平均值。,三、研究展望,1. 将统计学习理论、支撑向量机等应用于结 构优化算法和学习算法中,指导算法的进行。2. 将进化计算、模糊系统等计算职能技术应用到神经网络学习算法中,去帮助选择和动态调整网络中的参数和结构,并尽可能地获得全局最优。,结束语,Thanks!,

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 医学治疗 > 神经内外科

本站链接:文库   一言   我酷   合作


客服QQ:2549714901微博号:道客多多官方知乎号:道客多多

经营许可证编号: 粤ICP备2021046453号世界地图

道客多多©版权所有2020-2025营业执照举报