1、1 最近看神经网络的书籍时，看了论坛的一些相关帖子，可是还是有些地方不太明白，感觉很多训练函数参数的解释都是一笔带过，我这个初学者有点难理解，epochs 是最大训练次数，能否说也是迭代次数，即重复循环次数。lr 学习率怎么理解呢？特别是它的数字代表的什么意思呢？能否举例说明，谢谢。min_grad 最小梯度要求，针对的是所有函数的梯度？关于梯度这里也有点迷糊，网上把梯度当成导数理解，这样合适吗？还有梯度的计算，为什么要计算梯度呢？这里的梯度指的是所有传递函数的梯度？show 显示训练迭代过程，50 就代表每隔 50 次训练，显示一次训练进程，这样理解合适吗？以怎样的方式显示呢？是不是 per
2、formance 每隔 50 取一个点再连接起来？问题比较基础，也比较多，因为小弟初学者，还请多多理解。谢谢耐心的你，回答我的问题1.epochs 理解为最大迭代次数是没问题的2.lr 是学习率，这是权值调整过程中用到的一个参数，具体含义还需从权值调整的原理说起3.梯度和学习率一样，如果对算法原理不了解，很难解释清楚4.关于 show 你的理解是正确的对于梯度下降可以理解为每次权值和阀值的修改量大小，改动太小了，就可以认为网络收敛，可以停止训练了2请问：用 matlab 初始化 PSO 算法的 v、x 时，一下这两种方式应该都差不多吗？1.v=rand(N,D,1) 2. 用 for 循环赋值
3、： x(i,j)=rand 我在程序中试过最后结果都是 N*D的随机矩阵，是不是方法 2 用 for 略显繁琐些呢？曾经看过帖子，有人说在 matlab 下乱用for 循环是没有充分利用 matlab 的矩阵功能，所以我想，是不是在 matlab 下用 1 更好些呢？两种方法是完全一样的，第一种没有用循环，所以效果更好点，用循环会增加程序的运行时间3请教个问，要得急下图是两类样本，红色的是一类，蓝色的是一类，这样的样本能用吗？楼主能具体解释下数据不，神经网络预测的精确与否与数据有比较大的关系，简单来说，就是输入数据和输出数据存在关联性，因为网络本身可以看成是一个函数的4 发表于 2009-11
4、-6 09:07:31 |只看该作者 |倒序浏览 您好史老师,我以前用的是工具箱中 newff,train,sim。样本就是这些，训练精度达人满意的效果。现在自已写程序能否达到这个效果？我的样本是实际测量得出的。而且样本的数目根据实际情况已经不可能再增加.谢谢中午回去给你试下，不过你的数据里面只有训练数据了，没有测试数据了，一般工具箱函数精度高很多，我自己做的 BP 程序也存在预测效果稍差的问题楼主的问题解决了，应该是加上阀值，不是减阀值，正好反了，另外，建议楼主把输入数据归一化，输出归一不归一无所谓5 L=1 2 3 4;5 6 7 8;9 10 11 12L =1 2 3 45 6 7 8
5、9 10 11 12 std=corrcoef(L)%相关系数std =1 1 1 11 1 1 11 1 1 11 1 1 1 covL=cov(L)%协方差covL =16 16 16 1616 16 16 1616 16 16 1616 16 16 16 本帖最后由 niuniuyun 于 2009-10-26 17:27 编辑 6 很多自变量，一个因变量，如何用神经网络进行变量选择，找出和因变量最相关的几个自变量？ 用哪些神经网络好呢？原帖由 史峰 于 2009-10-15 17:32 发表 你好，BP 和 RBF 等都应该可以，各种网络间差异应该不是很大，楼主的问题的具体是怎样的呢，
6、能详细描述一下吗，比如数据的输入输出，训练集等等 一共有 644 个自变量，一个因变量。要在这 644 个自变量中选择和因变量最相关的。问题就是这样。 pca 好像能做。神经网络也可以，可是不知道如何下手。这个得具体问题具体分析，大体的思路是将所有自变量进行分组，所有分组的组合构成搜索空间，利用遗传算法找到最优的分组组合，对应的自变量就是筛选出来的输入变量7 for i=1:nReptnet = newff(p_z,t_z,n,tansig,purelin,traingdx);%net = newff(minmax(p_z),n,1,tansig,purelin,traingdx);% 初始化
7、网络%网络设置net.layers1.initFcn = initnw;net.inputWeights1,1.initFcn = rands;net.biases1,1.initFcn = rands;net = init(net);% 训练网络net.trainParam.show=100;net.trainParam.mc=0.3;net.trainParam.epochs=2000;net.trainParam.goal=1e-5;net,tr=train(net,p_z,t_z); %调用 TRAINGDX 算法训练 BP 网络%对 BP 网络进行仿真temp=sim(net,p_s
8、im_z);re = mapminmax(reverse,temp,TS); sum=re;%echo offend;例子如上，请问如何保存所有神经网络模型，好做为以后预测用？采用元胞数组，比如训练好一个网络 net，设定一个元胞数组 a=cell(1,5)，a1=net，用该网络预测用 sim(a1,-)就可以8 用 PSO 优化 BP 网络似乎效果比单纯用 BP 也没有太大改观啊 ，不知道大家仿真后效果如何？有的时候好像还不如 bp 训练的效果呀，该怎么调整呢？我的数据是 474 的矩阵， （74 个采样时间） ，输出是 174 的量，网络结构是 4-5-1、40/60/80 个粒子都试过
9、了 200 次左右的迭代。是不是样本少了呀？，单独用 BP 时一开始用的是 37 个采样时间的数值，拟合不是很好，后来又选了些数据，到 74 个采样点是，效果就很好了，同样的数据，用 PSO 优化该网络后的效果反而不怎么样了，还需要注意什么问题吗？谢谢诸位！是数据比较少，所以网络本身没有学习充分，加上优化方法后，虽然训练精确了，但是等于过拟合了，预测效果反而更差，楼主可以多找点数据，并且这个问题不少文献都有问题的9 您好，各位老师：我用 GUI 进行神经网络的编写，以前一直用的是神经网络工具箱中的 newff,train,sim函数。这次在 GUI 里也是用 这几个。在未编译前运行正常。可是编
10、译成 exe 后，却不可以用了。怎么解决？盼指教！神经网络工具箱不可用于 exe 文件，的确需要用的话需要自己神经网络程序10 已答复 问题 Matlab 的神经网络预测误差比较大，该怎样调整各位前辈：你们好！我刚刚接触神经网络不久，在用 BP 网络和 RBF 网络来进行预测时，得到的结果误差比较大。BP 网络，我也调整了很多次隐层单元个数和训练的次数，可是总是无法得到较为精确地结果；RBF 我也调整了很多 SPREAD 值，结果也很不理想！如果不是数据的原因，我想知道我的程序有哪些不足之处和需要改进的地方！希望各位前辈能帮我修改一下,并帮我指出一下。我在此表示真诚的感谢！代码我一起发过去！还
11、有一个问题，因为网络每次训练的结果不一样，我想把其中的一次保存起来，下次训练时得到相同的结果，我应该怎么办？（我用过 save filename net 和 load filename net，可不知道该放在程序什么位置）非常期待各位的回音！谢谢大家了!不好意思，我不应该添加附件的，让大家花 M 币BP 代码：clc;clear;close all;%输入样本数据，前十组用来作训样本练，后面四组用来预测p=308.5 449.9 1104.6 870.4 25.7;68 70 330.2 58.5 19.4;133.3 216.4 1572.5 1311.6 25.9;151.8 215.2
12、1155.5 859.4 24.1;69.8 82.1 517.5 107.9 18;82.8 171.6 1102.4 780.7 27.6;139.8 199 802.1 478.1 25.7;61.7 99.1 541.3 102.9 19.7;266.6 310.8 1850.2 1588.1 27;98 111.7 968.6 739.8 26.1;157.5 281.1 911.9 415.6 20.2;119.8 268.9 1593.3 1291.3 28;28.1 44.5 618.9 367.9 27.4;321 494.7 1364.1 1062.8 27.9;%目标向量
13、t=12.14 5.48;6.8 11.58;7.45 8.29;7.3 2.17;2.35 3.02;2.25 0.29;5.26 3.9;3.37 1.7;30.64 27.25;10.11 7.52;2.79 2.27.78 4.741.57 0.5413.25 6.58 ;%输入向量归一for i=1:5P(i,:)=(p(i,:)-min(p(i,:)/(max(p(i,:)-min(p(i,:); end%目标向量归一for i=1:2T(i,:)=(t(i,:)-min(t(i,:)/(max(t(i,:)-min(t(i,:);end%学习样本P_train=P(:,1) P(
14、:,2) P(:,3) P(:,4) P(:,5) P(:,6) P(:,7) P(:,8) P(:,9) P(:,10);T_train=T(:,1) T(:,2) T(:,3) T(:,4) T(:,5) T(:,6) T(:,7) T(:,8) T(:,9) T(:,10);%测试样本P_test=P(:,11) P(:,12) P(:,13) P(:,14) ;T_test=T(:,11) T(:,12) T(:,13) T(:,14) ; %隐层单元个数向量为 15net=newff(minmax(P),15,2,tansig,logsig);net.trainParam.epoch
15、s=500;net=init(net);net=train(net,P_train,T_train);Temp=sim(net,P_test); y(1,:)=Temp(1,:);y(2,:)=Temp(2,:);Y1=y(1,:);y(2,:);%求预测误差，画出误差曲线for i=1:4 error1(i)=norm(Y1(:,i)-T_test(:,i);endfigure;plot(1:4,error1);hold off;for i=1:2%反归一化TT(i,:)=Temp(i,:)*(max(t(i,:)-min(t(i,:)+min(t(i,:); endfor i=1:2T2(
16、i,:)=T(i,:)*(max(t(i,:)-min(t(i,:)+min(t(i,:); endRBF 代码：clc;clear;close all;%输入样本数据，前十组用来作训样本练，后面四组用来预测p=308.5 449.9 1104.6 870.4 25.7;68 70 330.2 58.5 19.4;133.3 216.4 1572.5 1311.6 25.9;151.8 215.2 1155.5 859.4 24.1;69.8 82.1 517.5 107.9 18;82.8 171.6 1102.4 780.7 27.6;139.8 199 802.1 478.1 25.7;
17、61.7 99.1 541.3 102.9 19.7;266.6 310.8 1850.2 1588.1 27;98 111.7 968.6 739.8 26.1;157.5 281.1 911.9 415.6 20.2;119.8 268.9 1593.3 1291.3 28;28.1 44.5 618.9 367.9 27.4;321 494.7 1364.1 1062.8 27.9;%目标向量t=12.14 5.48;6.8 11.58;7.45 8.29;7.3 2.17;2.35 3.02;2.25 0.29;5.26 3.9;3.37 1.7;30.64 27.25;10.11 7
18、.52;2.79 2.27.78 4.741.57 0.5413.25 6.58 ;%归一化的输入向量for i=1:5P(i,:)=(p(i,:)-min(p(i,:)/(max(p(i,:)-min(p(i,:); endfor i=1:2T(i,:)=(t(i,:)-min(t(i,:)/(max(t(i,:)-min(t(i,:);end%学习样本P_train=P(:,1) P(:,2) P(:,3) P(:,4) P(:,5) P(:,6) P(:,7) P(:,8) P(:,9) P(:,10);T_train=T(:,1) T(:,2) T(:,3) T(:,4) T(:,5)
19、 T(:,6) T(:,7) T(:,8) T(:,9) T(:,10);%测试样本P_test=P(:,11) P(:,12) P(:,13) P(:,14) ;T_test=T(:,11) T(:,12) T(:,13) T(:,14) ; %建立网络net=newrbe(P_train,T_train,1);temp=sim(net,P_test);y(1,:)=temp(1,:);y(2,:)=temp(2,:);Y1=y(1,:);y(2,:); temp=sim(net,P_test)%求预测误差for i=1:4error1(i)=norm(Y1(:,i)-T_test(:,i)
20、;endfigure;plot(1:4,error1,-);hold on;史峰 程序没问题，数据太少了，需要保存网络用 save net 就可以，下次需要使用用 load net，然后用 sim(net)save net 放在程序快结尾的地方，load net 放在下次要调用该保存过的网络时，程序开始的地方，你可以选很多次训练下来，结果好的那个网络拟合其他数据，呵呵，很好用的！象前面几位老师说的，你的数据是太少了。一般来说目标向量就是你用神经网络的目的。预测的话是预测目标值；评估的话就是评估结果，分类是分类结果，要看你要干什么。目标向量的维数看你需要几个结果，如果他们可以用一个网络仿真的话就
21、归于一个也没问题，一般用一个输出比较好，免得几个的输入影响不同时造成困难。我是搞预测的，有问题共同交流:victory:11 我现在的数据 y 和 x 都是离散点的矩阵，想实现 y 对 x 的导数。可用 diff(y)实现却出错了。比如如下程序要实现 y 对 x 的导数该如何实现 clccleary=1 2 3 4 5 4 3 2 1 21.1 2.2 3.5 4.2 5.1 4.2 3.3 2.1 2.4 2.1;x=0.1:0.1:1;figure(1)plot(x,y)diff(y)我看过 polyder 是利用的多项式的系数进行求导的。我现在这个不是多项目式，我认为是不能用 polyd
22、er 进行求的。clccleary=1 2 3 4 5 4 3 2 1 2;1.1 2.2 3.5 4.2 5.1 4.2 3.3 2.1 2.4 2.1;x=0.1:0.1:1;figure(1)plot(x,y)y1=;for i=1:2y1=y1;diff(y(i,:);endfigure(2)plot(x,y1,*)我这样运行后怎么 Y1 变成了 2 行 9 列的矩阵了。我是一个 2 行 10 列的呀那位高手帮我看看。当然是 2 行 9 列的矩阵。help diff 中写得很清楚：Y = diff(X) calculates differences between adjacent e
23、lements of X. If X is a vector, then diff(X) returns a vector, one element shorter than X, of differences between adjacent elements: X(2)-X(1) X(3)-X(2) . X(n)-X(n-1)If X is a matrix, then diff(X) returns a matrix of row differences: X(2:m,:)-X(1:m-1,:)12 老师好！我在自己的一个仿真试验中（基于 matlab/sinmulink） ，运用到神经
24、网络，这是一个用matlab 训练好的一个 bp，神经网络模块（如附件图中）是用 gensim 函数生成的。我把自己的问题简单的用附件上的图形说明了一下。在图中输入信号的范围并不是-1 1之间，所以我想，在输入给神经网络模块的之前应该进行归一化处理，同样的神经网络的输出也应该进行反归一化处理吧？可是这个归一化和反归一化模块应该如何建立呢？麻烦老师给我详细的解答一下，谢谢了！用 s 函数来写，如果网络训练是事先训练好地话，首先是如果训练数据归一化处理了，那么预测数据肯定也需要归一化处理，如果训练数据没有归一化处理，那么测试数据不需要归一化处理。测试数据归一化时需要知道训练数据归一化地信息，比如下
25、面，input_train 和 output_train是训练数据，input_test 和 output_test 是测试数据，网络是 net%选连样本输入输出数据归一化inputn,inputps=mapminmax(input_train);outputn,outputps=mapminmax(output_train);% BP 网络预测%预测数据归一化inputn_test=mapminmax(apply,input_test,inputps);%网络预测输出an=sim(net,inputn_test);%网络输出反归一化BPoutput=mapminmax(reverse,an,
26、outputps);这样就可以了，并且你这个 S 函数也比较简单，没有状态量，直接输出就可以了，具体地查下相关地 S 函数编写方法13http:/ Matlab 怎样解释这种仿真的合理性 复制链接不好意思，老问题了，各位大哥勿怪啊。我曾经把用整个时间段的电流来仿真这个想法跟师兄们说过，他们对神经网络不太理解，但是对于随机取一部分值，一部分用来训练，另外一部分用来仿真，他们比较认同这个预测结果，如果想我刚才提出那种仿真，即全部输入量作为仿真对象，他们就不同意了，始终认为说服力不够，好比提前把答案看了一下再去做原题，即使原题里面有小部分新题（即未参与训练的数据） ，但是大体结果不会改变，因为训练的
27、数据占整个数据的大部分。不知道我的这种描述容易理解么？他们当时就是提出这个疑问，我不知道如何用专业的神经网络知识来打消他们的这种疑问，史大哥能否对这种质疑给出专家回答呢？呵呵，麻烦你了。 本帖最后由 李洋 于 2009-12-13 23:29 编辑 答：恩，你同学说的是有道理的，其实前面几个问题我看已经预测的挺不错了，比如对于预测精度，结果已经比较好了，但是看误差百分比的话非常小的。增加训练样本的目的就是为了能够使网络能够更加精确拟合，不过网络不是万能的，拟合能力也是有限度的，所以很多复杂的问题用网络拟合效果也不是很好。14http:/ 训练 BP 网络时候，带有验证集的情况怎么写呢？ 复制链
28、接%注意要把 Current Directory 调到放 tr ts 的目录！clcclear all%加载训练集测试集load tr.txt;load ts.txt;traindata=tr;testdata=ts; % traindata=load (c:tr.txt);% testdata=load(c:ts.txt);%转置后复制给新矩阵train_input=traindata(:,1:4);train_output=traindata(:,5);P=train_input;T=train_output;%归一话矩阵 inputn,mininput,maxinput,outputn,
29、minoutput,maxoutput=premnmx(P,T);%建立网络 net_1=newff(minmax(inputn),9,1,tansig,purelin,traingdm)inputWeights=net_1.IW1,1inputbias=net_1.b1layerWeights=net_1.LW2,1layerbias=net_1.b2net_1.trainParam.show=50;net_1.trainParam.lr=0.050;net_1.trainParam.mc=0.9;net_1.trainParam.epochs=10000;net_1.trainParam.
30、goal=1e-3;%训练网络net_1,tr=train(net_1,inputn,outputn,test_inputn,test_output);%预测 训练集 输出train_simu=sim(net_如何选取测试数据集？ 分为三种样本：50%的训练集、 25%验证集和 25%测试集。其中， a.训练集：估计模型； b.验证集：确定网络结构或者控制模型复杂度的参数； c.测试集：检验最终选择的模型性能如何。 就是这样的 b.验证集：确定网络结构或者控制模型复杂度的参数； 要是加上交叉验证就更好了。用 dividerand 就可以了已答复 Matlab 问题:样本需要有什么特点 复制链接楼主能具体解释下数据不，神经网络预测的精确与否与数据有比较大的关系，简单来说，就是输入数据和输出数据存在关联性，因为网络本身可以看成是一个函数的
