BP算法介绍汇总课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,BP算法介绍,激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：,o=f,（,net,）,1,、线性函数（,Liner Function,）,f,（,net,）,=k*net+c,激活函数,(Activation Function),net,o,o,c,2024/9/16,2, if net,f,（,net,）,= k*netif |net|0,为一常数，被称为饱和值，为该神经元的最大输出。,2,、非线性斜面函数,(Ramp Function),2024/9/16,3,2,、非线性斜面函数（,Ramp Function,）,-,-,net,o,2024/9/16,4,if net,f,（,net,）,=,-if net ,、,、,均为非负实数，,为阈值,二值形式：,1if net,f,（,net,）,=,0if net ,双极形式：,1if net,f,（,net,）,=,-1if net ,3,、阈值函数（,Threshold Function,）阶跃函数,2024/9/16,5,3,、阈值函数（,Threshold Function,）阶跃函数,-,o,net,0,2024/9/16,6,压缩函数（,Squashing Function,）和逻辑斯特函数（,Logistic Function,）。,f,（,net,）,=a+b/(1+exp(-d*net),a,，,b,，,d,为常数。它的饱和值为,a,和,a+b,。,最简单形式为：,f,（,net,）,= 1/(1+exp(-d*net),函数的饱和值为,0,和,1,。,S,形函数有较好的增益控制,4,、,S,形函数,2024/9/16,7,4,、,S,形函数,a+b,o,(0,c),net,a,c=a+b/2,2024/9/16,8,生物神经网,六个基本特征,神经元及其联接,、,信号传递,、,训练,、,刺激,与,抑制、累积效果,、,阈值,。,人工神经元的基本构成,课内容回顾,x,n,w,n,x,1,w,1,x,2,w,2,net=XW,2024/9/16,9,激活函数与,M-P,模型,线性函数、非线性斜面函数、,阈值函数,S,形函数,M-P,模型,上次课内容回顾,x,2,w,2,f,o=f,（,net,）,x,n,w,n,net=XW,x,1,w,1,2024/9/16,10,简单单级网,x,1,x,2,x,n,o,1,o,2,o,m,w,nm,w,11,w,1m,w,2m,w,n1,输出层,输入层,2024/9/16,11,W=,（,w,ij,）,输出层的第,j,个神经元的网络输入记为,net,j,：,net,j,=x,1,w,1j,+x,2,w,2j,+x,n,w,nj,其中, 1 j m,。取,NET=,（,net,1,，,net,2,，,，,net,m,）,NET=XW,O=F,（,NET,）,简单单级网,2024/9/16,12,单级横向反馈网,输出层,x,1,o,1,w,11,w,1m,x,2,o,2,w,2m,x,n,o,m,w,n1,输入层,V,2024/9/16,13,V=,（,v,ij,）,NET=XW+OV,O=F,（,NET,）,时间参数,神经元的状态在主时钟的控制下同步变化,考虑,X,总加在网上的情况,NET,（,t+1,）,=X,（,t,）,W+O,（,t,）,V,O(t+1)=F(NET(t+1),O,（,0,）,=0,考虑仅在,t=0,时加,X,的情况。,稳定性判定,单级横向反馈网,2024/9/16,14,多级网,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,2024/9/16,15,层次划分,信号只被允许从较低层流向较高层。,层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。,输入层,：被记作第,0,层。该层负责接收来自网络外部的信息,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,2024/9/16,16,第,j,层,：第,j-1,层的直接后继层（,j0,），它直接接受第,j-1,层的输出。,输出层,：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。,隐藏层,：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,2024/9/16,17,约定,:,输出层的层号为该网络的层数：,n,层网络，或,n,级网络。,第,j-1,层到第,j,层的联接矩阵为第,j,层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用,W,（,j,）,表示第,j,层矩阵,。,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,W,(1),W,(2),W,(3),W,(h),2024/9/16,18,多级网 层网络,输出层,隐藏层,输入层,o,1,o,2,o,m,x,1,x,2,x,n,W,(1),W,(2),W,(3),W,(h),2024/9/16,19,非线性激活函数,F(X)=kX+C,F,3,(F,2,(F,1,(XW,(1),)W,(2),)W,(3),),多级网,2024/9/16,20,循环网,x,1,o,1,输出层,隐藏层,输入层,x,2,o,2,o,m,x,n,2024/9/16,21,如果将输出信号反馈到输入端,就可构成一个多层的循环网络。,输入的原始信号被逐步地加强、被修复。,大脑的,短期记忆特征,:,看到的东西不是一下子就从脑海里消失的。,稳定,：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。,循环网,2024/9/16,22,人工神经网络最具有吸引力的特点是它的学习能力。,1962,年，,Rosenblatt,给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。,人工神经网络的表达能力大大地限制了它的学习能力。,人工神经网络的学习过程就是对它的训练过程,人工神经网络的训练,2024/9/16,23,无导师学习,(Unsupervised Learning),与无导师训练,(Unsupervised Training),相对应,抽取样本集合中蕴含的统计特性,，并以神经元之间的联接权的形式存于网络中。,无导师学习,2024/9/16,24,有导师学习,(Supervised Learning),与有导师训练,(Supervised Training),相对应。,输入向量与其对应的输出向量构成一训练。,有导师学习的训练算法的主要步骤包括：,1,）,从样本集合中取一个样本（,A,i,，,B,i,）；,2,）,计算出网络的实际输出,O,；,3,）,求,D=B,i,-O,；,4,）,根据,D,调整权矩阵,W,；,5,） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。,有导师学习,2024/9/16,25,Widrow,和,Hoff,的写法,：,W,ij,(,t+1,),=W,ij,(,t,),+,(,y,j,- a,j,(,t,),o,i,(,t,),也可以写成：,W,ij,(,t+1,),=W,ij,(,t,),+W,ij,(,t,),W,ij,(t),=,j,o,i,(t),j,=y,j,- a,j,(t),Grossberg,的写法为：,W,ij,(t)=a,i,(t)(o,j,(t)-W,ij,(t),更一般的,Delta,规则为：,W,ij,(,t,),=g,(,a,i,(t),，,y,j,，,o,j,(,t,),，,W,ij,(,t,),Delta,规则,2024/9/16,26,1,概述,2,基本,BP,算法,3,算法的改进,4,算法的实现,5,算法的理论基础,6,几个问题的讨论,BP,网络,2024/9/16,27,1,、,BP,算法的出现,非循环多级网络的训练算法,UCSD PDP,小组的,Rumelhart,、,Hinton,和,Williams1986,年独立地给出了,BP,算法清楚而简单的描述,1982,年，,Paker,就完成了相似的工作,1974,年，,Werbos,已提出了该方法,2,、弱点,：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。,3,、优点：,广泛的适应性和有效性。,一,概述,2024/9/16,28,4,、,BP,网络主要用于,1,）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。,2,）模式识别：用一个特定的输出向量将它与输入向量联系起来。,3,）分类：把输入向量 以所定义的合适方式进行分类。,4,）数据压缩：减少输出向量维数以便于传输或存储。,概述,2024/9/16,29,1,网络的构成,神经元的网络输入：,net,i,=x,1,w,1i,+x,2,w,2i,+x,n,w,ni,神经元的输出：,二,基本,BP,算法,2024/9/16,30,应该将,net,的值尽量控制在收敛比较快的范围内,可以用其它的函数作为激活函数，只要该函数是处处可导的,输出函数分析,0.5,f (net),0.25,o,0,1,1,（,0,0.5,）,net,（,0,0,）,o,2024/9/16,31,网络的拓扑结构,x,1,o,1,输出层,隐藏层,输入层,x,2,o,2,o,m,x,n,W,(1),W,(2),W,(3),W,(L),2024/9/16,32,BP,网的结构,输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定,实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。,BP,网一般都选用二级网络。,网络的拓扑结构,2024/9/16,33,网络的拓扑结构,x,1,o,1,输出层,隐藏层,输入层,x,2,o,2,o,m,x,n,W,V,2024/9/16,34,样本：,(,输入向量，理想输出向量,),权初始化：,小随机数与饱和状态；不同保证网络可以学。,1,、向前传播阶段：,（,1,）从样本集中取一个样本,(X,p,，,Y,p,),，将,X,p,输入网络；,（,2,）计算相应的实际输出,O,p,：,O,p,=F,l,(F,2,(F,1,(X,p,W,(1),)W,(2),)W,(L),),2,训练过程概述,2024/9/16,35,2,、向后传播阶段 误差传播阶段：,（,1,）计算实际输出,O,p,与相应的理想输出,Y,p,的差；,（,2,）按极小化误差的方式调整权矩阵。,（,3,）网络关于第,p,个样本的误差测度：,2,训练过程概述,（,4,） 网络关于整个样本集的误差测度：,2024/9/16,36,3,误差传播分析,1,、输出层权的调整,w,pq,= w,pq,+w,pq,w,pq,=,q,o,p,=f,n, (net,q,)(y,q,-o,q,)o,p,=o,q,(1-o,q,) (y,q,-o,q,)o,p,w,pq,AN,p,AN,q,第,L-1,层,第,L,层,w,pq,2024/9/16,37,2,、隐藏层权的调整,AN,p,AN,q,AN,h,v,hp,pk-1,1k,w,p1,w,pq,qk,w,pm,mk,第,k-2,层,第,k,层,第,k-1,层,2024/9/16,38,2,、隐藏层权的调整,pk-1,的值和,1k,，,2k,， ，,mk,有关,不妨认为,pk-1,通过权,w,p1,对,1k,做出贡献，,通过权,w,p2,对,2k,做出贡献，,通过权,w,pm,对,mk,做出贡献。,pk-1,= f,k-1,(net,p,) (w,p1,1k,+ w,p2,2k,+ w,pm,m k,),2024/9/16,39,v,hp,=v,hp,+v,hp,v,hp,=,pk-1,o,hk-2,=f,k-1,(net,p,)( w,p1,1k,+ w,p2,2k,+ + w,pm,mk,)o,hk-2,=o,pk-1,(1-o,pk-1,)( w,p1,1k,+ w,p2,2k,+ + w,pm,mk,)o,hk-2,2,、隐藏层权的调整,AN,p,AN,q,AN,h,v,hp,pk-1,1k,w,p1,w,pm,qk,w,pq,mk,第,k-2,层,第,k,层,第,k-1,层,2024/9/16,40,基本,BP,算法,net,i,=x,1,w,1i,+x,2,w,2i,+ +x,n,w,ni,内容回顾,2024/9/16,41,内容回顾,x,1,o,1,输出层,隐藏层,输入层,x,2,o,2,o,m,x,n,W,V,2024/9/16,42,样本,权初始化,向前传播阶段,O,p,=F,n,(F,2,(F,1,(X,p,W,(1),)W,(2),)W,(n),),误差测度,内容回顾,2024/9/16,43,向后传播阶段 误差传播阶段,输出层权的调整,w,pq,= ,q,o,p,=f,n, (net,q,)(y,q,-o,q,)o,p,=o,q,(1-o,q,) (y,q,-o,q,)o,p,隐藏层权的调整,内容回顾,AN,p,AN,q,AN,h,v,hp,pk-1,1k,w,p1,w,pq,qk,w,pm,mk,v,hp,=o,pk-1,(1-o,pk-1,)( w,p1,1k,+ w,p2,2k,+ + w,pm,mk,)o,hk-2,2024/9/16,44,样本集：,S=(X,1,Y,1,),(,X,2,Y,2,),(,X,s,Y,s,),基本思想 ：,逐一地根据样本集中的样本,(X,k,Y,k,),计算出实际输出,O,k,和误差测度,E,1,，对,W,(1),，,W,(2),，,，,W,(L),各做一次调整，重复这个循环，直到,E,p, do,4.1,E=0;,基本,BP,算法,2024/9/16,46,4.2,对,S,中的每一个样本（,X,p,Y,p,）：,4.2.1,计算出,X,p,对应的实际输出,O,p,；,4.2.2,计算出,E,p,；,4.2.3 E=E+E,p,；,4.2.4,根据相应式子调整,W,(L),；,4.2.5 k=L-1,；,4.2.6 while k0 do,4.2.6.1,根据相应式子调整,W,(k),；,4.2.6.2 k=k-1,4.3 E=E/2.0,基本,BP,算法,2024/9/16,47,1,、,BP,网络接受样本的顺序对训练结果有较大影响。它更偏爱较后出现的样本,2,、,给集中的样本安排一个适当的顺序，是非常困难的。,3,、,样本顺序影响结果的原因：,分别依次,4,、,用,(X,1,Y,1,),，（,X,2,Y,2,），,，（,X,s,Y,s,）的,总效果,修改,W,(1),，,W,(2),，,，,W,(L),。,w,(k),ij,=,p,w,(k),ij,算法的改进,2024/9/16,48,1 for k=1 to L do,1.1,初始化,W,(k),；,2,初始化精度控制参数,；,3 E=+1;,4 while E do,4.1 E=0;,4.2,对所有的,i,，,j,，,k,：,w,(k),ij,=0,；,消除样本顺序影响的,BP,算法,2024/9/16,49,4.3,对,S,中的每一个样本（,X,p,Y,p,）：,4.3.1,计算出,X,p,对应的实际输出,O,p,；,4.3.2,计算出,E,p,；,4.3.3 E=E+E,p,；,4.3.4,对所有,i,，,j,根据相应式子计算,p,w,(L),ij,；,4.3.5,对所有,i,，,j,：,w,(L),ij,= w,(L),ij,+,p,w,(L),ij,；,4.3.6 k=L-1,；,4.3.7 while k0 do,4.3.7.1,对所有,i,j,根据相应式子计算,p,w,(k),ij,；,4.3.7.2,对所有,i,j,：,w,(k),ij,= w,(k),ij,+,p,w,(k),ij,；,4.3.7.3 k=k-1,4.4,对所有,i,，,j,，,k,：,w,(k),ij,= w,(k),ij,+ w,(k),ij,;,4.5 E=E/2.0,2024/9/16,50,较好地解决了因样本的顺序引起的精度问题和训练的抖动问题,收敛速度：比较慢,偏移量：给每一个神经元增加一个偏移量来加快收敛速度,冲量,：,联接权的本次修改要考虑上次修改的影响，以减少抖动问题,算法分析,2024/9/16,51,主要数据结构,WH,，,m,输出层的权矩阵；,Vn,，,H,输入（隐藏）层的权矩阵；,m,输出层各联接权的修改量组成的向量；,H,隐藏层各联接权的修改量组成的向量；,O,1,隐藏层的输出向量；,O,2,输出层的输出向量；,(X,，,Y),一个样本。,算法的实现,2024/9/16,52,用不同的小伪随机数初始化,W,，,V,；,初始化精度控制参数,；学习率,；,循环控制参数,E=+1,；循环最大次数,M,；循环次数控制参数,N=0,；,while E & N0,，此时,w,ij,0,取,E,0,w,ij,2024/9/16,59,最速下降法，要求,E,的极小点,而其中的,所以，,2024/9/16,60,最速下降法，要求,E,的极小点,令,所以,w,ij,=,j,o,i,为学习率,2024/9/16,61,o,j,=f(net,j,),容易得到,AN,j,为输出层神经元,从而,2024/9/16,62,AN,j,为输出层神经元,2024/9/16,63,AN,j,为输出层神经元,所以，,故，当,AN,j,为输出层的神经元时，它对应的联接权,w,ij,应该按照下列公式进行调整：,2024/9/16,64,AN,j,为隐藏层神经元,函数,2024/9/16,65,AN,j,为隐藏层神经元,net,k,=,o,j,o,2,o,1,o,Hh,net,k,是,o,j,下一级的神经元的网络输入,2024/9/16,66,AN,j,为隐藏层神经元,2024/9/16,67,AN,j,为隐藏层神经元,2024/9/16,68,AN,j,为隐藏层神经元,2024/9/16,69,收敛速度问题,局部极小点问题,逃离,/,避开局部极小点,：,修改,W,、,V,的初值并不是总有效。,逃离 统计方法；,Wasserman,，,1986,将,Cauchy,训练与,BP,算法结合起来，可以在保证训练速度不被降低的情况下，找到全局极小点。,几个问题的讨论,2024/9/16,70,网络瘫痪问题,在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛,稳定性问题,用修改量的综合实施权的修改,连续变化的环境，它将变成无效的,几个问题的讨论,2024/9/16,71,步长问题,BP,网络的收敛是基于无穷小的权修改量,步长太小，收敛就非常慢,步长太大，可能会导致网络的瘫痪和不稳定,自适应步长，使得权修改量能随着网络的训练而不断变化。,1988,年，,Wasserman,几个问题的讨论,2024/9/16,72,此课件下载可自行编辑修改，仅供参考！感谢您的支持，我们努力做得更好！谢谢,