BP神经网络理论基础介绍课件

BP神经网络基本原理神经网络基本原理Back-propagationArtificialNeuralNetworks2024/5/42024/5/41 1人工神经元模拟生物神经元的人工神经元模拟生物神经元的一阶特性一阶特性。输入：输入：输入：输入：X=X=（x x1 1，x x2 2，x xn n）联接权：联接权：联接权：联接权：W=W=（w w1 1，w w2 2，w wn n）T T网络输入：网络输入：网络输入：网络输入：net=xnet=xi iw wi i向量形式：向量形式：向量形式：向量形式：net=XWnet=XW2024/5/42024/5/42 2人工神经元的基本构成人工神经元的基本构成xnwnx1w1x2w2net=XW激激活活函函数数执执行行对对该该神神经经元元所所获获得得的的网网络络输输入入的的变变换换，也也可可以以称称为为激激励励函函数数、活活化化函函数数：o=f（net）1、线性函数（、线性函数（LinerFunction）f f（netnet）=k*net+c=k*net+c2024/5/42024/5/43 3激活函数激活函数(ActivationFunction)netoocifnetf（net）=k*netif|net|0为一常数，被称为饱和值，为该神经元的为一常数，被称为饱和值，为该神经元的最大输出。最大输出。2024/5/42024/5/44 42、非线性斜面函数、非线性斜面函数(RampFunction)2024/5/42024/5/45 52、非线性斜面函数（、非线性斜面函数（RampFunction）-neto ifnetifnetf f（netnet）=-ifnetifnet、均为非负实数，均为非负实数，均为非负实数，均为非负实数，为阈值为阈值为阈值为阈值二值形式：二值形式：二值形式：二值形式：1 1ifnetifnetf f（netnet）=0 0ifnetifnet双极形式：双极形式：双极形式：双极形式：1 1ifnetifnetf f（netnet）=-1-1ifnetifnet2024/5/42024/5/46 63、阈值函数（、阈值函数（ThresholdFunction）阶跃函数）阶跃函数 2024/5/42024/5/47 73、阈值函数（、阈值函数（ThresholdFunction）阶跃函数）阶跃函数-onet0压压缩缩函函数数（SquashingFunction）和和逻逻辑辑斯斯特特函数（函数（LogisticFunction）。）。f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的饱和值为为常数。它的饱和值为a和和a+b。最简单形式为：最简单形式为：f（net）=1/(1+exp(-d*net)函数的饱和值为函数的饱和值为0和和1。n nS形函数有较好的增益控制形函数有较好的增益控制2024/5/42024/5/48 84、S形函数形函数2024/5/42024/5/49 94、S形函数形函数a+bo(0,c)netac=a+b/2生物神经网生物神经网六个基本特征六个基本特征神神神神经经经经元元元元及及及及其其其其联联联联接接接接、信信信信号号号号传传传传递递递递、训训训训练练练练、刺刺刺刺激激激激与与与与抑抑抑抑制制制制、累积效果累积效果累积效果累积效果、阈值阈值阈值阈值。人工神经元的基本构成人工神经元的基本构成2024/5/42024/5/41010课内容回顾课内容回顾xnwnx1w1x2w2net=XW激活函数与激活函数与M-P模型模型线性函数、非线性斜面函数、线性函数、非线性斜面函数、线性函数、非线性斜面函数、线性函数、非线性斜面函数、阈值函数阈值函数阈值函数阈值函数 S S形函数形函数形函数形函数 M-PM-P模型模型模型模型2024/5/42024/5/41111上次课内容回顾上次课内容回顾x2w2fo=f（net）xnwnnet=XWx1w12024/5/42024/5/41212简单单级网简单单级网x1x2xno1o2omwnmw11w1mw2mwn1输出层输出层输入层输入层W=（wij）输输出出层层的的第第j个个神神经经元元的的网网络络输输入入记记为为netj：netj=x1w1j+x2w2j+xnwnj其中其中,1jm。取。取NET=（net1，net2，netm）NET=XWO=F（NET）2024/5/42024/5/41313简单单级网简单单级网2024/5/42024/5/41414单级横向反馈网单级横向反馈网输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层VV=V=（v vij ij）NET=XW+OVNET=XW+OVO=FO=F（NETNET）时间参数时间参数时间参数时间参数神经元的状态在主时钟的控制下同步变化神经元的状态在主时钟的控制下同步变化神经元的状态在主时钟的控制下同步变化神经元的状态在主时钟的控制下同步变化考虑考虑考虑考虑X X总加在网上的情况总加在网上的情况总加在网上的情况总加在网上的情况NETNET（t+1t+1）=X=X（t t）W+OW+O（t t）V VO(t+1)=F(NET(t+1)O(t+1)=F(NET(t+1)OO（0 0）=0=0考虑仅在考虑仅在考虑仅在考虑仅在t=0t=0时加时加时加时加X X的情况。的情况。的情况。的情况。稳定性判定稳定性判定稳定性判定稳定性判定2024/5/42024/5/41515单级横向反馈网单级横向反馈网2024/5/42024/5/41616多级网多级网输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn层次划分层次划分信号只被允许从较低层流向较高层。信号只被允许从较低层流向较高层。层层号号确确定定层层的的高高低低：层层号号较较小小者者，层层次次较较低，层号较大者，层次较高。低，层号较大者，层次较高。输输入入层层：被被记记作作第第0层层。该该层层负负责责接接收收来来自自网络外部的信息网络外部的信息2024/5/42024/5/41717输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn第第j层层：第第j-1层层的的直直接接后后继继层层（j0），它它直直接接接接受第受第j-1层的输出。层的输出。输输出出层层：它它是是网网络络的的最最后后一一层层，具具有有该该网网络络的的最大层号，负责输出网络的计算结果。最大层号，负责输出网络的计算结果。隐藏层隐藏层：除输入层和输出层以外的其它各层叫：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号直接向外界发送信号2024/5/42024/5/41818输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn约定约定:输输输输出出出出层层层层的的的的层层层层号号号号为为为为该该该该网网网网络络络络的的的的层层层层数数数数：n n层层层层网网网网络络络络，或或或或n n级级级级网网网网络。络。络。络。第第第第j-1j-1层层层层到到到到第第第第j j层层层层的的的的联联联联接接接接矩矩矩矩阵阵阵阵为为为为第第第第j j层层层层联联联联接接接接矩矩矩矩阵阵阵阵，输输输输出出出出层层层层对对对对应应应应的的的的矩矩矩矩阵阵阵阵叫叫叫叫输输输输出出出出层层层层联联联联接接接接矩矩矩矩阵阵阵阵。今今今今后后后后，在在在在需需需需要要要要的时候，一般我们用的时候，一般我们用的时候，一般我们用的时候，一般我们用WW（j j）表示第表示第表示第表示第j j层矩阵层矩阵层矩阵层矩阵。2024/5/42024/5/41919输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)2024/5/42024/5/42020多级网多级网层网络层网络输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)非线性激活函数非线性激活函数 F(X)=kX+CF3(F2(F1(XW(1)W(2)W(3)2024/5/42024/5/42121多级网多级网2024/5/42024/5/42222循环网循环网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn如如如如果果果果将将将将输输输输出出出出信信信信号号号号反反反反馈馈馈馈到到到到输输输输入入入入端端端端,就就就就可可可可构构构构成成成成一一一一个个个个多多多多层层层层的的的的循环网络。循环网络。循环网络。循环网络。输入的原始信号被逐步地加强、被修复。输入的原始信号被逐步地加强、被修复。输入的原始信号被逐步地加强、被修复。输入的原始信号被逐步地加强、被修复。大大大大脑脑脑脑的的的的短短短短期期期期记记记记忆忆忆忆特特特特征征征征:看看看看到到到到的的的的东东东东西西西西不不不不是是是是一一一一下下下下子子子子就就就就从从从从脑脑脑脑海里消失的。海里消失的。海里消失的。海里消失的。稳定稳定稳定稳定：反馈信号会引起网络输出的不断变化。我们：反馈信号会引起网络输出的不断变化。我们：反馈信号会引起网络输出的不断变化。我们：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变希望这种变化逐渐减小，并且最后能消失。当变希望这种变化逐渐减小，并且最后能消失。当变希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种化最后消失时，网络达到了平衡状态。如果这种化最后消失时，网络达到了平衡状态。如果这种化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。变化不能消失，则称该网络是不稳定的。变化不能消失，则称该网络是不稳定的。变化不能消失，则称该网络是不稳定的。2024/5/42024/5/42323循环网循环网人人工工神神经经网网络络最最具具有有吸吸引引力力的的特特点点是是它它的的学学习能力。习能力。1962年年，Rosenblatt给给出出了了人人工工神神经经网网络络著著名名的的学学习习定定理理：人人工工神神经经网网络络可可以以学学会会它它可可以表达的任何东西。以表达的任何东西。人人工工神神经经网网络络的的表表达达能能力力大大大大地地限限制制了了它它的的学习能力。学习能力。人人工工神神经经网网络络的的学学习习过过程程就就是是对对它它的的训训练练过过程程2024/5/42024/5/42424人工神经网络的训练人工神经网络的训练无导师学习无导师学习(UnsupervisedLearning)与无导师与无导师训练训练(UnsupervisedTraining)相对应相对应抽抽取取样样本本集集合合中中蕴蕴含含的的统统计计特特性性，并并以以神神经经元之间的联接权的形式存于网络中。元之间的联接权的形式存于网络中。2024/5/42024/5/42525无导师学习无导师学习有有有有导导导导师师师师学学学学习习习习(Supervised(Supervised Learning)Learning)与与与与有有有有导导导导师师师师训训训训练练练练(SupervisedTraining)(SupervisedTraining)相对应。相对应。相对应。相对应。输入向量与其对应的输出向量构成一训练。输入向量与其对应的输出向量构成一训练。输入向量与其对应的输出向量构成一训练。输入向量与其对应的输出向量构成一训练。有导师学习的训练算法的主要步骤包括：有导师学习的训练算法的主要步骤包括：有导师学习的训练算法的主要步骤包括：有导师学习的训练算法的主要步骤包括：1 1）从样本集合中取一个样本（从样本集合中取一个样本（从样本集合中取一个样本（从样本集合中取一个样本（A Ai i，B Bi i）；）；）；）；2 2）计算出网络的实际输出计算出网络的实际输出计算出网络的实际输出计算出网络的实际输出OO；3 3）求求求求D=BD=Bi i-O-O；4 4）根据根据根据根据D D调整权矩阵调整权矩阵调整权矩阵调整权矩阵WW；5 5 5 5）对对对对每每每每个个个个样样样样本本本本重重重重复复复复上上上上述述述述过过过过程程程程，直直直直到到到到对对对对整整整整个个个个样样样样本本本本集集集集来来来来说，误差不超过规定范围。说，误差不超过规定范围。说，误差不超过规定范围。说，误差不超过规定范围。2024/5/42024/5/42626有导师学习有导师学习WidrowWidrow和和和和HoffHoff的写法的写法的写法的写法：WWij ij(t+1t+1)=W=Wij ij(t t)+(y yj j-a-aj j(t t)o oi i(t t)也可以写成：也可以写成：也可以写成：也可以写成：WWij ij(t+1t+1)=W=Wij ij(t t)+W+Wij ij(t t)WWij ij(t)(t)(t)(t)=j jo oi i(t)(t)(t)(t)j j=y=yj j-a-aj j(t)(t)(t)(t)GrossbergGrossberg的写法为：的写法为：的写法为：的写法为：WWij ij(t)=a(t)=a(t)=a(t)=ai i i i(t)(o(t)(o(t)(o(t)(oj j j j(t)-W(t)-W(t)-W(t)-Wijijijij(t)(t)(t)(t)更一般的更一般的更一般的更一般的DeltaDelta规则为：规则为：规则为：规则为：WWij ij(t t)=g=g(a ai i(t)(t)，y yj j，o oj j(t t)，WWij ij(t t)2024/5/42024/5/42727Delta规则规则1概述概述2基本基本BP算法算法3算法的改进算法的改进4算法的实现算法的实现5算法的理论基础算法的理论基础6几个问题的讨论几个问题的讨论2024/5/42024/5/42828BP网络网络1 1、BPBP算法的出现算法的出现算法的出现算法的出现非循环多级网络的训练算法非循环多级网络的训练算法非循环多级网络的训练算法非循环多级网络的训练算法UCSDUCSDPDPPDP小小小小组组组组的的的的RumelhartRumelhart、HintonHinton和和和和Williams1986Williams1986年年年年独立地给出了独立地给出了独立地给出了独立地给出了BPBP算法清楚而简单的描述算法清楚而简单的描述算法清楚而简单的描述算法清楚而简单的描述19821982年，年，年，年，PakerPaker就完成了相似的工作就完成了相似的工作就完成了相似的工作就完成了相似的工作19741974年，年，年，年，WerbosWerbos已提出了该方法已提出了该方法已提出了该方法已提出了该方法2 2、弱弱弱弱点点点点：训训训训练练练练速速速速度度度度非非非非常常常常慢慢慢慢、局局局局部部部部极极极极小小小小点点点点的的的的逃逃逃逃离离离离问问问问题题题题、算法不一定收敛。算法不一定收敛。算法不一定收敛。算法不一定收敛。3 3、优点：、优点：、优点：、优点：广泛的适应性和有效性。广泛的适应性和有效性。广泛的适应性和有效性。广泛的适应性和有效性。2024/5/42024/5/42929一一概述概述4、BP网络主要用于1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。2）模式识别：用一个特定的输出向量将它与输入向量联系起来。3）分类：把输入向量以所定义的合适方式进行分类。4）数据压缩：减少输出向量维数以便于传输或存储。2024/5/42024/5/43030概述概述1 1网络的构成网络的构成网络的构成网络的构成 神经元的网络输入：神经元的网络输入：neti=x1w1i+x2w2i+xnwni神经元的输出：神经元的输出：2024/5/42024/5/43131二二基本基本BP算法算法应该将应该将应该将应该将netnet的值尽量控制在收敛比较快的范围内的值尽量控制在收敛比较快的范围内的值尽量控制在收敛比较快的范围内的值尽量控制在收敛比较快的范围内可可可可以以以以用用用用其其其其它它它它的的的的函函函函数数数数作作作作为为为为激激激激活活活活函函函函数数数数，只只只只要要要要该该该该函函函函数数数数是是是是处处可导的处处可导的处处可导的处处可导的2024/5/42024/5/43232输出函数分析输出函数分析0.5f(net)0.25o011（0,0.5）net（0,0）o2024/5/42024/5/43333网络的拓扑结构网络的拓扑结构x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnW(1)W(2)W(3)W(L)1.1.BP网的结构网的结构2.2.2.2.输输入入向向量量、输输出出向向量量的的维维数数、网网络络隐隐藏藏层层的层数和各个隐藏层神经元的个数的决定的层数和各个隐藏层神经元的个数的决定3.3.3.3.实实验验：增增加加隐隐藏藏层层的的层层数数和和隐隐藏藏层层神神经经元元个个数数不不一一定定总总能能够够提提高高网网络络精精度度和和表表达达能能力。力。4.4.4.4.BPBP网一般都选用二级网络。网一般都选用二级网络。2024/5/42024/5/43434网络的拓扑结构网络的拓扑结构2024/5/42024/5/43535网络的拓扑结构网络的拓扑结构x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnWV样本：样本：(输入向量，理想输出向量输入向量，理想输出向量)权初始化：权初始化：小随机数与饱和状态；不同保证小随机数与饱和状态；不同保证网络可以学。网络可以学。1 1、向前传播阶段：、向前传播阶段：（1）从从样样本本集集中中取取一一个个样样本本(Xp，Yp)，将将Xp输入网络；输入网络；（2）计算相应的实际输出）计算相应的实际输出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)2024/5/42024/5/436362训练过程概述训练过程概述2 2、向后传播阶段、向后传播阶段 误差传播阶段：误差传播阶段：（1）计计算算实实际际输输出出Op与与相相应应的的理理想想输输出出Yp的的差；差；（2）按极小化误差的方式调整权矩阵。）按极小化误差的方式调整权矩阵。（3）网络关于第）网络关于第p p个样本的误差测度：个样本的误差测度：2024/5/42024/5/437372训练过程概述训练过程概述（4）网络关于整个样本集的误差测度：网络关于整个样本集的误差测度：2024/5/42024/5/438383误差传播分析误差传播分析1、输出层权的调整、输出层权的调整wpq=wpq+wpqwpq=qop=fn(netq)(yq-oq)op=oq(1-oq)(yq-oq)opwpqANpANq第第L-1层层第第L层层wpq2024/5/42024/5/439392 2、隐藏层权的调整、隐藏层权的调整ANpANqANhvhppk-11kwp1wpqqkwpmmk第第k-2层层第第k层层第第k-1层层2024/5/42024/5/440402 2、隐藏层权的调整、隐藏层权的调整pk-1的值和的值和1k，2k，mk有关有关不妨认为不妨认为pk-1通过权通过权wp1对对1k做出贡献，做出贡献，通过权通过权wp2对对2k做出贡献，做出贡献，通过权通过权wpm对对mk做出贡献。做出贡献。pk-1=fk-1(netp)(wp11k+wp22k+wpmmk)v vhphp=v=vhphp+v+vhphp v vhphp=pk-1pk-1o ohk-2hk-2 =f=fk-1k-1(net(netp p)(w)(wp1p1 1k1k+w+wp2p2 2k2k+w+wpmpm mkmk)o)ohk-2hk-2=o=opk-1pk-1(1-o(1-opk-1pk-1)(w)(wp1p1 1k1k+w+wp2p2 2k2k+w+wpmpm mkmk)o)ohk-2hk-22024/5/42024/5/441412 2、隐藏层权的调整、隐藏层权的调整ANpANqANhvhppk-11kwp1wpmqkwpqmk第第k-2层层第第k层层第第k-1层层基本基本BP算法算法n nnetneti i=x=x1 1w w1i1i+x+x2 2w w2i2i+x+xn nw wnini2024/5/42024/5/44242内容回顾内容回顾2024/5/42024/5/44343内容回顾内容回顾x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnWV样本样本权初始化权初始化向前传播阶段向前传播阶段Op=Fn(F2(F1(XpW(1)W(2)W(n)误差测度误差测度2024/5/42024/5/44444内容回顾内容回顾向后传播阶段向后传播阶段向后传播阶段向后传播阶段 误差传播阶段误差传播阶段误差传播阶段误差传播阶段输出层权的调整输出层权的调整输出层权的调整输出层权的调整w wpqpq=q qo op p=f=fn n(net(netq q)(y)(yq q-o-oq q)o)opp=o=oq q(1-o(1-oq q)(y)(yq q-o-oq q)o)op p隐藏层权的调整隐藏层权的调整隐藏层权的调整隐藏层权的调整2024/5/42024/5/44545内容回顾内容回顾ANpANqANhvhppk-11kwp1wpqqkwpmmkvhp=opk-1(1-opk-1)(wp11k+wp22k+wpmmk)ohk-2样本集：样本集：S=(XS=(X1 1,Y,Y1 1),(,(,(,(X X2 2,Y,Y2 2),),),),(,(,(,(X Xs s,Y,Ys s)基本思想基本思想：逐一地根据样本集中的样本逐一地根据样本集中的样本逐一地根据样本集中的样本逐一地根据样本集中的样本(X(Xk k,Y,Yk k)计计算出算出算出算出实际输实际输出出出出OOk k和误差测度和误差测度和误差测度和误差测度E E1 1，对，对，对，对WW(1)(1)，WW(2)(2)，WW(L)(L)各做各做各做各做一次调整，重复这个循环，直到一次调整，重复这个循环，直到一次调整，重复这个循环，直到一次调整，重复这个循环，直到 E Ep pdo4.1E=0;2024/5/42024/5/44747基本基本BP算法算法4.24.2对对对对S S中的每一个样本（中的每一个样本（中的每一个样本（中的每一个样本（X Xp p,Y,Yp p）：）：）：）：4.2.14.2.1计算出计算出计算出计算出X Xp p对应的实际输出对应的实际输出对应的实际输出对应的实际输出OOp p；4.2.24.2.2计算出计算出计算出计算出E Ep p；4.2.3E=E+E4.2.3E=E+Ep p；4.2.44.2.4根据相应式子调整根据相应式子调整根据相应式子调整根据相应式子调整WW(L)(L)；4.2.5k=L-14.2.5k=L-1；4.2.6whilek0do4.2.6whilek0do 4.2.6.14.2.6.1根据相应式子调整根据相应式子调整根据相应式子调整根据相应式子调整WW(k)(k)；4.2.6.2k=k-14.2.6.2k=k-14.3E=E/2.04.3E=E/2.02024/5/42024/5/44848基本基本BP算法算法1、BP网网络络接接受受样样本本的的顺顺序序对对训训练练结结果果有有较较大大影响。它更偏爱较后出现的样本影响。它更偏爱较后出现的样本2、给给集集中中的的样样本本安安排排一一个个适适当当的的顺顺序序，是是非非常常困难的。困难的。3、样本顺序影响结果的原因：样本顺序影响结果的原因：分别依次分别依次4、用用(X1,Y1)，（X2,Y2），（Xs,Ys）的的总总效效果果修改修改W(1)，W(2)，W(L)。w(k)ij=pw(k)ij2024/5/42024/5/44949算法的改进算法的改进1fork=1toLdo1.1初始化初始化W(k)；2初始化精度控制参数初始化精度控制参数；3E=+1;4whileEdo4.1E=0;4.2对所有的对所有的i，j，k：w(k)ij=0；2024/5/42024/5/45050消除样本顺序影响的消除样本顺序影响的BP算法算法4.34.3对对对对S S中的每一个样本（中的每一个样本（中的每一个样本（中的每一个样本（X Xp p,Y,Yp p）：）：）：）：4.3.14.3.1计算出计算出计算出计算出X Xp p对应的实际输出对应的实际输出对应的实际输出对应的实际输出OOp p；4.3.24.3.2计算出计算出计算出计算出E Ep p；4.3.3E=E+E4.3.3E=E+Ep p；4.3.44.3.4对所有对所有对所有对所有i i，j j根据相应式子计算根据相应式子计算根据相应式子计算根据相应式子计算 p pww(L)(L)ij ij；4.3.54.3.5对所有对所有对所有对所有i i，j j：w w(L)(L)ij ij=w=w(L)(L)ij ij+p pww(L)(L)ij ij；4.3.6k=L-14.3.6k=L-1；4.3.7whilek0do4.3.7whilek0do4.3.7.14.3.7.1对所有对所有对所有对所有i i,j j根据相应式子计算根据相应式子计算根据相应式子计算根据相应式子计算 p pww(k)(k)ij ij；4.3.7.24.3.7.2对所有对所有对所有对所有i i,j j：w w(k)(k)ij ij=w=w(k)(k)ij ij+p pww(k)(k)ij ij；4.3.7.3k=k-14.3.7.3k=k-1 4.44.4对所有对所有对所有对所有i i，j j，k k：w w(k)(k)ij ij=w=w(k)(k)ij ij+w+w(k)(k)ij ij;4.5E=E/2.04.5E=E/2.0 2024/5/42024/5/45151较好地解决了因样本的顺序引起的精度问题较好地解决了因样本的顺序引起的精度问题和训练的抖动问题和训练的抖动问题收敛速度：比较慢收敛速度：比较慢偏移量：给每一个神经元增加一个偏移量来偏移量：给每一个神经元增加一个偏移量来加快收敛速度加快收敛速度 冲量冲量：联接权的本次修改要考虑上次修改的联接权的本次修改要考虑上次修改的影响，以减少抖动问题影响，以减少抖动问题2024/5/42024/5/45252算法分析算法分析主要数据结构主要数据结构WH，m输出层的权矩阵；输出层的权矩阵；Vn，H输入（隐藏）层的权矩阵；输入（隐藏）层的权矩阵；m输出层各联接权的修改量组成的向量；输出层各联接权的修改量组成的向量；H隐藏层各联接权的修改量组成的向量；隐藏层各联接权的修改量组成的向量；O1隐藏层的输出向量；隐藏层的输出向量；O2输出层的输出向量；输出层的输出向量；(X，Y)一个样本。一个样本。2024/5/42024/5/45353算法的实现算法的实现1 1 1 1用不同的小伪随机数初始化用不同的小伪随机数初始化W，V；2 2 2 2初始化精度控制参数初始化精度控制参数；学习率；学习率；3 3 3 3循环控制参数循环控制参数E=+1；循环最大次数；循环最大次数M；循环次数控制参数循环次数控制参数N=0；4 4whileE&N0，此时，此时wij0取取E0wij2024/5/42024/5/46161最速下降法，要求最速下降法，要求E的极小点的极小点而其中的而其中的所以，所以，2024/5/42024/5/46262最速下降法，要求最速下降法，要求E的极小点的极小点令令所以所以wij=joi为学习率为学习率oj=f(netj)容易得到容易得到2024/5/42024/5/46363ANj为输出层神经元为输出层神经元从而从而2024/5/42024/5/46464ANj为输出层神经元为输出层神经元2024/5/42024/5/46565ANj为输出层神经元为输出层神经元所以，所以，故，当故，当ANj为输出层的神经元时，它对应为输出层的神经元时，它对应的联接权的联接权wij应该按照下列公式进行调整：应该按照下列公式进行调整：2024/5/42024/5/46666ANj为隐藏层神经元为隐藏层神经元函数2024/5/42024/5/46767ANj为隐藏层神经元为隐藏层神经元netk=ojo2o1oHhnetk是是oj下一级的神下一级的神经元的网络输入经元的网络输入2024/5/42024/5/46868ANj为隐藏层神经元为隐藏层神经元2024/5/42024/5/46969ANj为隐藏层神经元为隐藏层神经元2024/5/42024/5/47070ANj为隐藏层神经元为隐藏层神经元收敛速度问题收敛速度问题局部极小点问题局部极小点问题逃逃逃逃离离离离/避避避避开开开开局局局局部部部部极极极极小小小小点点点点：修修修修改改改改WW、V V的的的的初初初初值值值值并并并并不不不不是是是是总有效。总有效。总有效。总有效。逃离逃离逃离逃离 统计方法；统计方法；统计方法；统计方法；WassermanWasserman，19861986将将将将CauchyCauchy训练与训练与训练与训练与BPBP算法结合起来，可以在保证训练速度算法结合起来，可以在保证训练速度算法结合起来，可以在保证训练速度算法结合起来，可以在保证训练速度不被降低的情况下，找到全局极小点。不被降低的情况下，找到全局极小点。不被降低的情况下，找到全局极小点。不被降低的情况下，找到全局极小点。2024/5/42024/5/47171几个问题的讨论几个问题的讨论网络瘫痪问题网络瘫痪问题在训练中，权可能变得很大，这会使神经元的网在训练中，权可能变得很大，这会使神经元的网在训练中，权可能变得很大，这会使神经元的网在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的导络输入变得很大，从而又使得其激活函数的导络输入变得很大，从而又使得其激活函数的导络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，此函数在此点上的取值很小。根据相应式子，此函数在此点上的取值很小。根据相应式子，此函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训练时的训练步长会变得非常小，进而将导致训练时的训练步长会变得非常小，进而将导致训练时的训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛速度降得非常低，最终导致网络停止收敛速度降得非常低，最终导致网络停止收敛速度降得非常低，最终导致网络停止收敛 稳定性问题稳定性问题用修改量的综合实施权的修改用修改量的综合实施权的修改用修改量的综合实施权的修改用修改量的综合实施权的修改连续变化的环境，它将变成无效的连续变化的环境，它将变成无效的连续变化的环境，它将变成无效的连续变化的环境，它将变成无效的 2024/5/42024/5/47272几个问题的讨论几个问题的讨论步长问题步长问题BPBP网络的收敛是基于无穷小的权修改量网络的收敛是基于无穷小的权修改量网络的收敛是基于无穷小的权修改量网络的收敛是基于无穷小的权修改量步长太小，收敛就非常慢步长太小，收敛就非常慢步长太小，收敛就非常慢步长太小，收敛就非常慢步长太大，可能会导致网络的瘫痪和不稳定步长太大，可能会导致网络的瘫痪和不稳定步长太大，可能会导致网络的瘫痪和不稳定步长太大，可能会导致网络的瘫痪和不稳定自适应步长，使得权修改量能随着网络的训练而自适应步长，使得权修改量能随着网络的训练而自适应步长，使得权修改量能随着网络的训练而自适应步长，使得权修改量能随着网络的训练而不断变化。不断变化。不断变化。不断变化。19881988年，年，年，年，WassermanWasserman2024/5/42024/5/47373几个问题的讨论几个问题的讨论后面内容直接删除就行资料可以编辑修改使用资料可以编辑修改使用资料仅供参考，实际情况实际分析主要经营：课件设计，文档制作，网络软件设计、图文设计制作、发布广告等秉着以优质的服务对待每一位客户，做到让客户满意！致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求The user can demonstrate on a projector or computer,or print the presentation and make it into a film to be used in a wider field