人工神经网络5BP神经网络

,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,武汉科技大学,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,1,人工神经网络,(Artifical Neural Network),张凯 副教授,武汉科技大学 计算机学院,2,第五章,BP,神经网络,1.,研究背景,2.,学习规则,3.,感知机结构,4.,感知机学习规则,研究背景,罗斯布莱特的感知机学习规则和伯纳德和玛西娅的,LMS,算法是设计用来训练单层的类似感知器的网络的。,如前面几章所述,这些单层网络的缺点是只能解线性可分的分类问题。,罗斯布莱特和伯纳德均意识到这些限制并且都提出了克服此类问题的方法：多层网络。,但他们未将这类算法推广到用来训练功能更强的网络。,研究背景,韦伯斯（,Werbos,）在他,1974,年博士的论文中第一次描述了训练多层神经网络的一个算法，,论文中的算法是在一般网络的情况中描述的，而将神经网络作为一个特例。论文没有在神经网络研究圈子内传播。,研究背景,直到,20,世纪,80,年代中期,反向传播算法才重新被发现并广泛地宣扬,这个算法因被包括在,并行分布式处理,(Parallel Distributed Processing)RuMc86,一书中而得到普及,才使之成为迄今为止最著名的多层网络学习算法,BP,算法,由此算法训练的神经网络,称之为,BP,神经网络。,研究背景,David Rumelhart,J. McClelland,研究背景,BP,网络广泛应用于函数逼近、模式识别,/,分类、数据压缩等,80% -90%,的人工神经网络模型是采用,BP,网络或它的变化形式,它也是前馈网络的核心部分,体现了人工神经网络最精彩的部分。,异或,问题,x,1,x,2,y,0,0,0,1,1,0,1,1,0,1,1,0,多层网络求解异或问题,输出函数：,用一个简单的三层感知器就可得到解决,多层网络求解异或问题,x,1,+,x,2,+0.5=0,x,1,+,x,2,-1.5=0,0.7*,y,1,-0.4,y,2,-1=0,多层网络求解异或问题,BP,神经元及,BP,网络模型,BP,神经元及,BP,网络模型,BP,神经元与其他神经元类似，不同的是,BP,神经元的,传输函数为非线性函数，,最常用的函数是,logsig,和,tansig,函数，其输出为：,BP,神经元及,BP,网络模型,BP,神经元及,BP,网络模型,BP,网络一般为多层神经网络。由,BP,神经元构成的二层网络如图所示，,BP,网络的信息从输入层流向输出层，因此是一种多层前馈神经网络。,BP,神经元及,BP,网络模型,如果多层,BP,网络的输出层采用,S,形传输函数,(,如,logsig),，其输出值将会限制在较小的范围内,(0,l),；用线性传输函数则可以取任意值。,BP,神经元及,BP,网络模型,前一层的输出是后一层的输入,网络的输入,网络的输出,BP,神经元及,BP,网络模型,BP,网络的学习,在确定了,BP,网络的结构后,要通过输入和输出样本集对网络进行训练,亦即对网络的阈值和权值进行学习和修正,以使网络实现给定的输入,/,输出映射关系。,BP,网络的学习,BP,网络的学习过程分为两个阶段：,第一个阶段是输入已知学习样本,通过设置的网络结构和前一次迭代的权值和阈值,从网络的第一层向后计算各神经元的输出。,第二个阶段是对权值和阈值进行修改,从最后一层向前计算各权值和阈值对总误差的影响,(,梯度,),据此对各权值和阈值进行修改。,BP,网络的学习,以上两个过程反复交替，直到达到收敛为止。由于误差逐层往回传递，以修正层与层间的权值和阈值，所以称该算法为误差反向专播,(error back propagation),算法，这种误差反传学习算法可以推广到有若干个中间层的多层网络，因此该多层网络常称之为,BP,网络。,BP,网络的学习,标准的,BP,算法也是一种梯度下降学习算法，其权值的修正是沿着误差性能函数梯度的反方向进行的。针对标准,BP,算法存在的一些不足，出现了几种基于标准,BP,算法的改进算法，如变梯度算法、牛顿算法等。,函数逼近,直到现在为止，在本书中看到的神经网络的应用多是在模式分类方面。神经网络在本质上也可被看作是函数逼近器。例如，在控制系统中，目标是要找到一个合适的反馈函数。,应用举例,求解函数逼近问题,有,21,组单输入矢量和相对应的目标矢量，试设计神经网络来实现这对数组的函数关系,2024/11/26,23,函数逼近,它能将测量到的输出映射为控制输入。,考虑图中的两层的,1 -2 -1,网络。,函数逼近,此例中,第一层的传输函数是,logsig,函数,第二层的是线性函数。,函数逼近,注意网络的响应包括两步，每一步对第一层中的一个,logsig,形神经元的响应。通过调整网络的参数，每一步的曲线形状和位置都可以发生改变 ，,如在下面讨论中将会见到的那样。,函数逼近,目标矢量相对于输入矢量的图形 初始网络的输出曲线,2024/11/26,27,函数逼近,2024/11/26,28,训练,1000,次 训练,2000,次,函数逼近,2024/11/26,29,训练,3000,次 训练,5000,次,函数逼近,从这个例子中，可以看到多层网络的灵活性。看起来，只要在隐层中有足够数量的神经元，我们可以用这样的网络来逼近几乎任何一个函数。,事实上，研究已表明两层网络在其隐层中使用,S,形传输函数，在输出层中使用线性传输函数，就几乎可以以任意精度逼近任何感兴趣的函数，只要隐层中有足够的单元可用,(,Host89),。,函数逼近,我们已经有了对多层感知机网络在模式识别和函数逼近中的能力一些概念,下一步是要设计一个算法来训练这样的网络。,反向传播算法,反向传播算法,如前所述,多层网络中某一层的输出成为下一层的输入。描述此操作的等式为：,这里,M,是网络的层数。第一层的神经元从外部接收输入：,它是等式的起点。最后一层神经元的输出是网络的输出：,多层网络的,BP,算法是,LMS,算法的推广。两个算法均使用相同的性能指数：均方误差。算法的输入是一个网络正确行为的样本集合：,这里是网络的输入,是对应的目标输出。每输入一个样本,便将网络输出与目标输出相比较。算法将调整网络参数以使均方误差最小化：,性能指数,近似误差的最速下降法为，这里 是学习速度。,性能指数,这里，,x,是网络权值和偏置值的向量。若网络有多个输出,则上式的一种形式为：,这里，均方误差的期望值被第,k,次迭代时的均方误差所代替。,敏感性的反向传播,现在还需要计算敏感性，正是这个过程给出了反向传播这个词，因为它描述了第,m,层的敏感性通过第,m,+1,层的敏感性来计算的递推关系。,误差不是隐层中的权值的显式函数,偏导数不易求得,链法则,链法则计算隐层偏导数,设有一个函数,f,，它是变量,n,的显示函数。函数,n,是,w,的显示函数。现在球,f,关于第三个变量,w,的导数。,若,链法则,梯度计算,梯度计算,敏感性,梯度,最速下降,Jacobian,矩阵,Jacobian,矩阵,Jacobian,矩阵,反向传播,(,敏感性,),现在我们可以看到反向传播算法得名的原因了。敏感性从最后一层通过网络被反向传播到第一层：,初始化,(,最后一层,),第一步，通过网络将输入向前传播,BP,算法总结,下一步，通过网络将敏感性反向传播,BP,算法总结,最后，使用最速下降法更新权值和偏置值,BP,算法总结,BP,算法总结,1-2-1,Network,+,-,t,a,e,p,例子,:,函数逼近,网络,1-2-1,Network,a,p,初始条件,下一步定义网络要解决的问题。假定我们用此网络来逼近函数,训练集可以通过计算函数在几个,p,值上的函数值来得到。,初始条件,在开始,BP,算法前,需要选择网络权值和偏置值的初始值。通常选择较小的随机值。下一章将讨论为什么要这样做。现在,选择的值,网络对这些初始值的响应如图所示,图中还包括要逼近的正弦函数的曲线。,初始条件,现在可以开始执行算法了。对初始输入,我们选择,p,=1 :,第一层的输出为,前向传播,第二层的输出为,误差将为,前向传播,算法的下一阶段是反向传播敏感性值。在开始反向传播前需要先求传输函数的导数 和 。,对第一层：,反向传播,对第二层：,下面可以执行反向传播了。起始点在第二层。,反向传播,第一层的敏感性由计算第二层的敏感性反向传播得到：,反向传播,算法的最后阶段是更新权值。为简单起见,学习速度设为 。,权的修正,权的修正,这就完成了,BP,算法的第一次迭代。下一步可以选择另一个输入，执行算法的第二次迭代过程。迭代过程一直进行下去，直到网络响应和目标函数之差达到某一可接受的水平。,权的修正,接着讨论与反向传播法的实际实现相关的一些问题，包括网络结构的选择、网络收敛性和一般化的问题。,1.,网络结构的选择,如本章前面所述，多层网络可用来逼近几乎任一个函数,只要在隐层中有足够的神经元。然而，通常并不能说，多少层或多少神经元就可以得到足够的性能。本节中我们通过一些例子来考察这个问题。,反向传播应用,第一个例子：假定要逼近如下的函数：,其中,i,取值,1,、,2,、,4,和,8,。随,i,的增加，函数变得更为复杂，在 的区间内将有更多的正弦波周期。当,i,增加时，很难用隐层中神经元数目固定的神经网络来逼近,g,(,p,),。,网络结构的选择,对这个例子,我们使用一个,1-3-1,网络,第一层的传输函数为 “,logsig,”形,第二层的传输函数是线性函数。根据前面的函数逼近例子,这种两层网络的响应是三个 “,logsig,”形函数之和,(,或多个,logsig,形函数之和,只要隐层中有同样多的神经元,).,显然,对这个网络能实现的函数有多么复杂有一个限制。图,6,18,是网络经训练来逼近,g,(,p,)(,对,i,= 1,2,4,8),后的响应曲线。最终的网络响应用图中画出的曲线来表示。,网络结构的选择,网络结构的选择,1-3-1 Network,i,= 1,i,= 2,i,= 4,i,= 8,由于网络的能力受隐层中神经元数目的限制，尽管,BP,算法可以获得使均方误差最小化的网络参数，网络的响应却不能精确逼近所期望的函数。,i,=1,i,=2,i,=4,i,=8,网络结构的选择,可以看到，对,i,=4,，这个,1-3-1,网络达到了它的最大能力。当,i,4,时，网络不能生成,g,(,p,),精确的逼近曲线。从图右下方的图中可以看致,1-3-1,网络试图逼近,i,=8,时的函数,g,(,p,),。,网络的响应和,g,(,p,),之间的均方误差达到了最小化，但网络响应曲线只能与函数的一小部分相匹配。,网络结构的选择,下一个例子中将从一个稍有些不同的角度来解决此问题。这次我们选择函数,g,(,p,),然后使用越来越大的网络直到能精确地逼近函数为止。,g,(,p,),采用,网络结构的选择,1-5-1,1-2-1,1-3-1,1-4-1,网络的能力受隐层中神经元数目的限制。若要逼近,有大量拐点的函数,隐层中就要有大量的神经元。,通常不知道多少层或多少神经元就能得到足够的性能。,BP,网络的局限性,在人工神经网络的应用中,绝大部分的神经网络模型采用了,BP,网络及其变化形式,但这并不说明,BP,网络是尽善尽美的,其各种算法依然存在一定的局限性。,BP,网络的局限性主要有以下几个方面：,BP,网络的局限性,(1),学习率与稳定性的矛盾,梯度算法进行稳定学习要求的学习率较小,所以通常学习过程的收敛速度很慢。附加动量法通常比简单的梯度算法快,因为在保证稳定学习的同时,它可以采用很高的学习率,但对于许多实际应用,仍然太慢。以上两种方法往往只适用于希望增加训练次数的情况。如果有足够的存储空间,则对于中、小规模的神经网络通常可采用,LevenbergMarquardt,算法,;,如果存储空间有问题,则可采用其他多种快速算法,例如对于大规模神经网络采用,trainscg,或,trainrp,更合适。,BP,网络的局限性,(2),学习率的选择缺乏有效的方法,对于非线性网络,选择学习率也是一个比较困难的事情。对于线性网络,我们知道,学习率选择的太大,容易导致学习不稳定,;,反之学习率选择的太小,则可能导致无法忍受过长的学习时间。不同于线性网络,我们还没有找到一种简单易行的方法,选择学习率的问题。对于快速训练算法,其默认参数值通常留有裕量。,BP,网络的局限性,(3),训练过程可能陷于局部最小,从理论上说,多层,BP,网络可以实现任意可实现的线性和非线性函数的映射,克服了感知器和线性神经网络的局限性。但在实际应用中,BP,网络往往在训练过程中,也可能找不到某个具体问题的解,比如在训练过程中陷人局部最小的情况。当,BP,网络在训练过程中陷人误差性能函数的局部最小时,可通过改变其初始值,并经多次训练,以获得全局最小。,BP,网络的局限性,(4),没有确定隐层神经元数的有效方法,如何确定多层神经网络隐层的神经元数也是一个很重要的问题,太少的隐层神经元会导致网络“欠适配”,太多的隐层神经元又会导致“过适配”。,76,Thank You !,