误差反向传播神经网络-课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第四章 误差反向传播神经网络,第四章 误差反向传播神经网络,第四章 误差反向传播神经网络,4.1,误差反向网络的提出,4.2 BP,神经网络结构基本思想,4.3 BP,神经网络处理的单元模型,4.4 BP,神经网络学习算法,4.5 BP,网络的分析,-,梯度下降学习方法,4.6 BP,人工神经网络模型的改进,第四章 误差反向传播神经网络,4.1,误差反向网络的提出,1986 年,Romelhart 和Mc,C,elland 提出了误差反向传播算法( Error Back Propagation Algorithm ，简称BP 算法) ,由于多层前馈网络的训练经常采用误差反向传播算法，所以人们也常把多层前馈网络称为BP 网络。,BP,算法采用非线性连续变换函数，使隐含层神经元具有了学习能力。其基本思想直观、易于理解，数学意义明确、步骤分明，所以BP 网络成为目前应用最广的神经网络。,18,3,第四章 误差反向传播神经网络,4.1 误差反向网络的提出1986 年,Romelhart,4,第四章 误差反向传播神经网络,修改权值阈值,教师信号,4.2 BP,神经网络结构基本思想,18,4 第四章 误差反向传播神经网络修改权,4.2 BP,神经网络结构基本思想,BP算法的主要思想是把训练过程分为两个阶段：,第一阶段(正向传播过程)给出输入信息通过输入层经隐含层逐层处理并计算每个单元的实际输出值。,第二阶段(反向传播过程)若在输出层不能得到期望的输出值，那么逐层递归地计算实际输出与期望输出之差值，以便根据差值调节权值。,18,5,第四章 误差反向传播神经网络,4.2 BP神经网络结构基本思想BP算法的主要思想是把训练,4.3 BP,神经网络处理的单元模型,18,6,第四章 误差反向传播神经网络,w,1j,x,1,j,w,2j,x,2,j,x,n,w,nj,y,j,阈值,j,的作用反应在,s,型生长曲线上是使曲线向右平移,j,个单位，在,BP,网络里它起到了神经元兴奋水平的作用。,4.3 BP神经网络处理的单元模型186,18,7,第四章 误差反向传播神经网络,4.3 BP,神经网络处理的单元模型,Sigmoid,函数的一阶导数：,4.4 BP,神经网络学习算法,三层前馈网中,:,输入模式,k,向量为X = ( x,1, x,2, ,x,n,),T,，对应输入模式,k,的期望输出向量为Y = ( y1 , y2 , , y,q,),T,；,中间隐含层的净输入向量为,S=(s1,s2, ,sp),T,，输出向量为,B,= (,b,1,b,2, ,b,p,),T,；,输出层,净输入向量,L=(l,1,l,2, ,l,q,),T,，实际输出向量,C=,（,c,1,c,2, ,c,q,),T,；,=,j,（,j=1,2, ,p,为,隐层神经元引入阈值,，,=,t,(t=1,2.q),为,输出层神经元引入阈值；,输入层到隐层之间的权值矩阵,V = ( V,1, V,2, ,V,m,) ，,隐层到输出层之间的权值矩阵,W = ( W,1,W,2, , W,r,)。,18,8,第四章 误差反向传播神经网络,4.4 BP神经网络学习算法三层前馈网中:188,18,9,第四章 误差反向传播神经网络,189 第四章 误差反向传播神经网络,18,10,第四章 误差反向传播神经网络,（,1,）计算中间隐含层各个神经元的净输入和输出,j=1,2,.,p,（,2,）计算输出层,各个神经元的净输入和实际输出,t=1,2,.,q,（,3,）根据给定期望，计算输出层,各个神经元的校正误差,（,4,）计算隐含层各个神经元的校正误差,4.4 BP,神经网络学习算法,1810 第四章 误差反向传播神经网络,18,11,第四章 误差反向传播神经网络,（,5,）修正隐含层至输出层的连接权值,V,和输出层神经元的阈值，其中学习速率为，,0,1,j=1,2,.,p,，,t=1,2,.,q,（,6,）修正输入层至隐含层的连接权值,W,和隐含层神经元的阈值，其中学习速率为，,0,1,4.4 BP,神经网络学习算法,1811 第四章 误差反向传播神经网络,18,12,第四章 误差反向传播神经网络,一、,BP,网络的主要能力,1,、非线性映射能力,2,、泛化能力,3,、容错能力,4.5 BP,网络的分析,-,梯度下降学习方法,二、BP算法的局限性,1、存在局部极小问题,2、存在平坦区，收敛速度慢,3、网络结构选择不一,1812 第四章 误差反向传播神经网络,18,13,第四章 误差反向传播神经网络,1、BP 人工神经网络结构的自我调整,在BP人工神经网络拓扑结构中, 输入节点与输出节点是由问题的本身决定的, 关键在于隐层的层数与隐节点的数目。,只,需,一个隐层的神经网络,它,只要隐节点足够多, 就可以以任意精度逼近一个非线性函数。相对来说, 隐节点数的选取很困难。隐节点少了, 学习过程不可能收敛,；,隐节点多了, 网络性能下降, 节点冗余。为了找到合适的隐节点数, 最好的办法是在网络的学习过程中, 根据环境要求, 自组织地学习、调整自己的结构, 最后得到一个大小合适的神经网络模型。,4.6 BP,人工神经网络模型的改进,从少到多：初始值：,，,先设置较多隐节点,1813 第四章 误差反向传播神经网络,18,14,第四章 误差反向传播神经网络,2,、BP 神经网络学习参数的自适应学习,BP神经网络模型实际上是一个多元函数的优化问题,即以连结权系数为变量, 误差函数最小为目标的优化问题。当求出对连结权的梯度后, 对连结权进行修正时, 学习速率、实际上是一个沿负梯度方向的步长问题, 步长过大将使误差函数发生振荡, 步长过小, 收敛过慢。并且在不同的点, 可选步长也不一样。总之, 不存在原BP 算法中所提到的固定学习速率。,4.6 BP,人工神经网络模型的改进,我们可以引入学习参数自适应算法加以确定。其基本思想是：当权值,w,v,远离稳定点(学习要达到的目标点)时, ,取较大值；而当其逼近稳定点(E,1,0)时,取较小值。,1814 第四章 误差反向传播神经网络,18,15,第四章 误差反向传播神经网络,4.6 BP,人工神经网络模型的改进,3.附加动量法,附加动量法使网络在修正其权值时, 不仅考虑误差在梯度上的作用,而且,考虑在误差曲面上变化趋势的影响,其作用如同一个低通滤波器, 它允许网络忽略网络上的微小变化特性, 在没有附加动量的作用下, 网络可能陷入浅的局部极小值, 利用附加动量的作用则有可能滑过这些局部极小值。,n,为训练次数，,为动量因子，一般取,0.95,左右,1815 第四章 误差反向传播神经网络,18,16,第四章 误差反向传播神经网络,4. 引入放大因子,5. 用蚁群优化算法选择最优初始权值,蚁群优化算法是一种对离散优化问题进行求解的通用型框架。在某条具体路径当中所经过的蚂蚁数量越多，相应的信息条件密集性也就越大，从而这一路径被选取的概率也就越大，其呈现出的是一种正反馈的现状情况。每一只蚂蚁在仅穿过任一节点一次的情况之时，对被选用的权值节点进行明确的记录，从而该区域之中的节点也就组成了一组候选权值，在所有蚂蚁均完成了首次选择后，依据全局更新策略来对信息素的密度进行更新。直至满足于最大进化代数，也就得到了最佳的权值组合。,4.6 BP,人工神经网络模型的改进,1816 第四章 误差反向传播神经网络,第四章 误差反向传播神经网络,问题？,第四章 误差反向传播神经网络问题？,