BP神经网络与实例

人工神经网络人工神经网络Artificial Neural Netwroks -ANN什么是人工神经网络？什么是人工神经网络？T.KoholenT.Koholen的定义：的定义：“人工神经网络人工神经网络是由具是由具有适应性的有适应性的简单单元简单单元组成的广泛并行互连组成的广泛并行互连的网络，它的组织能够模拟生物神经系统的网络，它的组织能够模拟生物神经系统对真实世界物体作出交互反应。对真实世界物体作出交互反应。” 人工神经网络目的与意义人工神经网络目的与意义 争取构造出尽可能与人脑具有相似功争取构造出尽可能与人脑具有相似功能的计算机，即能的计算机，即ANNANN计算机计算机。研究仿照脑研究仿照脑神经系统的人工神经网络，将在模式识别、神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算组合优化和决策判断等方面取得传统计算机所难以达到的效果。机所难以达到的效果。 神经元神经元p当神经细胞透过神经突触与树当神经细胞透过神经突触与树突从其它神经元输入脉波讯号突从其它神经元输入脉波讯号后，经过细胞体处后，经过细胞体处，产生一，产生一个新的脉波讯号。如果脉波讯个新的脉波讯号。如果脉波讯号够强，将产生一个约千分之号够强，将产生一个约千分之一秒一秒100 100 毫伏的脉波讯号。这毫伏的脉波讯号。这个讯号再经过轴突传送到它的个讯号再经过轴突传送到它的神经突触，成为其它神经细胞神经突触，成为其它神经细胞的输入脉波讯号。的输入脉波讯号。p如果脉波讯号是经过如果脉波讯号是经过兴奋神经兴奋神经突触（突触（excitatory synapseexcitatory synapse），则会则会增加增加脉波讯号的速脉波讯号的速；相；相反的，如果脉波讯号是经过反的，如果脉波讯号是经过抑抑制神经突触（制神经突触（inhibitory inhibitory synapsesynapse），则会，则会减少减少脉波讯号脉波讯号的速的速。因此，脉波讯号的速。因此，脉波讯号的速是不仅取决于输入脉波讯号是不仅取决于输入脉波讯号的速的速，还取决于神经突触的，还取决于神经突触的强强。p而神经突触的强而神经突触的强可视为神经可视为神经网网储存信息之所在，神经网储存信息之所在，神经网的学习即在调整神经突触的的学习即在调整神经突触的强强。空间整合、时间整合空间整合、时间整合p空间整合：同一时刻空间整合：同一时刻来自不同神经元的输来自不同神经元的输入信号，作用于神经入信号，作用于神经元的不同突触，形成元的不同突触，形成的突触电位将会代数的突触电位将会代数相加。相加。p时间整合：神经元对时间整合：神经元对不同时刻通过同一个不同时刻通过同一个突触输入的神经脉冲突触输入的神经脉冲有代数求和功能。有代数求和功能。阈值电位阈值电位p神经元对其他神经元的激励神经元对其他神经元的激励呈现非线性响应，如果膜电呈现非线性响应，如果膜电位高于阈值电位，则该神经位高于阈值电位，则该神经元进入兴奋状态，产生一个元进入兴奋状态，产生一个尖峰脉冲，如果小于，则进尖峰脉冲，如果小于，则进入抑制状态，此时没有脉冲入抑制状态，此时没有脉冲输出。输出。细胞体突触轴突树突图12.2 生物神经元功能模型输入输出信息处理电脉冲形成传输神经网络研究的发展神经网络研究的发展(1)(1)第一次热潮第一次热潮(40-60(40-60年代未年代未) ) 1943 1943年年, ,美国心理学家美国心理学家W.McCullochW.McCulloch和数学家和数学家W.PittsW.Pitts在提出了一个简单在提出了一个简单的神经元模型，即的神经元模型，即MPMP模型。模型。19581958年，年，F.RosenblattF.Rosenblatt等研制出了感知机。等研制出了感知机。(2)(2)低潮低潮(70(70- -8080年代初年代初) ): : 1969 1969年，年，MITMIT学者学者M.MinskyM.Minsky和和S.PapertS.Papert编写了影响巨大的编写了影响巨大的PerceptronPerceptron一书，指出单层的感知机只能用于线性问题求解。一书，指出单层的感知机只能用于线性问题求解。(3)(3)第二次热潮第二次热潮 1982 1982年，美国物理学家年，美国物理学家J.J.HopfieldJ.J.Hopfield提出提出HopfieldHopfield模型，它是一个互联模型，它是一个互联的非线性动力学网络的非线性动力学网络. .他解决问题的方法是一种反复运算的动态过程他解决问题的方法是一种反复运算的动态过程, ,这是符这是符号逻辑处理方法所不具备的性质号逻辑处理方法所不具备的性质. . 1987 1987年首届国际年首届国际A ANNNN大会在圣地亚哥召开，大会在圣地亚哥召开，国际国际A ANNNN联合会成立，创办了多种联合会成立，创办了多种A ANNNN国际刊物。国际刊物。19901990年年1212月，北京召开首届月，北京召开首届学术会议。学术会议。人工神经元人工神经元数学模型数学模型其中其中x x（x x1 1，x xm m）T T 输入向量，输入向量，y y为输为输出，出，w wi i是权系数（连接强度），是权系数（连接强度），为阈值，为阈值，f（X）是激活函数。）是激活函数。miiixwfy1)(BP神经网络神经网络pRumelhartRumelhart，McClellandMcClelland于于19851985年提出了年提出了BPBP网络的网络的误差反误差反向传播向传播BP(Back Propagation)BP(Back Propagation)学习算法学习算法pBPBP算法基本原理算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 J. McClelland David Rumelhart BP神经网络模型神经网络模型p三层三层BPBP网络网络1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw- - -隐含层输出层输入层3NT BP算法是由两部分组成：信息的正向传递与误差的反向传播。神经网络的学习神经网络的学习X1：衣服X3：面部特征X2：身高01W1W2W3增加权值减小权值识别系统miiixwfy1)(学习本质学习本质p学习的过程：学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。p学习的本质：学习的本质：对各连接权值的动态调整BP网络的标准学习算法网络的标准学习算法- -算法思想算法思想p核心思想：核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值学习类型学习类型p有监督或称有导师的学习，这时有监督或称有导师的学习，这时利用给定的样本标准进行分类或模利用给定的样本标准进行分类或模仿；仿；p无监督学习或称无为导师学习，无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境则具体的学习内容随系统所处环境 （即输入信号情况）而异，系统可（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具以自动发现环境特征和规律性，具有更近似人脑的功能有更近似人脑的功能。有导师的学习无导师的学习BP网络的标准学习算法网络的标准学习算法- -学习过程学习过程p正向传播：正向传播： 输入样本输入层各隐层输出层p判断是否转入反向传播阶段：判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符p误差反传误差反传 误差以某种形式在各层表示修正各层单元的权值p网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止BP网络的标准学习算法网络的标准学习算法 p网络结构网络结构输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元p变量定义变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量; 12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddodBP神经网络模型神经网络模型p激活函数激活函数必须处处可导一般都使用一般都使用S S型函数型函数 p使用使用S S型激活函数时型激活函数时BPBP网络输入与输出关系网络输入与输出关系输入输出1122.nnnetx wx wx w1f()1enetynet,11)(xexf; 1)(0 xfBP网络的标准学习算法网络的标准学习算法输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数: 误差函数：ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo kBP网络的标准学习算法网络的标准学习算法p第一步，网络初始化第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。p第二步第二步, ,随机选取第随机选取第 个输入样本及对应个输入样本及对应期望输出期望输出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkodBPBP网络的标准学习算法网络的标准学习算法p第三步，计算隐含层、输出层各神经元的输入和输出第三步，计算隐含层、输出层各神经元的输入和输出1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq( )f( )1,2,ooyo kyi koq隐含层：输出层：BPBP网络的标准学习算法网络的标准学习算法p第四步，利用网络第四步，利用网络期望输出和实际输出期望输出和实际输出，计算误差函数计算误差函数e e对输出层的各神经元的偏对输出层的各神经元的偏导数导数 。 ohoohoeeyiwyiw( )( )( )phohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok211( )( )2qoooedkyo kBPBP网络的标准学习算法网络的标准学习算法( )( )oohhoohoeeyik ho kwyiw 1( )( )( )( )( )hihhihnihihhiiihiheehikwhikww x kbhikx kwwp第五步，利用隐含层到输出层的连接权第五步，利用隐含层到输出层的连接权值、输出层的值、输出层的 和隐含层的输出计算误和隐含层的输出计算误差函数对隐含层各神经元的偏导数差函数对隐含层各神经元的偏导数 。 ( )hk( )okBPBP网络的标准学习算法网络的标准学习算法21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhd kyo keho khi kho khi kd kyi kho kho khi kd kw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhooohoohqohohhoho kd kyo kyi kwhi kk whi kk BPBP网络的标准学习算法网络的标准学习算法p第六步，利用输出层各神经元的第六步，利用输出层各神经元的 和和隐含层各神经元的输出来修正连接权隐含层各神经元的输出来修正连接权值值 。 1( )( )( )( )( )hoohhoNNhohoohewkk ho kwwwk ho k ( )ok( )howkBPBP网络的标准学习算法网络的标准学习算法p第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的 和和输入层各神经元的输入修正连接权。输入层各神经元的输入修正连接权。 ( )hk1( )( )( ) ( )( )( ) ( )hihhiihhihNNihihhieehi kw kk x kwhi kwwwk x kBPBP网络的标准学习算法网络的标准学习算法第八步，判断网络误差是否满足要求。当误差达第八步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。期望输出，返回到第三步，进入下一轮学习。 BPBP网络的标准学习算法网络的标准学习算法pBPBP算法直观解释算法直观解释 当误差对权值的偏当误差对权值的偏导数大于零时，权值导数大于零时，权值调整量为负，实际输调整量为负，实际输出大于期望输出，出大于期望输出，权值向减少方向调整，权值向减少方向调整，使得实际输出与期望使得实际输出与期望输出的差减少。输出的差减少。whohoewe0，此时，此时who0BPBP网络的标准学习算法网络的标准学习算法pBPBP算法直观解释算法直观解释当误差对权值的偏导数当误差对权值的偏导数小于零时，权值调整量小于零时，权值调整量为正，实际输出少于期为正，实际输出少于期望输出，权值向增大方向望输出，权值向增大方向调整，使得实际输出与期调整，使得实际输出与期望输出的差减少。望输出的差减少。hoewe0whoBPBP神经网络的特点神经网络的特点p非线性映射能力非线性映射能力能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。p泛化能力泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。p容错能力容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 BPBP神经网络的应用实例神经网络的应用实例例例1 1： 基于人工神经网络的基于人工神经网络的BaTiO3陶瓷配方研究陶瓷配方研究p清华大学材料科学与工程系新型陶瓷与精细工艺国家重点实验室清华大学材料科学与工程系新型陶瓷与精细工艺国家重点实验室, ,郭栋郭栋, ,王永王永力等人应用神经网络算法对力等人应用神经网络算法对BaTiO3的配方的研究。该成果发表在硅酸盐学报上。的配方的研究。该成果发表在硅酸盐学报上。p因陶瓷的性能对配方中各变量极为敏感因陶瓷的性能对配方中各变量极为敏感, , 且掺杂剂之间有时存在复杂的交互且掺杂剂之间有时存在复杂的交互作用作用, ,新型介电陶瓷材料的研制或原有材料的改进一般都要进行新型介电陶瓷材料的研制或原有材料的改进一般都要进行 “ “ 炒菜式炒菜式” ” 、“试凑法试凑法”的实验摸索过程。的实验摸索过程。p正确了解不同掺杂剂的作用规律及相互影响一直是本领域研究的一个难点。正确了解不同掺杂剂的作用规律及相互影响一直是本领域研究的一个难点。基于人工神经网络的基于人工神经网络的BaTiO3陶瓷配方研究陶瓷配方研究p其中其中BaTiO3 固定而其它固定而其它5 个个掺杂剂掺杂剂参数为参数为输入输入变量变量。p 以室温损耗以室温损耗d f, 室温介电常数室温介电常数25 和和- 55125 温度范围内相对于室温度范围内相对于室温的最大容温变化率绝对值温的最大容温变化率绝对值K作为输出量。作为输出量。该实验输入有5 个神经元而输出层有 3 个神经元. 以实验结果作为对以实验结果作为对ANNANN的训练数据的训练数据初始化：初始化：输入层和中间层的连接权值；输入层和中间层的连接权值； 中间层和输出层之间的连接权值；中间层和输出层之间的连接权值； 学习速率为学习速率为 0.15 ； 初始权值范围在初始权值范围在- 0. 3 到到 0. 3 之间；之间； 最大叠代次数和均方根误差为最大叠代次数和均方根误差为 5000 次和次和 0. 01。p对配方中各组分对所需指标的影响规律采用对配方中各组分对所需指标的影响规律采用 ANN 模型进行了分析模型进行了分析, 这对于获得介电陶瓷多性能指标的优化配方具有重要的指导作用这对于获得介电陶瓷多性能指标的优化配方具有重要的指导作用, 表表明人工神经网络技术在陶瓷这种多成分多相的复杂材料的研究中具有明人工神经网络技术在陶瓷这种多成分多相的复杂材料的研究中具有广阔的应用前景广阔的应用前景.例例2：基于：基于BP 神经网络的滑坡地质灾害预测方法神经网络的滑坡地质灾害预测方法 为了解决滑坡地质灾害传统预测方法中出现的综合性、实用性为了解决滑坡地质灾害传统预测方法中出现的综合性、实用性不强等问题，本文研究用基于优化参数设置的不强等问题，本文研究用基于优化参数设置的BP BP 神经网络模型来预神经网络模型来预测滑坡地质灾害。该方法基于测滑坡地质灾害。该方法基于BP BP 神经网络，顾及与滑坡地质灾害产神经网络，顾及与滑坡地质灾害产生紧密相关的地质条件和环境因素，对生紧密相关的地质条件和环境因素，对BP BP 神经网络的输入层、隐含神经网络的输入层、隐含层、输出层的参数进行优化层、输出层的参数进行优化; ; 再由历史的经验数据通过训练、泛化再由历史的经验数据通过训练、泛化建立基于建立基于BP BP 神经网络的地质灾害预测模型神经网络的地质灾害预测模型; ;最后，按照最后，按照0 0 和和1 1 的组的组合结果对滑坡地质灾害进行预测。合结果对滑坡地质灾害进行预测。 本文利用该模型对汶川地震诱发的滑坡地质灾害进行分析预测，本文利用该模型对汶川地震诱发的滑坡地质灾害进行分析预测，结果表明结果表明: : 该模型的预测结果与实际结果吻合度达到该模型的预测结果与实际结果吻合度达到86% 86% 90% 90%，预测精度较高，验证了基于改进的预测精度较高，验证了基于改进的BP BP 神经网络预测滑坡地质灾害的神经网络预测滑坡地质灾害的方法是实际可行的。方法是实际可行的。基于基于BP 神经网络的滑坡地质灾害预测方法神经网络的滑坡地质灾害预测方法输入层：地层岩性、坡度、坡高、切割深度、震中距、地震烈度这输入层：地层岩性、坡度、坡高、切割深度、震中距、地震烈度这六项作为输入层，即输入层节点数为六项作为输入层，即输入层节点数为6 6。隐含层：隐含层设置为一层，为了尽可能地避免隐含层：隐含层设置为一层，为了尽可能地避免“过拟合过拟合”现象并现象并保证神经网络模型的训练能力和泛化能力，对于有保证神经网络模型的训练能力和泛化能力，对于有m m 个输入节点的个输入节点的BP BP 网络，取网络，取( 2m + 1) ( 2m + 1) 个隐含节点会有较好的效果，所以隐含层上个隐含节点会有较好的效果，所以隐含层上应设置应设置13 13 个节点。个节点。输出层：设输出层：设BP BP 神经网络的输出层有两个节点，每个节点的输出值为神经网络的输出层有两个节点，每个节点的输出值为1 1 或或0 0，组合有，组合有( 0( 0，1) 1) 和和( 1( 1，0) 0) 两种情况，分别代表了滑坡的两两种情况，分别代表了滑坡的两种状态，种状态， ( 0 ( 0，1) 1) 表示不会发生滑坡表示不会发生滑坡; ; 而而( 1( 1，0) 0) 表示会发生滑坡。表示会发生滑坡。当然也可能出现当然也可能出现( 0( 0，0) 0) 和和( 1( 1，1) 1) 的情况，这两种情况没有任何的情况，这两种情况没有任何意义，只能表示无效结果。这种表示方式清楚明了，可以较快地给意义，只能表示无效结果。这种表示方式清楚明了，可以较快地给工作人员以警示，及时为滑坡灾害做出防范措施。工作人员以警示，及时为滑坡灾害做出防范措施。最后，把最大训练次数规定在最后，把最大训练次数规定在2000 2000 次，实际输出与期望输出的平方次，实际输出与期望输出的平方和误差需满足精度为和误差需满足精度为0.0350.035。基于基于BP 神经网络的滑坡地质灾害预测方法神经网络的滑坡地质灾害预测方法导入训练样本集，训练后的效果演示图如图4所示。从图4 中可以发现，曲线在训练次数为680 次左右时停止，并没有抵达2000 次，表示模型已达到规定精度。基于基于BP 神经网络的滑坡地质灾害预测方法神经网络的滑坡地质灾害预测方法经过预测可知经过预测可知: : 该斜坡体很该斜坡体很不稳定，有很大发生滑坡的不稳定，有很大发生滑坡的可能性。此外通过分析表可能性。此外通过分析表4 4 中预测结果和实际结果，可中预测结果和实际结果，可知除了序号为知除了序号为4 4 的预测错误的预测错误之外，其余的均预测正确，之外，其余的均预测正确，精确度达到精确度达到86%86%。在此基础上，本文还运用了在此基础上，本文还运用了许多实验数据进行验证，发许多实验数据进行验证，发现精度有小幅度波动，基本现精度有小幅度波动，基本稳定在稳定在86% 86% 90% 90%之间，与之间，与其他滑坡预测方法相比，预其他滑坡预测方法相比，预测精度有所提高，由此可知测精度有所提高，由此可知本文建立的基于改进的本文建立的基于改进的BP BP 神神经网络模型是实际可行的。经网络模型是实际可行的。谢谢！谢谢！