数模智能算法—BP神经网络基本原理简介课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,BP,神经网络基本原理简介,BP神经网络基本原理简介,1,数模智能算法BP神经网络基本原理简介课件,x,1,o,1,输出层,隐藏层,输入层,x,2,o,2,o,m,x,n,一个神经网络的典型结构：,x1o1输出层隐藏层输入层x2o2omxn一个神经网,一,.,什么是人工神经网络,“,人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经神经系统对真实世界物体所作出的交互反应”。,人工神经网络,(ANN),具有自学习、自组织、较好的容错性和优良的非线性逼近能力。,在实际应用中，,80%,90%,的人工神经网络模型是采用误差反传算法或其变化形式的网络模型。,一.什么是人工神经网络“人工神经网络是由具有适应性的简单单元,二,.ANN,能干什么？,拟合 预测,分类 聚类分析,(,函数逼近,),数学近似映射,二.ANN能干什么？拟合 预测分类,三,.,神经网络模型和网络结构,神经元模型,激活函数,网络结构,工作状态,学习方式,三.神经网络模型和网络结构神经元模型,四、建立和应用神经网络的步骤,（,1,）网络结构的确定,包含网络的拓扑结构和每个神经元相应函数的选取；,（,2,）权值和阈值的确定,通过学习得到，为有指导的学习，也就是利用已知的一组正确的输入、输出数据，调整权和阈值使得网络输出与理想输出偏差尽量小；,（,3,）工作阶段,用带有确定权重和阈值的神经网络解决实际问题的过程，也叫模拟（,simulate,）。,四、建立和应用神经网络的步骤（1）网络结构的确定,神经元,大脑可视作为,1000,多亿神经元组成的神经网络,图,1,神经元的解剖图,神经元大脑可视作为1000多亿神经元组成的神经网络 图1,神经元,神经元,神经元信息传递,神经元的信息传递和处理是一种电化学活动树突由于电化学作用接受外界,的刺激；通过胞体内的活动体现为轴突电位，当,轴突电位,达到,一定的值,则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元从控制论的观点来看；这一过程可以看作一个,多输入单输出,非线性系统的动态过程。,神经元信息传递神经元的信息传递和处理是一种电化学活动树突由,人工神经元的模型,作为神经网络的基本元素，神经元的,模型,如下：,x1xn,是从其他神经元传来的,输入信号,wij,表示表示从神经元,j,到神经元,i,的连接权,值,表示一个阈值,( threshold ),，或称为偏置,( bias ),。,人工神经元的模型作为神经网络的基本元素，神经元的模型如下：x,人工神经元的模型,若用,X,表示输入向量，用,W,表示权重向量：,则,神经元的输出与输入的关系为：,净激活量,激活函数,人工神经元的模型若用X表示输入向量，用W表示权重向量：神经元,激活函数,激活函数是对净激活量与输出进行映射的函数。一些常用的激活函数,由于输入数据与期望值之间可能并不是量级一样，所以需要激活。,线性函数,S,形函数,阈值函数 双极,S,形函数,激活函数激活函数是对净激活量与输出进行映射的函数。一些常用的,激活函数,S,形和双极,S,形函数图像为：,S,形和双极,S,形函数的导函数均为连续函数。,激活函数S形和双极S形函数图像为：,网络模型,根据网络中神经元的互联方式的不同，网络模型分为：,前馈神经网络,只在训练过程会有反馈信号，而在分类过程中数据只能向前传送，直到到达输出层，层间没有向后的反馈信号,反馈神经网络,从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多,自组织网络,通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。,网络模型根据网络中神经元的互联方式的不同，网络模型分为：,网络模型,前馈神经网络,反馈神经网络,自组织网络,网络模型前馈神经网络反馈神经网络自组织网络,工作状态,神经网络的工作状态分为,学习和工作,两种状态,学习,利用学习算法来调整神经元间的连接权重，使得网络输出更符合实际,工作,神经元间的连接权值不变，可以作为分类器,或者预测数据之用。,工作状态神经网络的工作状态分为学习和工作两种状态,学习方式,学习分为,有导师学习与无导师学习,有,导师,学习,将,一组,训练集送入,网络，根据网络的实际输出与期望输出间的差别来调整连接,权,例如：,BP,算法,无导师,学习,抽取,样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中,。,例如：,Hebb,学习率,学习方式学习分为有导师学习与无导师学习,神经网络的学习方式,有教师学习,(,监督学习,),神经网络的学习方式有教师学习(监督学习),19,有教师学习(监督学习),有教师学习(监督学习),BP,算法,(Back Propagation),采用,BP,学习算法的前馈神经网络称为,BP,神经网络,BP算法(Back Propagation)采用BP学习算法,BP,算法,(Back Propagation,),BP,算法基本原理,利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。,信号的,正向传播,&,误差的反向传播,BP算法(Back Propagation)BP算法基本原理,BP,算法,(Back Propagation),正向传播：,输入样本输入层各隐层输出层,判断是否转入反向传播阶段：,若输出层的实际输出与期望的输出不符,误差反传,误差以某种形式在各层表示修正各层单元的权值,网络输出的误差减少到可接受的程度,进行到预先设定的学习次数为止,BP算法(Back Propagation)正向传播：,BP,算法,(Back Propagation),假设输入层有,n,个神经元，隐含层有,p,个神经元,，,输出层有,q,个神经元,符号定义,输入向量,;,隐含层输入向量；,隐含层输出向量,;,输出层输入向量,;,输出层输出向量,;,期望输出向量,;,误差函数,BP算法(Back Propagation)假设输入层有n个,BP,算法,(Back Propagation),首先，计算各层神经元的输入和输出,BP算法(Back Propagation)首先，计算各层神,BP,算法,(Back Propagation),第二步利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。,BP算法(Back Propagation)第二步利用网络期,BP,算法,(Back Propagation),第三步：利用,隐含层到输出层的连接权值、输出层的 和隐含层的输出计算误差函数对隐含层各神经元的,偏导数 。,BP算法(Back Propagation)第三步：利用隐含,BP,算法,(Back Propagation),BP算法(Back Propagation),BP,算法,(Back Propagation),第四步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。,是设置的学习率。,BP算法(Back Propagation)第四步，利用输出,BP,算法,(Back Propagation),第五步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。,BP算法(Back Propagation)第五步，利用隐含,BP,算法,(Back Propagation),第六步，计算全局误差,第七步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回进入下一轮学习。,BP算法(Back Propagation)第六步，计算全局,神经网络的应用,(1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。,(2) 信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。,(3) 模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。,(4) 机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。,(5) 卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。,(6) 焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都有研究，部分成果已得到应用。,(7) 经济。能对商品价格、股票价格和企业的可信度等进行短期预测。,(8) 另外，在数据挖掘、电力系统、交通、军事、矿业、农业和气象等方面亦有应用。,神经网络的应用,2.1,训练,BP,网络的训练就是通过应用误差反传原理不断调整网络权值使网络模型输出值与已知的训练样本输出值之间的误差平方和达到最小或小于某一期望值。虽然理论上早已经证明：具有,1,个隐层（采用,Sigmoid,转换函数）的,BP,网络可实现对任意函数的任意逼近。但遗憾的是，迄今为止还没有构造性结论，即在给定有限个（训练）样本的情况下，如何设计一个合理的,BP,网络模型并通过向所给的有限个样本的学习（训练）来满意地逼近样本所蕴含的规律（函数关系，不仅仅是使训练样本的误差达到很小）的问题，,目前在很大程度上还需要依靠经验知识和设计者的经验。因此，通过训练样本的学习（训练）建立合理的,BP,神经网络模型的过程，在国外被称为“艺术创造的过程”，是一个复杂而又十分烦琐和困难的过程。,2.1 训练,Matlab,编程讲解,软件条件：,Matlab 2012a,以上,实验操作：神经网络工具箱，,编程，推荐使用编程语言,Matlab编程讲解,训练函数：,训练方法,训练函数,梯度下降法,traingd,有动量的梯度下降法,traingdm,自适应,lr,梯度下降法,lr,梯度下降法,traingda,自适应,lr,动量梯度下降法,lr,动量梯度下降法,traingdx,弹性梯度下降法,trainrp,Fletcher-Reeves,共轭梯度法共轭梯度法,traincgf,Ploak-Ribiere,共轭梯度法共轭梯度法,traincg,p,Powell-Beale,共轭梯度法共轭梯度法,traincg,b,量化共轭梯度法,trainscg,拟牛顿算法,trainbfg,一步正割算法,trainoss,Levenberg-Marquardt,trainlm,训练函数：训练方法训练函数梯度下降法traingd有动量的梯,1.,BP,网络构建,（1）生成BP网络,net=newff(PR,S1 S2.SNl,),TF1 TF2.TFNl,BTF),：PR:,由,R,维的输入样本最小最大值构成的,R*2,维矩阵。,：,S1 S2.SNl,各层的神经元个数。,：,TF1 TF2.TFNl,各层的神经元传递函数。,：,BTF,训练用函数的名称。,（2）网络训练,net=train(net,P,T,),（3）网络仿真,Y2=sim,(,net,P2,),1. BP网络构建 （1）生成BP网络,p,n,=p1;t,n,=t1;,m,n=size(t);,pn,minp,maxp,tn,mint,maxt=premnmx(p,t); net=newff(minmax(pn),5,1,tansig,purelin,traingd); %设置网络,建立相应的BP网络,net.trainParam.show=,5,0; % 训练网络,net.trainParam.lr=0.01;,net.trainParam.epochs=1000;,net.trainParam.goal=1e-5;,net,tr=train(net ,pn,tn);,anewn=sim(,net,pn); %对BP网络进行仿真,figure;hold on,plot(anewn,b,tn,r);,wucha=sum(abs(b-r)/n;%,误差输出,pn=p1;tn=t1;,%traingd,clear;,clc;,P=-1 -1 2 2 4;0 5 0 5 7;,T=-1 -1 1 1 -1;,%利用minmax函数求输入样本范围,net = newff(minmax(P),7,1,tansig,purelin,trainlm);,net.trainParam.show=50;%,net.trainParam.lr=0.05;,net.trainParam.epochs=1000;,net.trainParam.goal=1e-5;,net,tr=train(net,P,T);,net.iw1,1%隐层权值,net.b1%隐层阈值,net.lw2,1%输出层权值,net.b2%输出层阈值,y3=sim(net,P);,BP,网络举例,BP网络举例,clear;,clc;,X=-1:0.1:1;,D=-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609.,0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 -.0988.,0.3072 0.3960 0.3449 0.1816 -0.312 -0.2189 -0.3201;,figure;,plot(X,D,*); %绘制原始数据分布图（附录：1-1）,net = newff(minmax(X),5 1,tansig,tansig);,net.trainParam.epochs = 100; %训练的最大次数,net.trainParam.goal = 0.005; %全局最小误差,net = train(net,X,D);,O = sim(net,X);,figure;,plot(X,D,X,O,r); %绘制训练后得到的结果和误差曲线,V = net.iw1,1%输入层到中间层权值,theta1 = net.b1%中间层各神经元阈值,W = net.lw2,1%中间层到输出层权值,theta2 = net.b2%输出层各神经元阈值,clear;,案例：地下水安全性评价与分析,1.1,地下水安全性概念,地下水的安全性主要包含两个方面的内容，一是地下水本身的自然属性,也就是所谓的固有脆弱性,即地下水抵御外界干扰的能力,如地下水的含水层厚度、含水层介质和包气带、土壤类型等,都会影响外来物质在地下水中的去向。二是地下水安全的社会属性,即由于人类活动的激励,地下水系统会相应做出的一些响应,如水质污染、水位下降、海水入侵、地表沉降及塌陷等。近年来，随着我国经济的高速发展，地下水环境变化格局十分剧烈，对地下水安全的研究成为热点。实现对地下水安全性的分析和研究，对于掌握地下水的变化规律，进行地下水的安全保护有着极其重要的意义。,案例：地下水安全性评价与分析1.1地下水安全性概念,图,1,济宁市行政区划图,本研究所用的分析数据分为遥感数据和统计数据。遥感数据包含有,Landsat TM5,和济宁市,DEM,数据。辅助数据包括济宁市,统计年鉴,数据、济宁市各水文监测站监测数据和,1:400,万国家行政矢量等数据,。,数据名称,数据来源,数据格式,数据描述,Landsat TM5,地理空间数据云,栅格数据,2013,年,7,月影像,济宁市,DEM,地理空间数据云,栅格数据,数字高程影响，获取地面坡度,济宁市年平均降水量,气象科学数据共享中心,矢量数据,研究区日平均降水量,济宁市包气带数据,山东省水利局,矢量数据,含水层岩性,济宁市农业生产污染源,济宁市统计年鉴,矢量数据,研究区主要农业污染源及污染量,济宁市工业生产影响,济宁市统计年鉴,矢量数据,工业生产对地下水主要反应指标,山东省地下水埋深,山东省水文中心,栅格数据,地下水埋深深度变化,济宁市地下水日均离子浓度,济宁市监测站,矢量数据,地下水水质，地下水矿化度等,本研究所用的分析数据分为遥感数据和统计数据。遥感数据,1.3 评价标准的制定,由于各个指标的量纲不同，其评价的标准也不同，为了将各个指标合成一个综合评价结果，首先必须将每个指标进行无量纲化处理，即将指标与其标准值相比较。因此，指标标准值在评价过程中是一组很重要的量，它是衡量人们对被评价对象的指标值满意程度的标准。,本文根据地下水安全性研究的基本理论和济宁市地下水环境本质属性及特殊属性的实际情况,在参考关于指标体系评价标准建立的基础上制定了济宁市地下水环境安全性分级标准。,1.3 评价标准的制定,序号,指标,强（,I,）,较强（,II,）,中等,(III),弱,(IV),1,人口增长率（,）,）,8,2,含水层厚度（,mm,）,mm,）,35,3,多年平均降水量,(mm)(mm),750,550-750,350-550,3,2-3,0.7-2,30,15-30,3-15,3,6,含水层岩性,中细砂（,10,）,10,）,细砂（,8,）,8,）,粉细砂（,6,）,6,）,淤土（,2,）,2,）,7,地面坡度,20(3),8,人均水资源拥有量（,mm,）,mm,）,3000,1500-3000,700-1500,60,40-60,20-40,80,50-80,20-50,20,11,平均化肥使用量（,kg/kmkg/km,）,1000,12,平均农药使用量（,kg/kmkg/km,）,200,13,主要污染源类型,生活垃圾,（,10,）,10,）,酿造也，农业污染,（,8,）,8,）,皮革，化工冶金,酿造业（,6,）,6,）,垃圾填埋场,（,3,）,3,）,14,地下水水质状况,I(10),II(8),III(6),IV(3),15,工业万元产值取水量（,mm/,万元）万元）,70,16,地下水矿化度（,mg/L,）,mg/L,）,3000,17,工业用水重复利用率,90,70-90,50-70,50,18,地面沉降等级,I(10),II(8),III(6),IV(3),序号指标强（I）较强（II）中等(III)弱(IV)1人口增,关键脚本语言为：,clc,clear all,net=newff(minmax(p),18,1,tansig,purelin);/p为评价体系,net.trainParam.show=50;,net.trainParam.,lr=0.01;,net.trainParam.epochs=300;/设置训练次数。,net.trainParam.goal=1e-2;/设置训练误差。,net=train(net,p,t);/t为期望输出值。,V = net.iw1,1%输入层到中间层权值,theta1 = net.b1%中间层各神经元阈值,W = net.lw2,1%中间层到输出层权值,theta2 = net.b2%输出层各神经元阈值,关键脚本语言为：,数模智能算法BP神经网络基本原理简介课件,1,.4采样点的选取,在进行济宁市地下水安全性分析时，主要有两种方法进行整个区域的安全性评价与分析，一种是以量化栅格为处理单元，一种是以随机采样点为处理单元。采样点指能表示一定区域范围相关属性的代表点。前者主要适用于进行研究区相对较小，对评价结果的精度要求较高。后者主要适用于区域较大，若按照第一种方法的话将使使得计算量过大，同时等级评价结果过于细化，从而影响对结果的评价分析。本文研究区面积较大，宜采用第二种方式。采样数量N依据二项式概率理论，N可以通过如下公式计算。,式中, p 是整幅图的期望百分比精度，q = 100 p；E 允许误差；Z = 2 表示1.96的标准正态误差, 95% 的双侧置信度。选取期望精度为 85% ,而允许误差为 15% (即准确率为 85%)，可以得到采样点数量为27。通过ArcGis软件随机采样工具进行采样。,1.4采样点的选取,数模智能算法BP神经网络基本原理简介课件,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,1,4.3,43,623,1.86,7,6,10,1200,27.9,87,671,417,8,8,29.4,1072,62,8,2,4.3,29,656,1.86,5,6,6,1200,26.5,85,671,417,8,6,28.7,1093,58,6,3,4.3,18,700,1.87,8,6,10,1200,24.3,89,671,417,8,3,32.7,1258,71,3,4,5.5,52,540,1.81,2,6,10,479,26.9,75,1024,217,8,6,47.2,479,62,8,5,5.5,59,570,1.84,7,6,10,479,25.3,77,1024,217,8,6,38.7,982,57,6,6,3.9,12,610,1.8,9,8,8,334,30.2,78,421,319,8,6,47.6,1872,72,3,7,3.9,14,580,1.87,11,8,8,334,31.3,82,421,319,8,6,43.5,1769,68,8,8,6.7,21,690,2.36,13,8,10,219,21.2,94,2032,423,3,3,56,1572,82,3,9,6.7,24,680,2.39,14,8,10,219,20.9,97,2032,423,3,6,79,1678,77,8,10,6.9,23,700,2.53,13,8,10,419,30.6,89,3178,176,8,6,48,1428,82,3,11,6.9,27,670,2.54,3,8,10,419,28.7,87,3178,176,8,3,54,1726,76,3,12,3,8,550,1.61,7,8,6,365,40.2,53,672,134,6,6,28,1070,52,8,13,3,12,560,1.63,9,8,4,365,42.3,45,672,134,6,6,36,572,57,3,14,3.8,34,660,2.57,4,2,10,2079,21.1,87,179,127,6,6,68,1082,71,6,15,3.8,34,660,2.57,4,2,10,2079,21.1,87,179,127,6,6,68,1082,71,6,16,6.5,32,540,1.91,12,2,10,276,28.6,72,802,196,8,6,25,2073,47,8,17,6.5,47,560,1.92,13,2,10,276,27.9,79,802,196,8,6,27,1826,42,6,18,3.8,22,630,2.41,8,8,8,3072,26.9,83,892,317,8,6,82,2123,74,6,19,3.8,30,620,2.57,12,8,8,2072,27.8,89,892,317,8,6,78,2196,62,8,20,4.7,31,540,2.45,8,6,8,450,29.6,79,422,517,8,6,48,1536,57,6,21,4.7,34,570,2.45,5,6,6,450,29.7,72,422,517,8,6,42,636,62,8,22,4.7,36,530,2.56,7,6,10,450,30.5,74,422,517,8,6,51,723,64,6,23,5.5,21,620,1.79,3,8,8,584,18,76,233,496,6,6,56,1582,70,3,24,5.5,24,580,1.78,4,8,10,584,17.9,78,233,496,6,6,58,1478,61,6,25,6.2,49,560,1.86,8,8,10,300,25.7,82,896,423,6,6,59,1926,52,3,26,6.2,43,556,1.84,7,8,8,300,25.3,87,896,423,6,8,64,1376,60,6,27,6.2,38,553,1.76,14,8,10,300,24.2,85,896,423,6,8,71,1078,72,3,12345678910111213141516171814.,clc,fz=sim(net,pp);,编号,输出值,等级,编号,输出值,等级,编号,输出值,等级,编号,输出值,等级,1,0.1904,III,8,-1.1764,IV,15,1.4082,I,22,-0.3165,IV,2,-0.4125,IV,9,-1.3982,IV,16,0.0130,IV,23,-0.5811,IV,3,-0.7706,IV,10,-1.3864,IV,17,0.3231,III,24,-1.0091,IV,4,0.4299,III,11,-1.2086,IV,18,1.8007,I,25,0.1912,III,5,0.4349,III,12,-1.1596,IV,19,1.0741,I,26,0.1389,IV,6,-1.0885,IV,13,-0.3691,IV,20,-0.3593,IV,27,-0.3502,IV,7,-1.0237,IV,14,1.6820,I,21,-0.4002,IV,clc编号输出值等级编号输出值等级编号输出值等级编号输出值等,图,3,仿真值空间插值分布图,图3 仿真值空间插值分布图,图,4,地下水安全性等级分布图,图4 地下水安全性等级分布图,图,5,济宁市各县市地下水安全等级比例图,图,6,济宁市人文影响数值分析图,图6 济宁市人文影响数值分析图,经过对研究结果的定性分析，结合研究区实际情况，得出以下结论。,(1)从人为和自然两方面出发，综合已有相关研究成果，建立了影响地下水安全性的评价指标体系，利用神经网络技术完成了对济宁市地下水的安全性评价，得到了较为全面准确的济宁市地下水安全性分布图。,(2)研究结果表明，BP神经网络得到的等级评价结果并非完全正确，所以当前对BP评定结果直接采用的评价方法是比较片面的，应该借助其他相关的评定方法进行验证和调整，本研究借助了自组织神经网络的技术和方法。,(3)济宁市各县市化肥和农药使用量均较高，尤其是农业发展程度较高的区域，例如市中区，任城区等，农业面源污染的主要污染物就是化肥农业污染，会造成地下水的毒素超标，影响人类的正常生活。,(4)邹城市，泗水县等济宁市东北部地区工业节水力度较低，同时人均水资源拥有量较低，相关企业应有传统工业向新型环保节水工业转变，同时政府部门应加大水资源处理力度，合理兴修水利工程，以解决当地水资源较少的问题。,经过对研究结果的定性分析，结合研究区实际情况，得出以下结论。,谢谢观看,