过程建模9神经网络课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,下篇,非线性系统建模,1,下篇 1,9.1 神经网络基本原理9.2 静态神经网络模型9.3 动态神经网络模型9.4 神经网络建模应用,9,神经网络模型,2,9.1 神经网络基本原理9.2 静态神经网络模型9.3,目前广泛研究和应用的人工神经元网络在处理复杂系统的建模方面表现出了非凡的优越性。其方法实质上是一种非线性函数逼近的方法。,！,理论上可以证明,神经元网络可以任意精度逼近任何非线性函数,。,因此将神经元网络应用于非线性对象的动态或静态建模的方法正成为研究热点。,9.1,神经网络基本原理,9,神经网络模型,3,目前广泛研究和应用的人工神经元网络在处理复杂系统的建模方,非线性系统辨识,非线性系统建模,非线性系统辨识,一般而言,ANN与经典计算方法相比并非优越,只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,ANN往往是最有利的工具。另一方面,ANN对处理,大量原始数据而不能用规则或公式描述的问题,表现出极大的灵活性和自适应性。,9.1,神经网络基本原理,9,神经网络模型,4,非线性系统辨识非线性系统建模非线性系统辨识一般而言,ANN,神经网络建模特点：,非线性映照能力,：,神经网络能以任意精度逼近任何非线性连续函数。建模过程中的许多问题正是具有高度的非线性。,自学习和自适应能力,：,神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。,数据融合的能力,：,神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。,多变量系统,：,神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题,。,9.1,神经网络基本原理,9,神经网络模型,5,神经网络建模特点：9.1 神经网络基本原理9 神经网络模型5,（2）神经网络系统辨识是非算式的，神经网络本身就是辨识模型，其可调参数反映在网络内部的连接权上。它不需要建立以实际系统数学模型为基础的辨识格式，故可以省去在辨识前对系统建模这一步骤。,（3）神经网络作为实际系统的辨识模型，实际上也是系统的一个物理实现，可以用于在线控制。,神经网络系统辨识特点：,（1）由于神经网络可以任意精度逼近非线性函数，故它为非线性系统的辨识提供一种通用的模式。,9.1,神经网络基本原理,9,神经网络模型,6,神经网络系统辨识特点：9.1 神经网络基本原理9 神经网络模,人工,神经元,可用如下简化模型描述：,若非线性单元为符号函数，则变为感知器模型,9.1.1,神经网络基本框架,9,神经网络模型,7,人工神经元可用如下简化模型描述：若非线性单元为符号函数，则变,人工神经网络（,ANN,）,是人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络，它是理论化的人脑神经网络的,数学模型,，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。,三要素,一组连接,一个求和单元,一个非线性激活函数,9,神经网络模型,9.1.1,神经网络基本框架,8,人工神经网络（ANN）是人类对其大脑神经网络认识理解,神经元网络的第i个输出可表示为：,a,i1,a,i2,a,in,b,i1,b,i2,b,im,w,i,y,1,y,2,y,n,u,1,u,k,u,m,1,v,i,x,i,y,i,1）加法器,2）线性动态系统（SISO）,3）静态非线性系统,9,神经网络模型,9.1.1,神经网络基本框架,9,神经元网络的第i个输出可表示为：ai1ai2a inbi1b,静态非线性系统（激活函数）,g(x),g(x),g(x),x,x,x,阈值函数,分段函数,阶跃函数,(sgn函数）,S形函数,（Sigmoid函数，,双曲正切函数tanh,）,典型的有：,线性动态系统,典型的有：,9,神经网络模型,9.1.1,神经网络基本框架,10,静态非线性系统（激活函数）g(x)g(x)g(x)xxx阈,1）前馈网络,2）输出反馈的前馈式网络,3）前馈式内层互联网络,4）反馈型全互联网络,5）反馈型局部互联网络,9,神经网络模型,9.1.2,神经网络典型结构,11,1）前馈网络9 神经网络模型9.1.2 神经网络典,1）前馈网络：,2）输出反馈的前馈式网络：,9,神经网络模型,9.1.2,神经网络典型结构,12,2）输出反馈的前馈式网络：9 神经网络模型9.1.,3）前馈式内层互联网络：,4）反馈型全互联网络：,第二节 神经网络建模,每个神经元的输出都和其它神经元相连，从而形成动态反馈关系，如Hopfield网络。,这类网络结构具有能量函数的自寻优功能。,9,神经网络模型,9.1.2,神经网络典型结构,13,4）反馈型全互联网络：第二节 神经网络建模,K,u,i,y,j,y,i,离散Hopfield网络,y,1,y,2,y,3,y,4,u,1,u,2,u,3,u,4,9,神经网络模型,9.1.2,神经网络典型结构,14,Kuiy jyi离散Hopfield网络y1y2y3y4u,5）反馈型局部互联网络：,每个神经元的输出只和它周围若干层神经元发生互连关系，形成局部反馈，从整体上看，是一种网格状结构，如Elman网络和Jordan网络。,9,神经网络模型,9.1.2,神经网络典型结构,15,5）反馈型局部互联网络：每个神经元的输出只,这种引入了反馈的网络结构，又称为,动态递归神经网络,（DRNN-Dynamical Recurrent Neural Network）。,动态网络由于其内部的反馈作用，可以用较小的网络结构来实现系统的复杂性为，所以比较适合,非线性动态系统的辨识和控制。,！注意：,9,神经网络模型,9.1.2,神经网络典型结构,16,这种引入了反馈的网络结构，又称为动态递归神经网络（DRNN-,9.2 静态,神经网络模型,9,神经网络模型,17,9.2 静态神经网络模型9 神经网络模型17,感知器网络,感知器是前馈(正向传输)网络.,x,1,x,2,x,n,b,1,b,2,b,m,权向量W,非线性变换单元：,1,-1,用于样本空间的分类,9,神经网络模型,9.2 静态,神经网络模型,18,感知器网络感知器是前馈(正向传输)网络.,反传（BP）网络,（BP）网络与感知器的主要差别在于：（BP）网络的节点是非线性的。,广义,学习规则。,信息的正向传递,误差的反向传播,f()被称为sigmoid函数或称为logistic函数。Sigmoid函数的输出范围为01，它可把非常大的输入值域映射到一个小范围的输出。,9,神经网络模型,9.2 静态,神经网络模型,19,反传（BP）网络 （BP）网络与感知器的主要差别在于：（,反传（BP）网络的结构图,一个输入层，一个输出层，多个隐层。,O,pr,输入层,隐层,输出层,信息流,j,y,p1,x,p1,x,pn,t,p1,t,pm,O,p1,O,p2,隐层,w,j1,w,jn,y,pm,9,神经网络模型,9.2 静态,神经网络模型,20,反传（BP）网络的结构图O pr输入层隐层输出层信息流j,第p组学习样本的,输入向量,第p组学习样本的,训练输出向量,第p组学习样本的输出向量，,教师值,节点与节点的连接权值,假设有N个训练样本,9,神经网络模型,9.2 静态,神经网络模型,21,第p组学习样本的输入向量第p组学习样本的训练输出向量,BP算法的基本思想是：,外界信息首先经输入节点，传输到隐节点，最后传送到输出节点，完成网络的正向传播；,若输出不是期望输出，则将,实际输出与期望输出的误差,，经原连通路径返回，修正各层间的连接权值，即误差反传过程，使误差变小。,经上述过程反复交替，使误差逐步缩小到规定精度的过程，实际上是一个非线性优化问题，即,使系统输出与实际输出最接近,。,9,神经网络模型,9.2 静态,神经网络模型,22,BP算法的基本思想是：9 神经网络模型9.2 静态神经网络,信息的正向传递,对于输入节点,（用下标i),：,对于隐节点,（用下标j）：,对于输出节点,（用下标k）：,节点的输入：,节点的输出：,节点的输入：,节点的输出：,输出个数,9,神经网络模型,9.2 静态,神经网络模型,23,信息的正向传递对于输入节点（用下标i)：对于隐节点（用,误差的反向传播,定义第p组样本误差函数：,对于P组学习样本，其总误差：,9,神经网络模型,9.2 静态,神经网络模型,24,误差的反向传播 定义第p组样本误差函数：对于P组学习,广义,学习规则,学习的目的是要使输出误差平方和最小：,最后得到二个权值改变的重要公式：,输出层权值,隐层,权值,9,神经网络模型,9.2 静态,神经网络模型,25,广义 学习规则学习的目的是要使输出误差平方和最小：最,初始化,加输入和期望输出,计算隐层和输出层的输出,迭代次数加1,调节输出层和隐层的连接权值,改变训练样本,训练样终止？,迭代终止？,BP算法的基本流程,No,No,y,y,9,神经网络模型,9.2 静态,神经网络模型,26,初始化 加输入和期望输出计算隐层和输出层的输出迭代次数加1,重要结论,若输入层和输出层采用线性转换函数，隐层采用Sigmoid转换函数，则含一个隐层的多层前馈网络（如BP网络）能够以任意精度逼近任何有理函数。,Hornik,理论证明:多层前馈网络是一种通用逼近器。,9,神经网络模型,9.2 静态,神经网络模型,27,重要结论 若输入层和输出层采用线性转换函数，隐层采用S,9,神经网络模型,9.3 动态,神经网络模型,28,9 神经网络模型9.3 动态神经网络模型28,带时滞的多层感知器网络,9,神经网络模型,9.3 动态,神经网络模型,29,带时滞的多层感知器网络9 神经网络模型9.3 动态神经网络模,9,神经网络模型,9.3 动态,神经网络模型,30,9 神经网络模型9.3 动态神经网络模型30,从理论上说，上述这种网络结构能够逼近任意一个可用方程式描述的系统：,它的学习可以直接利用静态前馈神经网络的BP算法。,9,神经网络模型,9.3 动态,神经网络模型,31,从理论上说，上述这种网络结构能够逼近任意一个可用方程式描述的,Hopfield神经网络,9,神经网络模型,9.3 动态,神经网络模型,32,Hopfield神经网络9 神经网络模型9.3 动态神经网络,连续型Hopfield神经网络用于优化计算：,9,神经网络模型,9.3 动态,神经网络模型,33,连续型Hopfield神经网络用于优化计算：9 神经网络模型,图 神经网络建模的一般结构,9,神经网络模型,9.4,神经网络建模应用,34,图 神经网络建模的一般结构9 神经网络模型9.4 神经网络建,1.样本数据,收集和整理,采用神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。,而且，为监控训练（学习）过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。,此外，数据分组时还应尽可能考虑样本模式间的平衡。,9,神经网络模型,9.4,神经网络建模应用,35,1.样本数据9 神经网络模型9.4 神经网络建模应用35,输入/输出变量的确定及其数据的预处理,一般地，神经网络的输入变量即为系统的,内生变量（影响因子或自变量）,。若输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。,输出变量即为系统的,外生变量（系统性能指标或因变量）,。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。,9,神经网络模型,9.4,神经网络建模应用,36,输入/输出变量的确定及其数据的预处理9 神经网络模型9.4,2