人工神经元网络控制论课件

人工神经元网络控制论1编辑版ppt本章主要内容本章主要内容 人工神经元网络概述 神经元模型和神经网络 前向神经网络模型 动态神经网络模型 神经网络控制基础 神经网络控制的学习机制 神经网络控制器的设计2编辑版ppt一、人工神经元网络概述一、人工神经元网络概述 模糊控制从人的经验出发，解决了智能控制中人类语模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，尤其是言的描述和推理问题，尤其是一些不确定性语言的描述和一些不确定性语言的描述和推理问题推理问题，从而在机器模拟人脑的感知、推理等智能行为，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。方面迈出了重大的一步。但是，模糊控制在处理但是，模糊控制在处理数值数据、自学习能力数值数据、自学习能力等方面还等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发，远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人脑的生理学和心理学着手，通过即从人脑的生理学和心理学着手，通过人工模拟人脑人工模拟人脑的工的工作机理来实现机器的部分智能行为。作机理来实现机器的部分智能行为。人工神经网络（简称神经网络，人工神经网络（简称神经网络，人工神经网络（简称神经网络，人工神经网络（简称神经网络，Neural Neural NetworkNetwork）是模拟人脑思维方式的数学模型）是模拟人脑思维方式的数学模型）是模拟人脑思维方式的数学模型）是模拟人脑思维方式的数学模型。3编辑版ppt1.神经网络发展历史神经网络发展历史神经网络发展历史神经网络发展历史 神经网络的发展历程经过神经网络的发展历程经过4个阶段。个阶段。(1)启蒙期（启蒙期（1890-1969年）年）1890年年，W.James发发表表专专著著心心理理学学，讨讨论论了了脑脑的的结结构和功构和功能。能。1943年年，心心理理学学家家W.S.McCulloch和和数数学学家家W.Pitts提提出出了了描描述述脑脑神神经经细细胞胞动动作作的的数数学学模模型型，即即M-P模模型型（第第一一个个神神经经网络模型）。网络模型）。1949年年，心心理理学学家家Hebb实实现现了了对对脑脑细细胞胞之之间间相相互互影影响响的的数学描述，从心理学的角度提出了数学描述，从心理学的角度提出了Hebb学习法则学习法则。1958年年，E.Rosenblatt提提出出了了描描述述信信息息在在人人脑脑中中贮贮存存和和记记忆的数学模型，即著名的忆的数学模型，即著名的感知机模型（感知机模型（Perceptron）。4编辑版ppt 1962年年，Widrow和和Hoff提提出出了了自自适适应应线线性性神神经经网网络络，即即Adaline网网络络，并并提提出出了了网网络络学学习习新新知知识识的的方方法法，即即Widrow和和Hoff学习规则学习规则（即（即学习规则），并用电路进行了硬件设计。学习规则），并用电路进行了硬件设计。(2)低潮期（低潮期（1969-1982）受受当当时时神神经经网网络络理理论论研研究究水水平平的的限限制制及及冯冯诺诺依依曼曼式式计计算算机机发展的冲击等因素的影响，神经网络的研究陷入低谷。发展的冲击等因素的影响，神经网络的研究陷入低谷。在在美美、日日等等国国有有少少数数学学者者继继续续着着神神经经网网络络模模型型和和学学习习算算法法的研究，提出了许多有意义的理论和方法。的研究，提出了许多有意义的理论和方法。1969年年，S.Groisberg和和A.Carpentet提提出出了了至至今今为为止止最最复复杂杂的的ART网网络络，该该网网络络可可以以对对任任意意复复杂杂的的二二维维模模式式进进行行自自组组织织、自稳定和大规模并行处理。自稳定和大规模并行处理。1972年，年，Kohonen提出了自组织映射的提出了自组织映射的SOM模型。模型。5编辑版ppt(3)复兴期（复兴期（1982-1986）1982年年，物物理理学学家家Hoppield提提出出了了Hoppield神神经经网网络络模模型型，该模型通过引入能量函数，实现了问题优化求解。，该模型通过引入能量函数，实现了问题优化求解。1984年年，Hoppield用用Hoppield神神经经网网络络模模型型成成功功地地解解决决了旅行商路径优化问题了旅行商路径优化问题(TSP)。1986年年，Rumelhart和和 McCelland等等 出出 版版 Parallel Distributed Processing一一书书中中提提出出了了一一种种著著名名的的多多层层神神经经网络模型，即网络模型，即BP网络，网络，迄今为止应用最普遍的神经网络。迄今为止应用最普遍的神经网络。(4)新连接机制时期（新连接机制时期（1986-现在）现在）神神经经网网络络从从理理论论走走向向应应用用领领域域，出出现现了了神神经经网网络络芯芯片片和和神神经经计计算算机机。应应用用领领域域有有：模模式式识识别别与与图图象象处处理理（语语音音、指指纹纹、故故障检测和图象压缩等）、通信等。障检测和图象压缩等）、通信等。6编辑版ppt2.神经网络基本原理神经网络基本原理神经网络基本原理神经网络基本原理 神神经经生生理理学学和和神神经经解解剖剖学学的的研研究究表表明明，人人脑脑极极其其复复杂杂，由由一一千千多多亿亿个个神神经经元元交交织织在在一一起起的的网网状状结结构构构构成成，其其中中大大脑脑皮皮层层约约140亿亿个个神神经经元元，小小脑脑皮皮层层约约1000亿亿个个神神经经元元。为为了了能能利利用用数数学学模模型型来来模模拟拟人人脑脑的的活活动动，完完成成学学习习等等智智能能活活动动，导导致致了了神经网络的研究。神经网络的研究。神神经经系系统统的的基基本本构构造造是是神神经经元元(神神经经细细胞胞)，它它是是处处理理人人体体内各部分之间相互内各部分之间相互信息传递的基本单元信息传递的基本单元。每每个个神神经经元元都都由由一一个个细细胞胞体体，一一个个连连接接其其他他神神经经元元的的轴轴突突和一些向外伸出的其它较短分支和一些向外伸出的其它较短分支树突树突组成。组成。7编辑版ppt 轴轴突突功功能能是是将将本本神神经经元元的的输输出出信信号号(兴兴奋奋)传传递递给给别别的的神神经经元元，其其末末端端的的许许多多神神经经末末梢梢使使得得兴兴奋奋可可以以同同时时传传给给多多个神经元。个神经元。树突树突的功能是的功能是接受接受来自其它神经元的来自其它神经元的兴奋兴奋。神经元细胞体神经元细胞体将接收到的所有将接收到的所有信号信号进行简单地进行简单地处理处理后，后，由由轴突输出轴突输出。神经元的神经元的轴突与另外神经元神经末梢轴突与另外神经元神经末梢相连的部分称相连的部分称为为突触突触。8编辑版ppt9编辑版ppt所以，决定神经网络模型性能三大要素为：所以，决定神经网络模型性能三大要素为：10编辑版ppt3.神经网络的分类神经网络的分类神经网络的分类神经网络的分类 目目前前神神经经网网络络模模型型的的种种类类相相当当丰丰富富，已已有有近近40余余种种神神经经网网络模型。根据神经网络的连接方式，可分为三种形式：络模型。根据神经网络的连接方式，可分为三种形式：(1)前向网络前向网络 神神经经元元分分层层排排列列，组组成成输输入入层层、隐隐含含层层和和输输出出层层。每每一一层层的的神神经经元元只只接接受受前前一一层层神神经经元元的的输输入入。输输入入模模式式经经过过各各层层的的顺顺次次变变换换后后，由由输输出出层层输输出出。在在各各神神经经元元之之间间不不存存在在反反馈馈。感感知知器和误差反向传播器和误差反向传播网络采用前向网络网络采用前向网络形式。形式。11编辑版ppt(2)反馈网络反馈网络 网网络络结结构构在在输输出出层层到到输输入入层层存存在在反反馈馈，即即每每一一个个输输入入节节点点都都有有可可能能接接受受来来自自外外部部的的输输入入和和来来自自输输出出神神经经元元的的反反馈馈。这这种种神神经经网网络络是是一一种种反反馈馈动动力力学学系系统统，它它需需要要工工作作一一段段时时间间才才能能达达到稳定到稳定。Hopfield神神经经网网络络是是反反馈馈网网络络中中最最简简单单且且应应用用最最广广泛泛的的模模型，它具有联型，它具有联想记忆想记忆的功能，还可以解决的功能，还可以解决寻优问题寻优问题。12编辑版ppt(3)自组织网络自组织网络 KohonenKohonen网网络络是是最最典典型型的的自自组组织织网网络络。当当神神经经网网络络在在接接受受外外界界输输入入时时，网网络络的的不不同同区区域域具具有有不不同同的的响响应应特特征征，即即不不同同的的神神经经元元以以最最佳佳方方式式响响应应不不同同性性质质的的信信号号激激励励，从从而而形形成成一一种种拓拓扑扑意意义义上上的的非非线线性性映映射射。这这种种映映射射是是通通过过无无监监督督的的自自适适应应过过程程完成完成的，所以也称为自组织特征图。的，所以也称为自组织特征图。13编辑版ppt二、神经元模型和神经网络二、神经元模型和神经网络1.神经元模型神经元模型14编辑版ppt通常情况下，取通常情况下，取即即15编辑版pptai1ai2a inbi1bi2bimwiy1y2y nu1ukum1vix iy i神经元网络的一般模型框架1）加法器2）线性动态系统（SISO）3）静态非线性系统16编辑版ppt通常情况下，可以假设常用的神经元非线性特征有以下四种：1）阈值型函数2）分段线性型函数17编辑版ppt3）Sigmoid 函数型4）Tan函数型函数18编辑版ppt学习是针对一组给定输入 使网络产生相应的期望输出的过程。总的来说，神经网络的学习算法分为两大类，有导师指导学习和无导师指导学习，分别如下图：2.神经网络的学习算法神经网络的学习算法距离计算神经网络神经网络有导师指导的神经网络学习方式 无导师指导的神经网络学习方式19编辑版ppt有导师学习在训练过程中，绐终存在一个期望的网络输出。期望输出和实际输出之间的距离作为误差度量并用于调整权值。无导师学习网络不存在一个期望的输出值，因而没有直接的误差信息，因此，为实现对网络的训练，需建立一个间接的评价函数，以对网络的某种行为趋向作出评价。20编辑版ppt 学习规则根据连接权系数的改变方式不同又可以分为以下三类：（1）相关学习仅仅根据连接间的激活水平改变权系数。它常用于自联想网络，执行特殊记忆状态的死记式学习。最常见的学习算法是Hebb规则。简化后，函数g和h与其第一个自变量成正比，则有：有导师：21编辑版ppt（2）纠错学习依赖关于输出节点的外部反馈改变权系数，它常用于感知器网络、多层前向传播网络和Boltzman 机网络。其学习方法是梯度下降法。最常见的学习方法有规则、模拟退火学习规则。感知器学习规则：delta学习规则：22编辑版ppt（3）无导师学习学习表现为自动实现输入空间的检测和分类，关键不在于实际节点的输出怎样与外部期望输出相一致，而在于调整参数以反映所观察事件的分布。无导师指导下的学习有时又称为自组织训练，输入样本就可以进行网络的训练。在整个训练过程中，神经网络权系数调整的目的是保证此网络能够将相类似的输入样本映射到相近似的输出单元。实质是从输入样本集中抽取其统计特性。（聚类分析）23编辑版ppt神经网络理论研究中困扰人们的问题：神经网络能否实现期望的表示？满足期望输入输出映射的网络权阵是否存在？学习算法能否保证权值收敛于真值？权值能否通过网络训练达到最佳值？神经网络的泛化能力是否充分？训练样本集是否合理？能否充分描述系统的输入输出特性？24编辑版ppt25编辑版ppt3.神经网络的泛化能力神经网络的泛化能力人们希望人工神经网络能容许某些变化，即与样本输入矢量存在差异时，其神经网络的输出同样能够准确地呈现出应有的输出。这种能力就称这神经网络的泛化能力。泛化或插值都需要一定数量的样本训练集。很显然，如果仅仅只有少数样本点，那么点之间的曲线形状的不确定性将是相当严重的。用有限的样本数据集很难正确的确定其他点的用有限的样本数据集很难正确的确定其他点的输出情况，目前没有很好的解决办法。输出情况，目前没有很好的解决办法。26编辑版ppt三、前向神经网络模型三、前向神经网络模型前向神经网络由一层或多层非线性处理单元组成的。相邻层之间通过突触权阵连接起来。由于前一层的输出作为下一层的输入，因此称此类网络结构为前向神经网络。基本概念 前向神经网络可以看成一种一组输入模式到一组输出模式的系统变换。这种变换通过对某一给定的输入样本相应的输出数据集的训练而得到。在前向网络结构中输入输出之间包含着一层或多层隐含层。27编辑版ppt单一人工神经元的激励输出是由一组连续输入信号 决定的。这些输入信号代表着从另外神经元传递过来的神经脉冲的瞬间激励。设代表神经元的连续输出状态值，在离散情况下，取0或1来表示神经元的兴奋或抑制。（1）单一人工神经元（单元）2.神经网络的学习算法神经网络的学习算法单一神经元的输入项Net由输入信号的线性组合构成，即式中，为阈值；是决定第个输入的突触权系数。式中，表示神经元激励函数。如果输出变量是一个二值元素，则在平衡点表示兴奋状态，表示抑制状态。30编辑版ppt二值输出的神经元：只含兴奋和抑制两种状态的单一神经元可以看作是一个分类器，即能对任意一组输入信号进行是否属于的分类映射。连续输出的单一神经元：神经元可以作为一个最简单的神经控制器进行参数自适应控制，如传统的PID调节器就可以用单一神经元来实现。这样，可以通过神经元的连接权系数来达到PID参数的自适应。31编辑版ppt单层神经网络结构是由个输入单元和个输出单元组成的，见下图。（2）单层神经网络结构32编辑版ppt多层传播结构是在输入层和输出层之间嵌入一层或多层隐含层的网络结构。隐含单元既可以与输入输出单元相连，也可以与其它隐含单元相连。（3）多层神经网络结构隐含层单元与输入单元之间通过突触权系数连接，并可用矩阵表示全部的连接关系，隐含单元与输出单元通过突触权系数表示，全部连接关系可用矩阵记之。33编辑版ppt34编辑版ppt35编辑版ppt36编辑版ppt 其中一般取为与网络结构相关的非线性算子。神经网络可以通过合适样本集，即外部给定的输入输出矢量对 ，来进行训练，调整其权值矩阵。3、多层传播网络的、多层传播网络的BP学习算法学习算法前向传播网络实质上表示的是一种从输入空间到输出空间的映射。对于给定的输入矢量，其神经网络的响应为37编辑版ppt 权值矩阵系数的调整是通过对所有样本的误差指标 达到极小的方法来实现的。式中，表示期望的输出；表示当前网络的实际输出；表示距离函数。误差指标函数可以用平方误差和来表示，即：针对所有的样本集，前向神经网络进行权值矩阵系数的迭代调整，直到误差指标满足要求为止。（1）单层神经网络的学习算法基于最小二乘其中，引入N个样本数据后，总的样本误差为：令样本误差对权值的微分为0，则有：最小二乘意义上的最优解为：现在考虑多层前向传播网络见下图。设输入模式为，则相应的隐含单元的输出为：L+1层前向传播网络结构示意图（2）多层神经网络的学习算法 很显然，隐含单元输出是输入矢量和它们之间的突触权系数的函数。突触权系数由学习算法来训练。根据层网络结构可知，网络的输出为其中，第个隐含层的输入是第个隐含层的输出，所以反向传播：将误差信号按神经网络通路反向计 算，按梯度下降法调整各层神经元 的权值和阀值，使误差信号减小。正向传播：输入信号从输入层经隐含层传向输 出层，若输出层达到期望的输出，学习算法结束；否则，转至反向传 播。BP学习算法误差反向传播学习算法梯度下降法梯度下降法求函数极小值的迭代算法求函数极小值的迭代算法 基本概念 设 是准则函数，为一向量。是 在点 的梯度，为一向量，其方向是 增长最快的方向；负梯度方向，则是 减小最快的方向。因此，若求某函数的极大值，沿着梯度方向走，可最快达到最大点；反之，沿负梯度方向走，可最快达到最小点。根据误差指标函数：按照梯度下降法反向计算：定义其中又称为广义误差。则可记：46编辑版ppt 这就是说，要使按梯度下降，就必须按下式进行权值调整：其中，上标变量 表示第 个隐含层，为第 层第 单元到第 层的第 单元连接系数；为学习步长。47编辑版ppt若为输出单元层，则若 为输出单元层，考虑到所有 层的神经元输入激励信号 都与第 层的神经元输出 相关，利用复合微分规则对求微分需对所有 层的输入激励信号 分别求微分之和：BP学习算法的训练过程 给定P组样本。这里为维输入矢量，为维期望的输出矢量，假设矢量和分别表示网络的输出层和隐含层的输出矢量。则训练过程可分为：1）选，作为最大容许误差，并将权系数，初始化成某一小的随机权矩阵。49编辑版ppt2）训练开始根据 计算出各隐含层神经元的激励输出和各输出层神经元的激励输出。3）计算误差50编辑版ppt4）计算出广义误差5）调整权阵系数6）若，转2），否则转7）7）若，结束，否则，转2）从理论上来说，具有一个隐含层的神经网络能实现任意连续函数的逼近。但在训练过程中仍有许多问题值得讨论。对训练过程有较大影响的是有权系数的初值、学习方式、激励函数、学习速率等。52编辑版ppt 初始化加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值 改变训练样板训练样终止？迭代终止？BP算法的基本流程NoNoyy53编辑版ppt学习方式 本书所采用的学习算法是根据广义误差得到的，这种学习算法又称增量型学习算法。其缺点是权值调整只满足逼近最近的那个样本。权系数的初值一般情况下，权系数通常初始化成小的随机值，尽量可能覆盖整个权阵的空间域。从而可以避免出现初始权阵系数相同的情况。若采用累积型学习方法，则有：54编辑版ppt激励函数常规Sigmoid函数在输入趋于1时其导数接近0，从而容易产生饱和现象。因此，可以通过调节Sigmoid函数的斜率或采用其它激励单元来改善网络的学习性能。学习速度 一般说来，学习速率越大，收敛越快，但容易产生振荡；而学习速率越小，收敛越慢。55编辑版ppt 小 结BP学习算法本质上属于一次收敛的学习算法；BP学习算法存在局部极小问题，且学习速度很慢，甚至会在极值点附近出现振荡现象，而不能平滑地趋于最优解；可采用某种平滑的权值更新公式例如下图所示的多层前向传播神经网络结构假设对于期望的输入试用BP算法训练此网络。这里，取神经元激励函数：学习步长为57编辑版ppt解：1）输入最大容许逼近误差值最大迭代学习次数iterafe max.置初始迭代学习次数iterate=02）计算当前输入状态下、当前网络的连接权系数下的神经网络输出。3)判断神经网络逼近误差满足要求或迭代学习达到最大容许值否？若上述不等式中有一个满足，则退出学习。否则进入下一步。4）计算广义误差输出层隐含层5）连接权系数更新令 ，继续迭代计算直至满足终止条件为止例利用多层前向传播神经网络逼近非线性函数解训练算法采用传统的BP学习算法，其中样本集取20点，即 选择MLP网络结构为：1个输入神经元、6个隐含层神经元和1个输出神经元。神经元激励函数都为Sigmoid函数初始权系数阵由（0,1）之间的随机数组成。学习步长选择为，下面给出了此神经网络的BP学习算法的平方误差曲线的收敛过程。为了验证此神经网络逼近的泛化性，我们又选择了30个校验样本数据集，它们的取值为63编辑版ppt均方误差y 针对同样的样本集对含有两个隐含层的MLP进行了仿真试验。第一隐含层的隐含神元经数为4、第二隐含层的隐含神元经数为2,学习步长BP算法的学习曲线神经网络的逼近性能均方误差y65编辑版ppt 结 论增加隐含层的数目并不一定意味着能够改善逼近精度；传统的BP学习算法在极值点附近训练速度相当慢；如果神经网络的训练结果不够理想，应该重新对神经网络进行训练；当输入信号与训练的样本信号相距较远时，神经网络的输出可能会产生完全不准确的结果；66编辑版ppt四动态神经网络模型四动态神经网络模型 虽然前向传播网络是一种强有力的学习系统，系统结构简单且易于编程，但其并不注重系统的动力学行为，而现实世界中的许多系统恰恰是非线性动态系统，如何利用神经网络实现动态系统的逼近和控制？问题的提出 解决方法研究反馈动力学神经网络模型67编辑版ppt 由简单非线性神经元互连而成的反馈动力学神经网络系统具有如下两个重要的特征。系统有若干个稳定状态。如果从某一初始状态开绐运动，系统总可以进入某一稳定状态。系统的稳定状态可以通过改变相连单元的权值而产生。因此，神经网络的设计和应用必须建立在对其动力学特性的理解的基础上，稳定性是其重要性质，而能量函数是判定网络稳定性的基本概念。68编辑版ppt稳定性神经网络从任一初态X（0）开绐运动，若存在某一有限的时刻。从以后神经网络的状态不再发生变化，即则称网络是稳定的处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。基本概念反馈的引入是构成动态神经网络的基础。反馈网络的一个重要特征是系统具有稳定状态。动态神经网络的典型代表是Hopfield网络、带时滞的多层感知器网络、回归神经网络等等。69编辑版ppt1、带时滞的多层感知器网络、带时滞的多层感知器网络一个带时滞的多层感知器网络结构图如下所示多层感知器网络抽头时滞环节 这种网络结构可以有效地描述输出是有限维独立的输入序列函数的动态系统：70编辑版ppt 由于不存在反馈，故其训练方法完全套用传统的BP学习算法。而带反馈的动态网络系统具有比纯前馈神经网络更优越的性能。此类带反馈的神经网络通常又称为回归神经网络。一种将反馈引入到神经网络中来的简单方法是将输出的时延直接加到网络输入端。多层感知器网络抽头时滞环节 抽头时滞环节X(k)X(k-1)X(k-n)X(k-m)Y(k-2)Y(k-1)X(k)Y(k)回归神经网络的学习可以直接利用静态前向传播神经网络的BP算法解决。72编辑版ppt2.Hopfield 神经网络（硬件电路）神经网络（硬件电路）Hopfield网络可以用一组耦合的非线性微分方程来表示；在任何初始状态下都能渐进趋于稳定态，这一稳定态是由神经元之间的连接权系数决定的；具备快速优化能力；（1）二值型的Hopfield网络(离散型的Hopfield网络)只有一个神经元层次,每个处理单元均有一个活跃值，又可称为状态，它取两个可能的状态值之一，通常用0和1或1和1来表示神经元的抑制和兴奋状态.73编辑版ppt 整个网络的状态由单一神经元的状态组成。网络的状态可用一个由0(-1)/1组成的矢量来表示，其中每一元素对应于某个神经元的状态。通常二值型的Hopfield网络可以用如下节点方程式来描述。式中，表示时间变量；表示外部输入；表示神经元输出；表示神经元内部状态；表示阀值函数。神经元之间实现全连接，即每个神经元的输出都通过权系数反馈到所有其它神经元（包括自身神经元）二值型Hopfield网络的结构图75编辑版ppt含有n个节点的离散Hopfield 网络有2n个可能的状态；网络状态变化采用随机性异步更新策略；节点状态更新包括三种情况：01、10，或状态保持；某一时刻网络中只有一个节点被选择进行状态更新，其余的节点保持原有状态；Hopfield 神经网络的状态转移例 假设一个3节点的离散Hopfield神经网络，已知网络权值与阀值如下图所示。计算状态转移关系。0.00.00.1-0.50.20.6解 以初始状态 为例，我们可以依次选择节点，确定其节点兴奋的条件及状态的转移。图 a)3节点离散hopfield网络77编辑版ppt假设首先选择节点，激励函数为:可见，节点处于兴奋状态并且状态由01。网络状态由000100，转移概率为1/3。同样其它两个节点也可以以等概率发生状态变化，它们的激励函数为节点和状态保持不变。因此，由状态000不会转移到001和010。110000001-0.6-0.43/31/30100111111000.41/30.01/3-0.32/32/31/31/30.01/31/31/30.01/3-0.11/31/31/31/31/31012/3 从这个例子上可以看出，系统状态是一个网络的稳定状态；网络从任意一个初始状态开始经几次的状态更新后都将到达此稳态。图b)3节点离散hopfield网络状态转移图Hopfield网络状态变化的核心是每个状态定义一个能量E，任意一个神经元节点状态变化时，能量E都将减小。能量减小是Hopfield网络系统稳定的重要标记。引入能量函数研究反馈神经网络的稳定性。Hopfield神经网络中的状态变化导致能量函数E的下降，并且能量函数的极小值点与网络稳定状态有着紧密的关系定理离散Hopfield神经网络的稳定状态与能量函数E在状态空间的局部极小状态是一一对应的。例：计算上例中的各状态能量。解：首先看状态时，由b)图可知，状态111可以转移到011。状态011的能量为 同理，可以计算出其它状态对应的能量，结果如图b所示。方框内的数字所示为能量。显然，状态011处的能量最小。从任意初始状态开始，网络沿能量减小方向更新状态，最终能达到能量极小所对应的稳定。神经网络的能量极小状态又称为能量井。能量井的存在为信息的分布存储记忆、神经优化计算提供了基础。能量井的分布是由连接权值决定的。因此，设计能量井的核心是如何获得一组合适的权值。权值设计通常有两种方法:静态产生方法 根据求解问题的要求直接计算出所需要的连接权值，一旦权值确定下来就不再改变；动态产生方法 通过提供一种学习机制来训练网络，使其能自动调整连接权值，产生期望的能量井；83编辑版ppt例3-3以图（下图）所示的3节点DHNN为例，要求设计的能量井为状态和111。权值和阀值可在-1,1区间取值。试确定网络权值和阀值。图 3节点DHNN模型当神经网络达到能量井时，神经网络状态则进入稳定状态，不再发生变化。要想使其进入所选择的稳态，只有修改网络的权值和阀值。分析 记为状态A，为状态B。对于状态A，节点激励函数必须满足下列不等式：解：因为点的神经元输入激励函数值为：，当系统处于稳态时，必须要求 ，这样才能保持状态不变。85编辑版ppt 同理，可得其余两个神经元也应该满足相应的不等式。对于状态B，权系数也必须满足以下不等式。利用上面6个不等式可以求出6个未知量的允许取值范围。假设取，则由上面节式得取 由得，由得，由得，由得，由得，取取取取取 因此，需要记忆稳定A和B的3点DHNN网络的一组权系数值为：可以验证，利用这组参数构成的DHNN，对于任一初始状态，最终都将达到所期望的稳态A或B。由于网络权值和阀值的选择可以在某一个范围内进行，因此，它的解并不是唯一的，有可能产生我们不期望的能量井。针对上例。如果选择权值和阀值为：可以验证，这组值是满足上面约束的要求，由这组参数构成DHNN有三个能量井，除010、111外，还有一假能量井100。100101001011001000010111110图 DHNN状态转移图89编辑版ppt DHNN的学习只是在此神经网络用于联想记忆时才有意义。其实质是通过一定的学习规则自动调整连接权值，使网络具有期望的能量井分布，并经记忆样本存储在不同的能量井中。常用的Hopfield网络学习规则是Hebb学习规则和学习规则。Hebb学习规则 设有N个神经元相互连接，每个神经元的活化状态只能取0或1，分别代表抑制和兴奋。调节的原则为：若 与 两个神经元同时处于兴奋状态，则它们之间的连接加强，即 对于一给定的需记忆的样本向量，如果的状态值为1或1，则其连接权系数的学习可以利用“外积规则”即 对于单端情况，即神经元的活跃值为1或0时，则权系数的学习规则为91编辑版ppt具体的计算步骤可归结为：1）置；2）输入，对所有连续对的权系数分别按外积规则或单端状况计算。一旦学习完成，Hopfield网络就可以用作联想记忆即对于某一带噪声的输入模式，Hopfield网络将收敛于与学习样本最相近的稳态模式。92编辑版ppt 学习规则学习算法的基本公式为：即计算每一个神经元节点的实际激活值，并与期望状态进行比较，若不满足要求，则将二者的误差值的一小部分作为调整量，调整具有激活输入（状态为1的输入端）的节点的权值或阀值；若满足要求，则相应的权值或阀值不需修整。2、Hopfield神经网络的联想记忆 前面已经提到，能量井的存在为实现神经网络联想记忆提供了保证。同样，联想记忆功能也是DHNN的一个重要应用特征。要实现联想记忆，神经网络必须具备两个基本条件：能够收敛于稳定状态，利用此稳态来记忆样本信息；具有回忆能力，能够从某一局部输入信息回忆起与其相关的相似记忆，或者由等一残缺的信息回忆起比较完整的记忆。94编辑版ppt DHNN实现联想记忆分为两个阶段，即学习记忆阶段和联记回忆阶段：学习记忆阶段实质上是设计能量井的分布，对于要记忆的样本信息，通过一定的学习规则训练网络，确定一组合适的权值的阀值，使网络具有期望的稳态。联记回忆阶段当给定网络某一输入模式的情况下，网络能够通过自身的动力学状态演化过程达到与其在海明距离意义上最近的稳态，从而实现自联想或异联想回忆。95编辑版ppt DHNN用于联想记忆有两个突出特点，即：记忆是分布式的，联想是动态的。这与人脑的联想记忆实现机理相类似。利用网络能量井来存储记忆样本，按照反馈动力学活动规律唤起记忆，显示出DHNN联想记忆实现方法的重要价值。96编辑版ppt五神经网络控制基础五神经网络控制基础1.神经网络控制神经网络控制神经网络控制神经网络控制神经网络控制的优越性：97编辑版ppt 3）神经网络是本质的非线性系统。它可以实现任何非线性映射。而在非线性系统的控制中有很大前途。4）神经网络具有很强的信息综合能力。它能够同时处理大量不同类型的输入。利用此功能人们可以有效地进行信息的融合。5）神经网络的硬件实现愈趋方便。大规模集成电路技术的发展为神经网络的硬件实现提供了技术手段。98编辑版ppt神经网络控制系统一般分为两大类：神经网络控制：它是以神经网络为基础而形成的独立智能控制系统；混合神经网络控制：利用神经网络学习和优化能力来改善传统控制的现代控制方法；如自适应神经控制等。2 2、神经网络控制器分类、神经网络控制器分类、神经网络控制器分类、神经网络控制器分类99编辑版ppt100编辑版ppt101编辑版ppt102编辑版ppt103编辑版ppt104编辑版ppt105编辑版ppt（6 6）混合控制系统）混合控制系统）混合控制系统）混合控制系统由神经网络技术与模糊控制、专家系统等结合形成由神经网络技术与模糊控制、专家系统等结合形成由神经网络技术与模糊控制、专家系统等结合形成由神经网络技术与模糊控制、专家系统等结合形成的一种具有很强学习能力的智能控制系统，它集人工的一种具有很强学习能力的智能控制系统，它集人工的一种具有很强学习能力的智能控制系统，它集人工的一种具有很强学习能力的智能控制系统，它集人工智能各分支的优点，使系统同时具有学习、推理和决智能各分支的优点，使系统同时具有学习、推理和决智能各分支的优点，使系统同时具有学习、推理和决智能各分支的优点，使系统同时具有学习、推理和决策能力成为智能控制的最新发展方向。策能力成为智能控制的最新发展方向。策能力成为智能控制的最新发展方向。策能力成为智能控制的最新发展方向。106编辑版ppt六神经网络控制的学习机制六神经网络控制的学习机制 神经网络辨识器的样本信息是已知的，而神经控制器的样本信息应该是系统的最佳控制量，一般说来往往预先是无法知道的，尤其在被控系统模型未知的情况下。问题的提出 解决方法 设计出一个神经网络去代替传统控制器，并使得神经网络控制器具备一定的学习机制。107编辑版ppt 神经网络的学习就是寻找一种神经网络的学习就是寻找一种有效的途径进行有效的途径进行网络连接权阵或网络结构的修改网络连接权阵或网络结构的修改，从而使网络控制，从而使网络控制器输出的控制信号能够保证系统输出跟随系统的期器输出的控制信号能够保证系统输出跟随系统的期望输出。望输出。不同于神经网络辨识器的学习规则，由于期望输不同于神经网络辨识器的学习规则，由于期望输出预先无法知道，因此神经网络控制器唯一能利用出预先无法知道，因此神经网络控制器唯一能利用的信息就是的信息就是系统的期望输出和系统实际输出系统的期望输出和系统实际输出 。108编辑版ppt109编辑版ppt110编辑版ppt 为克服离线学习法的困难，首先应该要考虑在上如何增为克服离线学习法的困难，首先应该要考虑在上如何增强网络控制器的学习功能，保证整个控制器具备自适应、自强网络控制器的学习功能，保证整个控制器具备自适应、自学习的能力。学习的能力。2、在线学习、在线学习神经网络非线性系统 此网络结构学习的目的是找出一个最优控制量使得此网络结构学习的目的是找出一个最优控制量使得系统输入系统输入 趋于期望输出趋于期望输出，权阵的调整应该使得，权阵的调整应该使得的误差减少最快。的误差减少最快。111编辑版ppt不失一般性，假设非线性系统模型为不失一般性，假设非线性系统模型为选用控制器网络为多层感知器神经元网络。取最优性能指标选用控制器网络为多层感知器神经元网络。取最优性能指标函数为函数为则权阵的学习则可以通过梯度寻优法来求得，即则权阵的学习则可以通过梯度寻优法来求得，即那么，如果系统模型已知，则那么，如果系统模型已知，则 可以求得，而可以求得，而 则利用广义的则利用广义的Delta规则来计算。规则来计算。112编辑版ppt3、反馈误差学习法、反馈误差学习法 反馈误差学习法的控制系统结构通常有反馈误差学习法的控制系统结构通常有前馈控制器和反前馈控制器和反馈控制器馈控制器两部分组成，把反馈控制的输出作为网络控制器的两部分组成，把反馈控制的输出作为网络控制器的训练误差信号，其结构图如下所示：训练误差信号，其结构图如下所示：固定增益控制器非线性系统神经网络113编辑版ppt 神经网络控制器是其前馈控制器，引入神经网络控制器是其前馈控制器，引入前馈补偿控制的前馈补偿控制的目的是加快控制速度目的是加快控制速度。在外部信号的充分激励下，用反馈误。在外部信号的充分激励下，用反馈误差不断训练的神经网络前馈控制器将逐渐地在控制行为中占差不断训练的神经网络前馈控制器将逐渐地在控制行为中占主导地位。主导地位。缺 点 由于直接使用系统的误差信号去更新控制网络的权矩由于直接使用系统的误差信号去更新控制网络的权矩阵，而忽略了非线性系统本身的动态性能，因此有可能导阵，而忽略了非线性系统本身的动态性能，因此有可能导致学习算法的发散现象。这种控制结构只致学习算法的发散现象。这种控制结构只适用于非线性系适用于非线性系统线性绝对占优条件下统线性绝对占优条件下的网络学习。的网络学习。114编辑版ppt4、多网络学习法、多网络学习法 以上三种学习算法都不能从根本上解决未知非线性系以上三种学习算法都不能从根本上解决未知非线性系统的学习问题。统的学习问题。解决这类问题的方法之一就是种用解决这类问题的方法之一就是种用神经网络辨识的手神经网络辨识的手段在线识别出未知系统的动态模型段在线识别出未知系统的动态模型。并利用此模型进行神。并利用此模型进行神经网络控制的设计和学习，且经网络控制的设计和学习，且在学习过程中进一步改善模在学习过程中进一步改善模型的精确性型的精确性，达到高精度控制的目的。，达到高精度控制的目的。115编辑版ppt116编辑版ppt117编辑版ppt七神经网络控制器的设计七神经网络控制器的设计1、神经网络直接逆模型控制法、神经网络直接逆模型控制法 直接逆模型控制法是直接逆模型控制法是最直观的最直观的一种神经网络控制器的一种神经网络控制器的实实现方法现方法，其基本思想是，其基本思想是假设被控系统可逆，通过离线建模得假设被控系统可逆，通过离线建模得到系统的逆模型网络到系统的逆模型网络，然后用这一逆模型直接控制被控对象。，然后用这一逆模型直接控制被控对象。考虑如下单输入单输出系统考虑如下单输入单输出系统假如已知系统的阶次，并假设上述系统可逆，则存在函数假如已知系统的阶次，并假设上述系统可逆，则存在函数118编辑版ppt直接逆控制的训练结构示意图119编辑版ppt120编辑版ppt 神经网络控制器Nc非线性系统直接神经网络控制结构图121编辑版ppt