《神经网络基本理论》PPT课件

神经网络基本理论 2 模糊控制从人的经验出发，解决了智能控制中人类语言的 描述和推理问题，尤其是一些不确定性语言的描述和推理 问题，从而在机器模拟人脑的感知、推理等智能行为方面 迈出了重大的一步。 模糊控制在处理数值数据、自学习能 力等方面还远没有达到人脑的境界。 人工神经网络从另一个角度出发，即从人恼的生理学和心 理学着手，通过人工模拟人脑的工作机理来实现机器的部 分智能行为。 神经网络简介 3 神经网络简介 人工神经网络（简称神经网络， Neural Network）是模拟 人脑思维方式的数学模型。 神经网络是在现代生物学研究人脑组织成果的基础上提出 的，用来模拟人类大脑神经网络的结构和行为。神经网络 反映了人脑功能的基本特征，如并行信息处理、学习、联 想、模式分类、记忆等。 20世纪 80年代以来，人工神经网络（ ANN， Artificial Neural Network）研究所取得的突破性进展。神经网络控 制是将神经网络与控制理论相结合而发展起来的智能控制 方法。它已成为智能控制的一个新的分支，为解决复杂的 非线性、不确定、未知系统的控制问题开辟了新途径。 4 神经网络的发展历程经过 4个阶段。 1 启蒙期（ 1890-1969年） 1890年， W.James发表专著 心理学 ，讨论了脑的结构 和功能。 1943年，心理学家 W.S.McCulloch和数学家 W.Pitts提出了 描述脑神经细胞动作的数学模型，即 M-P模型（第一个神 经网络模型）。 1949年，心理学家 Hebb实现了对脑细胞之间相互影响的数 学描述，从心理学的角度提出了至今仍对神经网络理论有 着重要影响的 Hebb学习法则。 1958年， E.Rosenblatt提出了描述信息在人脑中贮存和记 忆的数学模型，即著名的感知机模型（ Perceptron）。 1962年， Widrow和 Hoff提出了自适应线性神经网络，即 Adaline网络，并提出了网络学习新知识的方法，即 Widrow和 Hoff学习规则（即 学习规则），并用电路进行 了硬件设计。 神经网络简介 5 2 低潮期（ 1969-1982） 受当时神经网络理论研究水平的限制及冯 诺依曼式计算 机发展的冲击等因素的影响，神经网络的研究陷入低谷。 在美、日等国有少数学者继续着神经网络模型和学习算法 的研究，提出了许多有意义的理论和方法。例如， 1969年， S.Groisberg和 A.Carpentet提出了至今为止最复杂的 ART 网络，该网络可以对任意复杂的二维模式进行自组织、自 稳定和大规模并行处理。 1972年， Kohonen提出了自组织 映射的 SOM模型。 神经网络简介 6 神经网络简介 3 复兴期（ 1982-1986） 1982年，物理学家 Hoppield提出了 Hoppield神经网络模型， 该模型通过引入能量函数，实现了问题优化求解， 1984年 他用此模型成功地解决了旅行商路径优化问题 (TSP)。 在 1986年，在 Rumelhart和 McCelland等出版 Parallel Distributed Processing 一书，提出了一种著名的多层 神经网络模型，即 BP网络。该网络是迄今为止应用最普遍 的神经网络。 7 神经网络简介 4 新连接机制时期（ 1986-现在） 神经网络从理论走向应用领域，出现了神经网络芯片和神 经计算机。 神经网络主要应用领域有：模式识别与图象处理（语音、 指纹、故障检测和图象压缩等）、控制与优化、预测与管 理（市场预测、风险分析）、通信等。 8 神经网络简介 神经网络原理 神经生理学和神经解剖学的研究表明，人脑极其复杂，由 一千多亿个神经元交织在一起的网状结构构成，其中大脑 皮层约 140亿个神经元，小脑皮层约 1000亿个神经元。 人脑能完成智能、思维等高级活动，为了能利用数学模型 来模拟人脑的活动，导致了神经网络的研究。 神经系统的基本构造是神经元 (神经细胞 )，它是处理人体 内各部分之间相互信息传递的基本单元。 9 神经网络简介 每个神经元都由一个细胞体，一个连接其他神经元的轴突 和一些向外伸出的其它较短分支 树突组成。 轴突功能是将本神经元的输出信号 (兴奋 )传递给别的神经 元，其末端的许多神经末梢使得兴奋可以同时传送给多个 神经元。 树突的功能是接受来自其它神经元的兴奋。 神经元细胞体将接收到的所有信号进行简单地处理后，由 轴突输出。 神经元的轴突与另外神经元神经末梢相连的部分称为突触。 10 神经网络简介 生物神经元模型 生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出 信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位； 相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若 代数和超过某个阈值，神经元将产生冲动。 11 神经网络简介 神经元由三部分构成： （ 1）细胞体（主体部分）：包括细胞质、细胞膜和细胞 核； （ 2）树突：用于为细胞体传入信息； （ 3）轴突：为细胞体传出信息，其末端是轴突末梢，含 传递信息的化学物质； （ 4）突触：是神经元之间的接口（ 104105个 /每个神经 元）。一个神经元通过其轴突的神经末梢，经突触与另外 一个神经元的树突连接，以实现信息的传递。由于突触的 信息传递特性是可变的，随着神经冲动传递方式的变化， 传递作用强弱不同，形成了神经元之间连接的柔性，称为 结构的可塑性。 通过树突和轴突，神经元之间实现了信息的传递。 12 神经网络简介 神经元具有如下功能： (1) 兴奋与抑制：如果传入神经元的冲动经整和后使细胞膜 电位升高 ， 超过动作电位的阈值时即为兴奋状态 ， 产生神 经冲动 ， 由轴突经神经末梢传出 。 如果传入神经元的冲动 经整和后使细胞膜电位降低 ， 低于动作电位的阈值时即为 抑制状态 ， 不产生神经冲动 。 (2) 学习与遗忘：由于神经元结构的可塑性 ， 突触的传递作 用可增强和减弱 ， 因此神经元具有学习与遗忘的功能 。 13 人工神经元模型 人工神经元模型 模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型 x1, xnT为输入向量， y为输出， f()为激发函数， 为阈值。 Wi为神经元与其它 神经元的连接强度，也称权值。 14 人工神经元模型 常用的激发函数 f 的种类 ： 1）阈值型函数 0 x0 0 x1f(x ) 0 x1 0 x1f ( x ) 15 人工神经元模型 2）饱和型函数 k 1 x1 k 1 x k 1 kx k 1 x1 f ( x) 3）双曲函数 a r c t a n ( x )f ( x ) 16 人工神经元模型 4） S型函数 0, x )e x p (1 1f ( x ) 5）高斯函数 )bxe x p (f ( x ) 22 17 神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络 系统。 定义 特点 （ 1） 非线性映射逼近能力。 任意的连续非线性函数映射关系可由多层神经网络以 任意精度加以逼近。 （ 2） 自适应性和自组织性 。 神经元之间的连接具有多样性，各神经元之间的连接 强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。 （ 3） 并行处理性。 网络的各单元可以同时进行类似的处理过程，整个网络的信息 处理方式是大规模并行的，可以大大加快对信息处理的速度。 （ 4） 分布存储和容错性。 信息在神经网络内的存储按内容分布于许多神经元中， 而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用， 部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功 能。 （ 5） 便于集成实现和计算模拟。 神经网络在结构上是相同神经元的大规模组合， 特别适合于用大规模集成电路实现。 18 感知器 (Perceptron)是由美国学者 F.Rosenblatt于 1957年提出的，它是一个具有单 层计算单元的神经网络，并由线性阈值元件组成。 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为 1， 否则为 0或 -1。 它的权系 W可变，这样它就可以学习。 感知器的结构 感知器模型 19 感知器模型 感知器的学习算法 为方便起见，将阈值 (它也同样需要学习 )并入 W中，令 Wn+1=-， X向量也相 应地增加一个分量 xn+1=1，则 1n 1i ii )xWf(y 学习算法： 给定初始值：赋给 Wi(0)各一个较小的随机非零值，这里 Wi(t)为 t时刻第 i个 输入的权 (1in)， Wn+1(t)为 t时刻的阈值； 输入一样本 X=(xi, xn,1)和它的希望输出 d； 计算实际输出 1n 1i ii )( t ) xWf(Y ( t ) 修正权 W ： Wi(t+1)=Wi(t)+d-Y(t)xi, i=1,2, n+1 转到直到 W对一切样本均稳定不变为止。 20 感知器模型 根据某样本训练时，均方差随训练次数的收敛情况 21 神经网络的构成和分类 构成 从 Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加 以描述。 状态方程描述每个神经元的输入、输出、权值间的函数关系。 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习， 从而调整整个神经网络的输入输出关系。 分类 （ 1）从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构 上来说，主要分为层状和网状结构。 22 神经网络的构成和分类 层状结构 ： 网络由若干层组成，每层中有一定数量的神经元，相邻层中神经 元单向联接，一般同层内神经元不能联接。 前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。 每个神经元从前一层接收输入，发送输出给下一层。 23 神经网络的构成和分类 网状结构：网络中任何两个神经元之间都可能双向联接。 反馈网络：从输出层到输入层有反馈， 每一个神经元同时接收外来输入和来自其 它神经元的反馈输入，其中包括神经元输 出信号引回自身输入的自环反馈。 混合型网络：前向网络的同一层神经 元之间有互联的网络。 24 神经网络的构成和分类 （ 2） 从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等 （ 3） 从网络的学习方式上划分 有导师学习神经网络 为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼 近样本数据的输入输出关系。 无导师学习神经网络 不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提 取出来。 （ 4）从学习算法上来划分： 基于 BP算法的网络、基于 Hebb算法的网络、基于竞争式学习算法的网络、 基于遗传算法的网络。 25 目前神经网络模型的种类相当丰富 ， 已有近 40余种神 经网络模型 。 典型的神经网络有多层前向传播网络 （ BP网络 ） 、 Hopfield网络 、 CMAC小脑模型 、 ART网络 、 BAM双 向联想记忆网络 、 SOM自组织网络 、 Blotzman机网络 和 Madaline网络等 。 典型神经网络 26 神经网络学习算法是神经网络智能特性的重要标志 ， 神经网络通过学习算法 ， 实现了自适应 、 自组织 和自学习的能力 。 目前神经网络的学习算法有多种 ， 按有无导师 分类 ， 可分为有教师学习 （ Supervised Learning） 、 无教师学习 （ Unsupervised Learning） 和再励学 习 （ Reinforcement Learning） 等几大类 。 神经网络学习算法 27 在有教师的学习方式中 ， 网络的输出和期望的输 出 （ 即教师信号 ） 进行比较 ， 然后根据两者之间的差 异调整网络的权值 ， 最终使差异变小 。 在无教师的学习方式中 ， 输入模式进入网络后 ， 网 络按照一预先设定的规则 （ 如竞争规则 ） 自动调整权 值 ， 使网络最终具有模式分类等功能 。 再励学习是介于上述两者之间的一种学习方式 。 神经网络学习算法 28 图 有导师指导的神经网络学习 神经网络学习算法 29 图 无导师指导的神经网络学习 神经网络学习算法 30 最基本的神经网络学习算法： 1、 Hebb学习规则 Hebb学习规则是一种联想式学习算法 。 生物学家 D.O.Hebbian基于对生物学和心理学的研究 ， 认为两个 神经元同时处于激发状态时 ， 它们之间的连接强度将得 到加强 ， 这一论述的数学描述被称为 Hebb学习规则 ， 即 jiijij IIkwkw )()1( 神经网络学习算法 31 其中， 为连接从神经元 到神经元 的当前权 值， 和 为神经元的激活水平。 Hebb学习规则是一种无教师的学习方法，它只 根据神经元连接间的激活水平改变权值，因此，这 种方法又称为相关学习或并联学习。 )(kwij i j iI jI jiijij IIkwkw )()1( 神经网络学习算法 32 2 Delta（ ） 学习规则 假设误差准则函数为： 其中 ， 代表期望的输出 （ 教师信号 ） ； 为网络的实 际输出 ， ； 为网络所有权值组成的向量： 为输入模式： P p p P p pp EydE 11 2)( 2 1 pd py )( pp WXfy W TnwwwW ,1,0 pX 神经网络学习算法 33 Tpnppp xxxX , 10 其中训练样本数为 。 神经网络学习的目的是通过调整权值 W， 使误差 准则函数最小 。 权值的调整采用梯度下降法来实现 ， 其基本思想 是沿着 E的负梯度方向不断修正 W值 ， 直到 E达到最 小 。 数学表达式为： Pp ,2,1 iW EW 神经网络学习算法 34 P p i p i W E W E 1 其中 2 2 1 ppp ydE 令 ， 则 pp Wx ippppip p p p p i p p p i p XfydXy y E W E W E )()( W的修正规则为 P p ippppi XfydW 1 )()( 上式称为 学习规则，又称误差修正规则。 神经网络学习算法 35 1. 神经网络特征 神经网络具有以下几个特征： （ 1）能逼近任意非线性函数； （ 2）信息的并行分布式处理与存储； （ 3）可以多输入、多输出； （ 4）便于用超大规模集成电路（ VISI）或光学集成电路系 统实现，或用现有的计算机技术实现； （ 5）能进行学习，以适应环境的变化。 神经网络特征及要素 36 2 神经网络要素 决定神经网络模型性能的三大要素为： （ 1）神经元（信息处理单元）的特性； （ 2）神经元之间相互连接的形式 拓扑结构； （ 3）为适应环境而改善性能的学习规则。 神经网络特征及要素 37 神经网络控制的研究领域 （ 1） 基于神经网络的系统辨识 将神经网络作为被辨识系统的模型 ， 可在已知常规模型 结构的情况下 ， 估计模型的参数 。 利用神经网络的线性 、 非线性特性 ， 可建立线性 、 非线 性系统的静态 、 动态 、 逆动态及预测模型 ， 实现非线性 系统的建模和辨识 。 38 (2) 神经网络控制器 神经网络作为实时控制系统的控制器 ， 对不 确定 、 不确知系统及扰动进行有效的控制 ， 使控 制系统达到所要求的动态 、 静态特性 。 (3) 神经网络与其他算法相结合 将神经网络与专家系统 、 模糊逻辑 、 遗传算法 等相结合 ， 可设计新型智能控制系统 。 神经网络控制的研究领域 39 (4) 优化计算 在常规的控制系统中 ， 常遇到求解约束优化问题 ， 神经 网络为这类问题的解决提供了有效的途径 。 目前 ， 神经网络控制已经在多种控制结构中得到应用 ， 如 PID控制 、 模型参考自适应控制 、 前馈反馈控制 、 内模 控制 、 预测控制 、 模糊控制等 。 神经网络控制的研究领域 40 多层前向 BP神经网络 最早由 werbos在 1974年提出的， 1985年由 Rumelhart再次进行发展。 多层前向神经网络的结构 多层前向神经网络由输入层、隐层（不少于 1层）、输出层组成，信号沿 输入 输出的方向逐层传递。 41 多层前向 BP神经网络 沿信息的传播方向，给出网络的状态方程，用 Inj(i)， Outj(i)表示第 i层第 j个神经 元的输入和输出，则各层的输入输出关系可描述为： 第一层（输入层）：将输入引入网络 iii xInO u t )1()1( ni ,2,1 第二层（隐层） n i iijj O u twIn 1 )1()1()2( )( )2()2( jj InfOut lj ,2,1 第三层（输出层） l j jj O u twInO u ty 1 )2()2()3()3( 42 多层前向 BP神经网络 网络的学习 学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可 能接近期望的输出。 MkyX kk ,2,1),( Tknkkk xxxX , 21 假设有 M个样本 : 将第 k个样本 Xk输入网络，得到的网络输出为 ky 定义学习的目标函数为 ： M k kk yyJ 1 2)( 2 1 43 多层前向 BP神经网络 为使目标函数最小，训练算法是： )()()1( tw Jtwtw )()()1( )2(1 )2()2( tw Jtwtw j jj )()()1( )1(2 )1()1( tw Jtwtw ij ijij 令 2)(21 kkk yyJ 则 M k kwJwJ 1 )2( )2()2( )( jkkjkkkjk O u tyyw y y J w J )1()2( )1( )2( )2( )2( )2()1( )( ijkkij j j j j k k k ij k O u tfwyy w in in out out y y J w J 44 多层前向 BP神经网络 学习的步骤： （ 1）依次取第 k组样本 MkyX kk ,2,1),( ，将 Xk输入网络。 （ 2）依次计算 M k kk yyJ 1 2)(21 ，如果 J ，退出。 （ 3）计算 w Jk （ 4）计算 M k k w J w J 1 （ 5） )()()1( tw Jtwtw ，修正权值，返回（ 1） 如果样本数少，则学习知识不够；如果样本多，则需计算更多的 dJk/dw, ，训练 时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw, ，调 整权值。 45 例 4.1 多层前向 BP网络训练 训练样本 SISO： SampleInput=0 0.1 0.2 0.3 0.4; SampleOutput=4 2 2 2 2; 网络结构： 46 网络输入输出关系： )(2 i i ii zfwy )e x p (1 1)( ii ii zzf iii xwz 1 需训练的量： iiii ww , 21 47 训练算法： 5 15 1 25 1 22 )()(k iik i k k k k i k i zfkewyyJwJw J 5 1 2215 15 1 11 )()e x p ()()()( k iiiiii i i i ii k ii k k k k i k i xzfzwkewzz zfzf yyJwJw J 5 1 225 15 1 )()e x p ()()()( k iiiiiii iik ii kkkk iki zfzzwkezfzf yyJJJ 5 1 225 15 1 )()e x p ()()()( k iiiiii i i i ii k ii k k k k i k i zfzwkezz zfzf yyJJJ 25 1 5 1 25 1 )()(2121 kykyeJJ kk kk k 48 11 11 i ii w Jww 22 22 i ii w Jww i ii J 3 i ii J 4 训练初始参数： W1=rand(1,5); W2=rand(1,5); theta=rand(1,5); beta=rand(1,5); LearningRate1=0.2; LearningRate2=0.4; LearningRate3=0.2; LearningRate4=0.2; 49 训练后参数： W1 -0.4059 8.5182 -0.5994 -0.1153 -1.1916; W2=0.6245 2.8382 0.6632 0.5783 3.5775; Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858; Theta=1.5832 0.1900 1.5406 1.6665 -0.1441; 50 训练 1000次目标函数的变化曲线： 51 训练结束后神经网络的输出与样本的拟和情况 52 BP网络的优点为： （ 1） 只要有足够多的隐层和隐层节点 ， BP网络可以逼近任 意的非线性映射关系； （ 2） BP网络的学习算法属于全局逼近算法 ， 具有较强的泛 化能力 。 （ 3） BP网络输入输出之间的关联信息分布地存储在网络的 连接权中 ， 个别神经元的损坏只对输入输出关系有较小的 影响 ， 因而 BP网络具有较好的容错性 。 53 BP网络的主要缺点为： （ 1） 待寻优的参数多 ， 收敛速度慢； （ 2） 目标函数存在多个极值点 ， 按梯度下降法进行 学习 ， 很容易陷入局部极小值； （ 3） 难以确定隐层及隐层节点的数目 。 目前 ， 如何 根据特定的问题来确定具体的网络结构尚无很好 的方法 ， 仍需根据经验来试凑 。 54 由于 BP网络具有很好的逼近非线性映射的能力 ， 该网络在模式识别 、 图像处理 、 系统辨识 、 函数 拟合 、 优化计算 、 最优预测和自适应控制等领域 有着较为广泛的应用 。 由于 BP网络具有很好的逼近特性和泛化能力 ， 可用于神经网络控制器的设计 。 但由于 BP网络收 敛速度慢 ， 难以适应实时控制的要求 。 55 BP网络逼近仿真实例 使用 BP网络逼近对象： BP网络逼近程序见 chap7_1.m 2 3 )1(1 )1()()( ky kykuky 56 BP网络模式识别 由于神经网络具有自学习、自组织和并行处理等特征，并 具有很强的容错能力和联想能力，因此，神经网络具有模 式识别的能力 在神经网络模式识别中，根据标准的输入输出模式对，采 用神经网络学习算法，以标准的模式作为学习样本进行训 练，通过学习调整神经网络的连接权值。当训练满足要求 后，得到的神经网络权值构成了模式识别的知识库，利用 神经网络并行推理算法对所需要的输入模式进行识别。 57 当待识别的输入模式与训练样本中的某个输入模式相同时 ， 神经网络识别的结果就是与训练样本中相对应的输出模式 。 当待识别的输入模式与训练样本中所有输入模式都不完全 相同时 ， 则可得到与其相近样本相对应的输出模式 。 当待识别的输入模式与训练样本中所有输入模式相差较远 时 ， 就不能得到正确的识别结果 ， 此时可将这一模式作为 新的样本进行训练 ， 使神经网络获取新的知识 ， 并存储到 网络的权值矩阵中 ， 从而增强网络的识别能力 。 BP网络的训练过程如下：正向传播是输入信号从输入层经 隐层传向输出层 ， 若输出层得到了期望的输出 ， 则学习算 法结束；否则 ， 转至反向传播 58 RBF神经网络 径向基函数 (RBF-Radial Basis Function)神经网络 是由 J.Moody和 C.Darken在 80年代末提出的一种神经 网络 ,它是具有单隐层的三层前馈网络 。 由于它模拟了人脑中局部调整 、 相互覆盖接收域 （ 或称感 受野 -Receptive Field） 的神经网络结构 ， 因此 ， RBF网络是一种局部逼近网络 ， 已证明它能任意精度逼 近任意连续函数 。 59 RBF网络特点 (1) RBF网络的作用函数为高斯函数，是局部的， BP网络的作用函数为 S函数，是全局的； (2) 如何确定 RBF网络隐层节点的中心及基宽度 参数是一个困难的问题； (3) 已证明 RBF网络具有唯一最佳逼近的特性， 且无局部极小。 60 RBF网络结构 RBF网络是一种三层前向网络，由于输入到输 出的映射是非线性的，而隐含层空间到输出空间 的映射是线性的，从而可以大大加快学习速度并 避免局部极小问题。 61 RBF网络的逼近 62 在 RBF网络结构中 ， 为网络的输入向量 。 设 RBF网络的径向基向量 ， 其中 hj为高斯基函数： 网络的第 j个结点的中心矢量为： 其中 ， i=1,2, n TnxxxX , . . . ., 21 Th.,h,h m21 jhH mj b X j j ,2,1), 2 C- e x p ( -h 2 2 j T n21j cc,cC jijjj c 63 设网络的基宽向量为： 为节点的基宽度参数 ， 且为大于零的数 。 网络的 权向量为： k时刻 网络的输出为： 设理想输出为 y(k)， 则性能指标函数为： T21 ,B mbbb jb ,W 21 mj wwww h+w+h+whw= w hky mmm 2211)( 2m ( k ) )-( k )( 2 1 yykE )( 64 根据梯度下降法 ， 输出权 、 节点中心及节点基宽参数的迭代 算法如下： )2()1( kwkwhyyww jjjmjj ( k ) )-( k )(1)-(k( k ) 3 2 j j jjmj b CX hwyyb - ( k ) )-( k )( 2 ) )-(k-1)-(k(1)-(k( k ) jjjjj bbbbb 2 j jij jmji b cxwyyc -( k ) )-( k )( 2 ) )-(k-1)-(k(1)-(k( k ) ijijijijij ccccc 65 阵 (即为 对象的输出对控制输入的灵敏度信息 )算法为 ： 其中取 。 J a c o b i a n m j j j jjm b xc hw ku ky ku ky 1 2 11 )( )( )( )( (k)ux 1 其中 , 为学习速率， 为动量因子。 66 RBF网络逼近仿真实例 2 3 )1(1 )1( )()( ky ky kuky 使用 RBF网络逼近下列对象： RBF网络逼近程序见 chap7_3.m。 67 对角回归型神经网络 （ DRNN ： Diagonal Recurrent Neural Network） 是具有反馈的动态神 经网络 ， 该网络能够更直接更生动地反映系统的动 态特性 ， 它在 BP网络基本结构的基础上 ， 通过存 储内部状态使其具备映射动态特征的功能 ， 从而使 系统具有适应时变特性的能力 ， DRNN网络代表了 神经网络建模和控制的方向 。 回归神经网络 68 DRNN网络结构 DRNN网络是一种三层前向网络 ， 其隐含层为回归层 。 正向传播是输入信号从输入层经隐层传向输出层 ， 若输出层得到了期望的输出 ， 则学习算法结束；否则 ， 转至反向传播 。 反向传播就是将误差信号 （ 理想输 出与实际输出之差 ） 按联接通路反向计算 ， 由梯度下 降法调整各层神经元的权值和阈值 ， 使误差信号减小 。 DRNN网络结构如图 7-18所示 。 69 图 7-18 DRNN神经网络结构 70 在该网络中 , 设 为网络输入向量 , 为输入层第 i个神经元的输入 ， 网络回归层第 j 个神经元的输出为 , 为第 个回归神经元输 入总和 , 为 S函数 ， 为 DRNN网络的输出 。 nIIII , 21 (t)iI (k)jX (k)jS j (.)f (k)O 和 为网络回归层和输出层的权值向量 , 为网络输入层的权值向量 。 DW OW IW 71 DRNN网络逼近的结构如图所示，图中 k为网络的迭代步骤， u(k)和 y(k)为辨识器的输入。 DRNN为网络辨识器。 y(k)为 被控对象实际输出， ym(k)为 DRNN的输出。将系统输出 y(k) 及输入 u(k)的值作为辨识器 DRNN的输入，将系统输出与网 络输出的误差作为辨识器的调整信号。 72 网络输出层的输出为 网络回归层的输出为 网络回归层的输入为 )()()( kXwkOky j jojm )()( kSfkX jj )()1()( kIwkXwkS iIij i j o jj 73 逼近误差为： 性能指标函数为： 学习算法采用梯度下降法 2( k ) 2 1 ekE )( )()()( kykyte m )()()()()( kXke w yke w kEkw jo j m oj oj 74 )2()1()( kwkwkwww ojojojoojoj 1)-(k( k ) )()()()()()()()( kQwkewXX kykew kykew kEkw ijojI ij j j m Iij m Iij Iij )2()1()( kwkwkwww IijIijIijIIijIij 1)-(k( k ) )()()()()( kPwtewXXykew kEkw jojD j j j m Dj Dj )2()1()( kwkwkwww DjDjDjDDjDj 1)-(k( k ) 75 其中回归层神经元取双函数为 x x xf e1 e1)( )1()()( kXSf w X kP jjD j j j )()()( kISf w X kQ ijI ij j ij 其中 ， 分别为输入层 、 回归层和输出层的学 习速率 ， 为惯性系数 。 Io , D 76 DRNN网络逼近仿真实例 使用 DRNN网络逼近下列对象： 2 3 )1(1 )1()()( ky kykuky DRNN网络逼近程序见 chap7_4.m。 77 是一种无导师学习的网络 脑神经科学研究表明： 传递感觉的神经元排列是按某种规律有序进行的，这种 排列往往反映所感受的外部刺激的某些物理特征。 大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对 不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的 信号激励，从而形成一种拓扑意义上的有序排列 在这种网络中，输出节点与其邻域其他节点 广泛相连，并互相激励。输入节点和输出节 点之间通过强度 wij(t)相连接。通过某种规则， 不断地调整 wij(t)，使得在稳定时，每一邻域 的所有节点对某种输入具有类似的输出，并 且这种聚类的概率分布与输入模式的概率分 布相接近。 大脑自组织神经网络 78 自组织学习算法： (1) 权值初始化并选定领域的大小 ； (2) 输入模式； (3) 计算空间距离 1 0 2)()(N i ijij twtxd 式中 xi(t)是 t时刻 i节点的输入， wij(t)是输入节点 i与输出节点 j 的连接 强度， N为输入节点的数目； (4) 选择节点 j*，它满足 jj dmin (5) 按下式改变 j*和其领域节点的连接强度 wij(t+1)= wij(t)+(t)xi(t)- wij(t), j j*的领域， 0 i N-1 式中 (t)称之为衰减因子。 (6) 返回到第 (2)步，直至满足 xi(t)- wij(t)2 (为给定的误差 )。 79 例 4.2 大脑自组织网络的训练 输入模式： X x1,x2,x3 网络节点数量： 9 邻域： 1 网络初始权值： W= 0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.5692 0.0877 0.3025; 80 1. 单模式训练情况 输入为： X=0 0 1 结果： W= 0.1122 0.0000 0.0000 0.0000 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.0000 0.0000 0.0000 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025 输入为： X=0 1 0 结果： W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.0000 0.0000 0.0000 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 1.0000 1.0000 1.0000 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.0000 81 2. 多模式训练情况 1 0 0 0 1 0 0 0 1 Input= 训练结果： 0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 W 网络输出： Output=Input*W= 0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 模式 1 模式 2 模式 3 模式 2 模式 1 模式 3 模式 1 模式 2 模式 3 82 小脑神经网络 小脑模型关节控制器（ CMAC）是由 Albus最初于 1975年基于神经生理学提出 的，它是一种基于局部逼近的简单快速的神经网络，能够学习任意多维非线性 映射 , 迄今已广泛用于许多领域。 CMAC具有优点： 具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线 学习； 一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出； 83 CMAC的原理 CMAC是一种模仿人类小脑的学习结构。在这种技术里，每个状态变量被量化并且输入 空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用于产生地 址来激活联想单元中存储的联想强度从而恢复这个状态的信息。 对于输入空间大的情况，联想单元数量巨大，为了节省存储空间， Albus提出了 hash编 码，将联想强度存于数量大大少于联想单元的 hash单元中，联想单元中只存储 hash单 元的散列地址编码 状态空间 联想单元 ha sh 单元 加法器 输出 输入空间 状态 划分 84 CMAC的空间划分和量化机制 超立方体 联想单元 “块” 1 2 3 4 8 7 6 5 10 9 1 2 3 4 1 2 3 4 11 12 13 14 15 16 A B C D E F b a c d e f 量化的第1种方式 量化的第2种方式 量化的第3种方式 量化的第1种方式 量化的第2种方式 量化的第3种方式 85 CMAC学习的数学推导 1)无 hash映射的 CMAC 在 CMAC中，每个量化的状态对应 Ne个联想单元。假设 Nh是总的联想单元 的数量，该数量与没有 hash映射时的物理存储空间大小一致。用 CMAC技 术，第 s个状态对应的输出数据 ys可以被表示为： h h h N j jjs N Nsss T ss ccccWCy 1 , 2 1 ,2,1, 式中 W是代表存储内容（联想强度）的向量， Cs是存储单元激活向量，该向 量包含 Ne个 1。在决定了空间的划分方式后，对于指定的状态，单元激活向 量 Cs也随之确定。 86 2)有 hash映射的 CMAC hash映射将几个联想单元和一个物理存储位置 (hash单元 )相对应。 hash单元 中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储 hash单元的 散列地址编码。有 hash映射的 CMAC特别适用于存储空间小于超立方体数量 时的情况。用有 hash映射的 CMAC技术，第 s个状态对应的输出数据 ys可以 被表示为： p phh p h M MNN M Nsss T ss hh hh cccHWCy 2 1 ,1, ,111 ,2,1, 式中 Mp是 hash单元的数量，它小于联想单元数 Nh。 hij=1表示联想单元 i激活 hash单元 j。由于每个联想单元仅仅和一个 hash单元相对应，所以 hash矩阵 H的每一行仅有一个单元等于 1，其余的都等于 0。 87 WaaaWAy hNsssTss ,2,1, 没有 hash映射的公式和有 hash映射的公式可以合并为一个式子： 映射有 映射无 h a s h h a s h HC CA Ts TsT s CMAC的学习 CMAC用迭代算法来训练联想强度。在学习中，我们将 Ns个训练数据重复 用于学习。在第 i次迭代中用第 s个样本学习的迭代算法为： )( )( 1111)( 1)( 1)( 1)( isTssseisisisis WAyANWWWW S：样本数 i：迭代次数 ：学习率 期望输出 88 i = 1 s = 1 取 第 s 组 样 本 计 算 C M A C 输 出 y s )( 11 )( 1 )( sss e i s i s yyA N WW s 样 本 数 n s = s + 1 n s yyJ 1 2 )( 2 1 计算目标函数 N o Y e s ?J i = i + 1 N o 退 出 学 习 Y e s 89 例 4.3 CMAC训练 样本： SampleInput1=0.05 0.15 0.25 0.35 ; SampleInput2=0.05 0.15 0.25 0.35 ; SampleOutput=4 4 4 4;2 2 2 2; 3 3 3 3; 1 1 1 1; 量化：两输入均量化为四个元素 if x10 end 90 状态编号： MSTATENUM= 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 激活向量矩阵： 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 MC= 91 联想强度初始值： Weight=rand(12,1); 学习率： learningRate=0.005; 训练 2000次，均方差结果： 训练 2000次，联想强度： 2.0167 2.0167 0.0168 0.0169 1.7736 1.7739 -0.2261 -0.2261 0.2094 0.2093 1.2093 1.2092 92 输出跟踪结果： 93 样本 2： SampleInput1=0.05 0.15 0.25 0.35 ; SampleInput2=0.05 0.15 0.25 0.35 ; SampleOutput=4 4 4 4;2 2 2 2; 3 3 2 2; 1 1 1 1; 1.6917 1.5671 0.0690 0.4412 1.7003 1.7008 -0.2995 -0.2989 0.6077 0.6699 1.4182 0.8577 联想强度结果： 94 输出跟踪结果： 95 模糊神经网络 模糊神经网络，利用神经网络来实现模糊推理。 1）使网络的结构和权值具有了明确的物理意义，网络的结构设计和 权值的初始化都有了理论的根据，避免了网络陷入局部最优。 2）可以利用神经网络的学习能力来调整模糊控制的控制规则和模糊 化的方式，使模糊控制具有了一定的自适应能力。 3）模糊神经网络将定性的知识表达和定量的数值运算很好地结合了 起来，具有很好的控制效果 96 模糊神经网络的结构 e ec PB NB 11w nnw ijw y 输入层 模糊化 模糊推理 去模糊化 97 - 1 - 0. 5 0 0. 5 1 0 0. 5 1 隶属度 x N Z P 第 1层（输入层）：将输入（系统误差，误差变化率）引入网络： ecInO u teInO u t )1(1)1(1)1(1)1(1 , 第 2层（模糊化层）：对输入进行模糊化。假设在每个输入论域上定义 3个模糊 语言词集 N， Z， P=“负”，“零”，“正” ，隶属函数采用高斯基函数， 与 N， Z， P对应的中心值分别为 -1， 0， 1，宽度为 0.5， 0.5， 0.5。隶属 函数的形状与分布如图所示。 2 2)1( )( )1()2()2( ij iji ij b aout iAijij eo u tino u t 98 )2(2)2(1)3()3( jiijij outoutinout 第 3层（模糊推理）：代表“ and”操作，在此网络中用乘法代替取小运 算 3,2,1;3,2,1 ji 第 4层代表去模糊化过程，在这里采用权值平均判决法。 3 1, )3()4( )( ji ijij woutin 3 1, )3()4()4( ji ijoutinouty wij为网络的权值，其物理意义是各控制规则的输出对应的语言词集的中心值。 99 网络学习算法 学习仍采用 BP算法，定义目标函数 221221 )( eyrJ 则 )()()1( tw Jtwtw ij wijij )()()1( ta Jtata ij aijij )()()1( tb Jtbtb ij bijij