IC04神经网络基础(论文资料).ppt

第 4章 神经网络基础 概述 神经网络学习算法 典型神经网络 4.1 概述 模糊控制技术基于人类语言的描述和推理。 模糊控制从人的经验出发，解决了智能控制中人类语 言的描述和推理问题，尤其是一些不确定性的语言描 述和推理问题，从而在机器模拟人脑感知、推理等智 能行为方面迈出重大的一步。 模糊控制在处理数值数据、自学习能力等方面还远没 有达到人脑境界。 人工神经网络 （ ANN， Artificial Neural Network ， 简称神经网络 ） 从另一个角度出发，即从人脑的生 理学和心理学着手，通过人工模拟人脑的工作机理来 实现机器的部分智能行为。 神经生理学和神经解剖学研究表明 ， 人在胚胎形成过程中 ， 神经细 胞 (Neurai Cell)或 神经元 (Neuron)从管状结构发展成为中枢神经系 统 。 人的大脑中的神经网络是一个由 (1011-1014)个神经元交织而成 的 网状结构 ， 它完成诸如 智能 、 思维 和 情感过程 等高级精神活动 。 人的大脑或神经网络的强大功能促使人们去研究如何 在功能上 来 近 似 或 模拟 ， 于是就有了人工神经网络的研究 。 人工神经网络又称作 连 接 主 义 (Connectionism) 的 人 工 智 能 或 连 接 机 制 模 型 (Connectionism Model)， 是对 自然或生物神经网络若干基本特征的 抽象和模拟 。 人工神经网络是在现代生物学研究人脑组织成果 的基础上提出的 ， 通过 模拟人类大脑神经网络的 结构和行为 ， 用来 模拟人脑思维方式的数学模型 。 神经网络反映了人脑功能的基本特征 ， 如 并行信 息处理 、 学习 、 联想 、 模式分类 、 记忆 等 。 实质上 ， 人工神经网络是一种计算系统 ， 是基于 模仿大脑神经网络结构和功能而建立的一种 信息 处理系统 ， 以满足人类对思维机器的需求 。 可以 是 算法 (非实体形式 )， 也可以是 电子线路 (实体形 式 )。 它使用大量简单相连的神经元 ， 借着学习功 能 ， 模仿生物脑细胞神经的功能 。 神经网络具有信息的 分布存储 、 并行处理 以及 自 学习能力 等优点，所以它在信息处理、模式识别、 智能控制等领域有着广阔的应用前景。 20世纪 80年代以来，人工神经网络研究所取得的 突破性进展。 神经网络控制 是将神经网络与控制 理论相结合而发展起来的智能控制方法。它已成 为智能控制的一个新的分支，为解决复杂的非线 性、不确定、未知系统的控制问题开辟了新途径。 并行分布处理： 神经网络具有高度的并行结构和 并行实现能力，因而能够有较好的耐故障能力和 较快的总体处理能力。这特别适于实时控制和动 态控制。 非线性映射： 神经网络具有固有的非线性特性， 这源于其近似任意非线性映射能力。这一特性给 非线性控制问题带来新的希望。 通过训练进行学习： 神经网络是通过所研究系统 过去的数据记录进行训练的。一个经过适当训练 的神经网络具有归纳全部数据的能力。因此，神 经网络能够解决那些由数学模型或描述规则难以 处理的控制过程问题。 人工神经网络的特性 适应与集成： 神经网络能够适应在线运行，并能 同时进行定量和定性操作。神经网络的强适应和 信息融合能力使得网络过程可以同时输入 大量不 同的控制信号 ，解决 输入信息间的互补和冗余问 题 ，并实现信息集成和融合处理。这些特性特别 适于复杂、大规模和多变量系统的控制。 硬件实现： 神经网络不仅能够通过软件而且可借 助硬件实现并行处理。近年来，一些超大规模集 成电路实现硬件已经问世，而且可从市场上购到。 这使得神经网络具有快速和大规模处理能力的实 现网络。 研究与发展 1. 萌芽期 （ 1890-1969年） ： 人工神经网络的兴起 1890年 ， W.James发表专著 心理学 ， 讨论了脑的结构 和功能 。 1943年 ， 美国神经生理学家 McCulloch和数学家 Pitts合 写了一篇关于神经元如何工作的开拓性文章： “ A Logical Calculus of Ideas Immanent in Nervous Activity” 。 该文指出 ， 脑细胞的活动像 断 /通 开关 ， 这些细胞可以 按各种方式相互结合 ， 进行各种 逻辑运算 。 提出了生物脑神经元的数学模型 ， 即著名的 M-P模型 ， 该模型给出了 神经元的形式化数学描述 和 网络结构的描 述方法 。 研究与发展 1949年，心理学家 Donala Hebb写了一本书： “ The Organization of Behavior”。 在该书中，他强调了心理学和生理学间的联系和 沟通，指出 脑细胞间的思路每当通过参与某种活动 时将被加强 ，这就是所谓的神经网络学习的“ 突触 修正假设 ”，认为 神经元之间的连接强度随神经元 的活动而变化 ，该假设也称为 Hebb学习规则 。 1957年，计算机专家 Frank Rosenblatt开始从事感知器的研究， 并制成硬件，通常被认为是最早的神经网络模型（ Perceptron 模型 ）。 它是一个 连续可调的 M-P神经元模型 ，经过训练可以对一定的 模式集合进行分类识别。 1959年，两位电机工程师 Bernard Widrow和 Marcian Haff开发 出一种叫作 自适应线性单元（ ADALINE）的网络模型 ，并在 他们的论文“ Adaptive Switching Circuits”中描述了该模型和 它的学习算法（ Widrow- Haff算法）。该网络通过训练，可以 成功用于抵消通信中的回波和噪声，也可用于天气预报，成为 第一个用于实际问题的神经网络，极大地促进了人工神经网络 的研究。 2. 第一次高潮期： 1962年， Rosenblatt出版了一本书“ The Principles of Neurodynamics”，详述了他的感知器模型。该感知器具有输 入层、输出层和中间层，通过实验可以模仿人的某些特性， 并断言它可以学会任何它可以表示的功能。 1967年， Stephen Grossberg通过对生理学的研究，开发了一 种称作 雪崩网的神经网络模型 ，可以控制机器人手臂的运动。 在这一时期，由于感知器的某些进展和对神经网络的宣传， 人们 乐观地认为几乎已经找到了实现智能的关键 。人们夸大 了神经网络的潜力（有人甚至担心制造机器人的人类会很快 受到机器人的攻击） 。 1969年， Marvin Minsky和 Seymour Papert合著了一本专著 “ Perception”，对简单神经网络的功能和局限性从数学上进行 了深入的分析，指出诸如感知器这样的简单神经网络 只能进行 线性分类和求解一阶谓词问题，不能作非线性分类（如 “异或” 问题），也不能解决高阶谓词问题 。要解决这些问题，必须引 入隐含单元，但要找到一个 有效的学习算法 并不乐观，给 Rosenblatt的感知器判了“死刑”。 此时，批评的声音高涨，导致了停止对人工神经网络研究所需 的大量投资。 不少研究人员把注意力转向了人工智能，导致对人工神经网络 的研究陷入低潮。 3. 反思期 神经网络的低潮 1982年，物理学家 John Hopfield向美国科学院递交了有关神经 网络的报告，主要内容就是建议 收集和重视以前对神经网络的 工作， 其中特别强调了 每种模型的实用性 。 Hopfield揭示了以往的网络是如何工作的，可以做些什么，并 提出了他自己的模型 Hoppield神经网络模型 ，该模型通过 引入 能量函数 ，实现了 问题优化求解 。如能从失真的或不完善 的数据图像中获得完整的数据图像，引起了美国军方的兴趣。 1984年他用此模型成功地解决了旅行商路径优化问题 (TSP)。 当时，人工智能对自动制导车的研究失败，而利用神经网络有 可能解决这个问题，从而使人们的注意力重新投向人工神经网 络，导致了人工神经网络的第二次高潮。 4. 第二次高潮期： 1985年， Hinton、 Sejnowsky、 Rumelhart等研究者在 Hopfield网络中引入 随机机制 ，提出了所谓的 Bolziman机 。 1986年， Rumelhart等研究者重新独立地提出 多层神经网络 的误差反向传播（ BP,Error Back-propagation）学习算法 BP算法，成功地解决了 非线性分类问题 ，彻底消除了 Perceptron 一书带来的负面影响，引发了人工神经网络 的研究热潮。 其实，早在 1974年， Werbos就已独立地提出了类似算法，但 由于当时神经网络的研究尚处于萌芽阶段，没能得到应有的 重视。 5. 再认识与应用研究期 二十世纪 90年代后，神经网络的研究趋于平缓，主要问 题： 应用面还不够宽 结果不够精确 存在可信度的问题 主要研究内容 开发现有模型的应用，并在应用中根据实际运行情况对模型、 算法加以改造，以提高网络的训练速度和运行的准确度。 充分发挥每种技术各自的优势，寻找更有效的解决方法。 希望在理论上寻找新的突破，建立新的专用或通用模型和算法。 进一步对生物神经系统进行研究，不断丰富对人脑的认识。 6.有关神经网络的重要国际性会议及期刊杂志 1987年 6月在美国圣地亚哥召开了第一届世界神经网络会 议，标志着神经网络研究在世界范围内形成了高潮。 1989年我国在广州召开了全国第一届神经网络 信号处 理会议。 1990年我国八个一级学会联合召开了神经网络首届全国 学术会议 (北京 )。此后每年召开一次全国性会议。 关于神经网络的主要国际性杂志有： (1) Neural Networks (2) IEEE Transactions on Neural Networks (3) IEEE Transactions on Parallel Distributed System (4) Connections Science (5) Neurocomputing (6) Neural Computation (7) International Journal of Neural Systems 生物神经元模型 Biological Neural Network（ BNN） 神经生理学和神经解剖学的研究表明，人脑 极其复杂，由一千多亿 -一百万亿 (1011-1014)个神 经元交织在一起的网状结构构成，其中大脑皮层 约 140亿个神经元，小脑皮层约 1000亿个神经元。 神经系统的基本构造是 神经元 (神经细胞 )， 它是处理人体内各部分之间相互信息传递的基本 单元。 每个神经元都由一个 细胞体 ，一个连接其他神 经元的 轴突 和一些向外伸出的其它较短分支 树突 组成。 树突： 用于为细胞体传入信息，接受来自其它 神经元的兴奋。 细胞体： 将接收到的所有信号进行简单地处理 后，由轴突输出。 轴突： 为细胞体传出信息，将本神经元的输出 信号 (兴奋 )传递给别的神经元，其末端的许多神经 末梢（轴突末梢）含 传递信息的化学物质 ，使得兴 奋可以同时传送给多个神经元。 神经元的轴突与另外神经元神经末梢相连的部 分称为 突触 。突触是 神经元之间的接口 （ 104105个 / 每个神经元）。 一个神经元通过其轴突的神经末梢，经突触与另 外一个神经元的树突连接，以实现信息的传递。由于 突触的 信息传递特性是可变的 ，随着神经冲动传递方 式的变化，传递作用强弱不同，形成了神经元之间连 接的 柔性 ，称为 结构的可塑性 。 通过树突和轴突，神经元之间实现了信息的传递。 (1) 兴奋与抑制： 如果传入神经元的冲动经整 合后使细胞膜电位升高，超过动作电位的阈值时 即为兴奋状态，产生神经冲动，由轴突经神经末 梢传出。如果传入神经元的冲动经整合后使细胞 膜电位降低，低于动作电位的阈值时即为抑制状 态，不产生神经冲动。 (2) 学习与遗忘： 由于神经元结构的可塑性， 突触的传递作用可增强和减弱，因此神经元具有 学习与遗忘的功能。 神经元具有如下功能： 人脑能完成智能、思维等高级活动，为了能利用数学 模型来模拟人脑的活动，导致了神经网络的研究。 人工神经元模型 1 () n j j ji i j i y f s f w x 1 n T j ji i j j j i s w x xw 神经元模型的简化形式 常用神经元模型（ Neuron Model)： 多输入，单输出，带偏置 R个输入 pi R，即 R维输入矢量 p n: net input, n=Wp+b。 R个 权值 wi R，即 R维 权矢量 w 阈值 b 输出 a=f(n) 常用输出函数 阈值函数： a Wp -b 1 -1 1 ( 0 )( ) h a r d l im ( ) 0 ( 0 ) na f n n n Purelin Transfer Function ： ()a f n n a n 线性输出函数 1() 1 na f n e 特性： 值域 a (0,1) 非线性，单调性 无限次可微 |n|较小时可近似线性函 数 |n|较大时可近似阈值函 数 Sigmoid 函数： 12( 1 . 5 )y f x x 目前神经网络模型的种类相当丰富 ， 已有 近 40余种神经网络模型 。 典型的神经网络有多层前向传播网络 （ BOP网络 ） 、 Hopfield网络 、 CMAC小脑模型 、 ART网络 、 BAM双向联想记忆网络 、 SOM 自组织网络 、 Blotzman机网络和 Madaline网络 等 。 神经网络的分类 根据神经网络的连接方式 ， 神经网络可分为两 种形式： （ 1） 前向网络 如图所示 ， 神经元分层排列 ， 组成 输入层 、 隐 含层 和 输出层 。 每一层的神经元只接受前一层神经 元的输入 。 输入模式经过各层的顺次变换后 ， 由输 出层输出 。 在各神经元之间 不存在反馈 。 感知器 和 误差反向传播网络 采用前向网络形式 。 图 4-1 前馈型神经网络 （ 2） 反馈网络 该网络结构 在输出层到输入层存在反馈 ， 即 每一个输入节点都有可能接受来自外部的输入 和来自输出神经元的反馈 。 这种神经网络是一 种 反馈动力学系统 ， 它需要 工作一段时间才能 达到稳定 。 Hopfield神经网络 是反馈网络中最简单且应 用最广泛的模型 ， 它具有联想记忆的功能 ， 如 果将 Lyapunov函数定义为寻优函数 ， Hopfield 神经网络还可以解决寻优问题 。 图 4-2 反馈型神经网络 (3) 自组织网络 网络结构如图所示 。 Kohonen网络是最典型的自组 织网络 。 Kohonen认为 ， 当神经网络在接受外界输入时 ， 网络将会分成不同的区域 ， 不同区域具有不同的响应特 征 ， 即 不同的神经元以最佳方式响应不同性质的信号激 励 ， 从而形成一种 拓扑意义上的特征图 ， 该图实际上是 一种 非线性映射 。 这种映射是通过 无监督的自适应过程 完成的 ， 所以也称为 自组织特征图 。 Kohonen网络通过无导师的学习方式进行权值的学 习 ， 稳定后的网络输出就对输入模式生成自然的特征映 射 ， 从而达到自动聚类的目的 。 输出节点 输入 0 x 1 x 2 x 图 4-3 自组织神经网络 神经网络具有以下几个特征： （ 1） 能逼近任意非线性函数； （ 2） 信息的并行分布式处理与存储； （ 3）可以多输入、多输出； （ 4）便于用超大规模集成电路（ VISI）或光学集成 电路系统实现，或用现有的计算机技术实现； （ 5）能进行学习，以适应环境的变化。 神经网络特征 决定神经网络模型性能的三大要素为： （ 1） 神经元（信息处理单元）的特性 ； （ 2）神经元之间相互连接的形式 拓扑结构 ； （ 3）为适应环境而改善性能的 学习规则 。 神经网络要素 神经网络控制的研究领域 (1) 基于神经网络的系统辨识 将神经网络作为被辨识系统的模型 ， 可在已知常 规模型结构的情况下 ， 估计模型的参数 。 利用神经网络的线性 、 非线性特性 ， 可建立线性 、 非线性系统的静态 、 动态 、 逆动态及预测模型 ， 实现非线性系统的建模和辨识 。 (2) 神经网络控制器 神经网络作为实时控制系统的控制器 ， 对不确定 、 不确知系统及扰动进行有效的控制 ， 使控制系统达到 所要求的动态 、 静态特性 。 (3) 神经网络与其他算法相结合 将神经网络与专家系统 、 模糊逻辑 、 遗传算法等 相结合 ， 可设计新型智能控制系统 。 (4) 优化计算 在常规的控制系统中 ， 常遇到求解约束优化问题 ， 神经网络为这类问题的解决提供了有效的途径 。 目前 ， 神经网络控制已经在多种控制结构中得到应 用 ， 如 PID控制 、 模型参考自适应控制 、 前馈反馈控 制 、 内模控制 、 预测控制 、 模糊控制等 。 神经网络学习算法 是神经网络智能特性的重要标 志 ， 神经网络通过学习算法 ， 实现了 自适应 、 自组织 和 自学习 的能力 。 4.2 神经网络学习算法 问题： 学习算法 是何许物也？ 神经网络是如何通过学习 获得知识 ，具有“智能” 的？ 神经网络的 知识表达 有什么特点？ 神经网络的学习算法有哪些？ “学习算法”的定义 学习 ： 因经验而发生的持久的行为改变。 神经网络学习 ： 学习是一个过程，通过该过程神经网 络的自由参数在其嵌入的环境的激励过程中得到调节。 学习的类型由参数改变的方式决定。 （ Mendal W 为网络所有权值组成的向量： 为输入模式： P p p P p pp EydE 11 2)( 2 1 pd py )( pp WXfy 0 , 1 , , nW w w w pX (2) Delta（ ）学习规则 Tpnppp xxxX , 10 Pp ,2,1 Pp ,2,1 神经网络学习的目的是通过调整权值 W， 使误差准 则函数最小 。 权值的调整采用 梯度下降法 来实现 ， 其基本思想是 沿 着 E的负梯度方向不断修正 W值 ， 直到 E达到最小 。 数学 表达式为： iW EW P p i p i W E W E 1 其中 2 2 1 ppp ydE 令 ， 则 pp Wx ippppip p p p p i p p p i p XfydXy y E W E W E )()( W的修正规则为 P p ippppi XfydW 1 )()( 上式称为 学习规则 ，又称 误差修正规则 。 其中， 为学习速率。 1986年， Rumelhart等提出了误差反向传播神 经网络，简称 BP网络（ Back Propagation），该 网络是一种 单向传播的多层前向网络 。 误差反向传播的 BP算法简称 BP算法，其基本 思想是梯度下降法。它采用梯度搜索技术，以期 使网络的实际输出值与期望输出值的 误差均方值 为最小 。 4.3 BP神经网络 （ 1） 是一种多层网络 ， 包括输入层 、 隐含层和输出层； （ 2） 层与层之间采用全互连方式 ， 同一层神经元之间不 连接； （ 3） 权值通过 学习算法进行调节； （ 4） 神经元激发函数为 S函数； （ 5） 学习算法由正向传播和反向传播组成； （ 6） 层与层的连接是单向的 ， 信息的传播是双向的 。 BP网络特点 BP神经网络结构 含一个隐含层的 BP网络结构如图所示，图中 i为输入层神 经元， j为隐层神经元， k为输出层神经元。 BP网络的逼近 BP网络逼近的结构如下图所示 ， 图中 k为网络的迭 代步骤 ， u(k)和 y(k)为逼近器的输入 。 BP为网络逼近 器 ， y(k)为被控对象实际输出 ， yn(k)为 BP的输出 。 将 系统输出 y(k)及输入 u(k)的值作为逼近器 BP的输入 ， 将系统输出与网络输出的误差作为逼近器的调整信号 。 用于逼近的 BP网络如图所示。 )( ky n )( ku )( ky ij w 2j w j x j x i x BP算法的学习过程由 正向传播 和 反向传播 组成 。 在正向传播过程中 ， 输入信息从输入层经隐层逐 层处理 ， 并传向输出层 ， 每层神经元 （ 节点 ） 的状态 只影响下一层神经元的状态 。 如果在输出层不能得到期望的输出 ， 则转至反向 传播 ， 将误差信号 （ 理想输出与实际输出之差 ） 按联 接通路反向计算 ， 由梯度下降法调整各层神经元的权 值 ， 使误差信号减小 。 （ 1） 前向传播：计算网络的输出 。 隐层神经元的输入为所有输入的加权之和： 隐层神经元的输出采用 S函数激发： 则 i iijj xwx jxjj e xfx 1 1)( )1( jj j j xx x x 输出层神经元的输出： 网络输出与理想输出误差为： 误差性能指标函数为： 2()n j j j y k w x )()()( kykyke n 2)( keE 2 1 （ 2） 反向传播：采用 学习算法 ， 调整各层间的权值 。 根据梯度下降法 ， 权值的学习算法如下： 输出层及隐层的连接权值学习算法为： k+1时刻网络的权值为： 2 22 ( ) ( )njj jj yEw e k e k x ww 222 )()1( jjj wtwtw )()()( kykyke n 2)( keE 2 1 2()n j j j y k w x 隐层及输入层连接权值学习算法为： 其中 k+1时刻网络的权值为： () nij i j i j yEw e k ww ijjji j j j ij j j j j n ij n xxxwx x x w w x x x x y w y )1( 2 2 ijijij wkwkw )()1( )()()( kykyke n 2)( keE 2 1 2()n j j j y k w x i iijj xwx jxjj e xfx 1 1)( 如果考虑上次权值对本次权值变化的影响 ， 避免权 值学习过程发生震荡 ， 需要加入动量因子 ， 此时的权 值为： 其中 , 为学习速率 ， 为动量因子 。 )1()()()1( 22222 kwkwwkwkw jjjjj )1()()()1( kwkwwkwkw ijijijijij 1,0 1,0 Jacobian阵 (即为 对象的输出对控制输入的灵敏度信 息 )辨识算法为： 其中取 (t)1 ux j jjjj j j j j nn wxxw x x x x x y ku y ku y 1 2 11 kkk （ l=0,1, ， L， 为神经网络层数） BP网络的优点： （ 1） 只要有足够多的隐层和隐层节点 ， BP网络可以逼 近任意的非线性映射关系； （ 2） BP网络的学习算法属于全局逼近算法 ， 具有较强 的泛化能力 。 （ 3） BP网络输入输出之间的关联信息分布地存储在网 络的连接权中 ， 个别神经元的损坏只对输入输出关系 有较小的影响 ， 因而 BP网络具有较好的容错性 。 BP网络的优缺点 BP网络的主要缺点： 待寻优的参数多 ， 收敛速度慢； 目标函数存在多个极值点 ， 按梯度下降法进行学 习 ， 很容易陷入局部极小值； 难以确定隐层及隐层节点的数目 。 目前 ， 如何根 据特定的问题来确定具体的网络结构尚无很好的 方法 ， 仍需根据经验来试凑 。 由于 BP网络具有很好的逼近非线性映射的能力 ， 该 网络在模式识别 、 图像处理 、 系统辨识 、 函数拟合 、 优 化计算 、 最优预测和自适应控制等领域有着较为广泛的 应用 。 由于 BP网络具有很好的逼近特性和泛化能力 ， 可用 于神经网络控制器的设计 。 但由于 BP网络收敛速度慢 ， 难以适应实时控制的要求 。 BP网络的主要应用 （ 1） BP网络逼近仿真实例 使用 BP网络逼近对象： 3 2 ( 1 )( ) ( ) 0. 5 1 ( 1 ) yky k u k t s yk 采样周期为 1ms，输入 信号 u(k)=0.5sin(6t)，神经 网络为 2-6-1结构， =0.5， =0.05。 BP网络逼近程序见 chap4_1.m 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 - 0 . 6 - 0 . 4 - 0 . 2 0 0 . 2 0 . 4 0 . 6 0 . 8 1 t i m e s y a n d y n 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 -1 - 0 . 8 - 0 . 6 - 0 . 4 - 0 . 2 0 0 . 2 0 . 4 t i m e s e r r o r 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 - 0 . 3 5 - 0 . 3 - 0 . 2 5 - 0 . 2 - 0 . 1 5 - 0 . 1 - 0 . 0 5 0 t i m e s d y u （ 2） BP网络模式识别 由于神经网络具有自学习、自组织和并行处理等特 征，并具有很强的容错能力和联想能力，因此，神经网 络具有 模式识别 的能力。 在神经网络模式识别中 ， 根据 标准的输入输出模式 对 ， 采用神经网络学习算法 ， 以标准的模式作为学习样 本进行训练 ， 通过学习 调整神经网络的连接权值 。 当训练满足要求后 ， 得到的 神经网络权值 构成了 模 式识别的知识库 ， 利用 神经网络并行推理算法 对所需要 的输入模式进行识别 。 当待识别的输入模式与训练样本中的某个输入 模式 相同 时 ， 神经网络识别的结果就是 与训练样本 中相对应的 输出模式 。 当待识别的输入模式与训练样本中所有输入模 式都 不完全相同 时 ， 则可得到 与其相近样本相对应 的输出模式 。 当待识别的输入模式与训练样本中所有输入模 式 相差较远 时 ， 就 不能得到正确的识别结果 ， 此时 可将这一模式作为 新的样本 进行训练 ， 使神经网络 获取 新的知识 ， 并存储到 网络的权值矩阵 中 ， 从而 增强网络的识别能力 。 BP网络的训练过程如下：正向传播是输入信号从输 入层经隐层传向输出层 ， 若输出层得到了期望的输出 ， 则学习算法结束；否则 ， 转至反向传播 。 以第 p个样本为例 ， 用于训练的 BP网络结构如图 4- 11所示 。 网络的学习算法如下： （ 1） 前向传播： 计算网络的输出 。 隐层神经元的输入为所有输入的加权之和： 隐层神经元的输出 采用 S函数激发 ： i iijj xwx jx jx jxjj e xfx 1 1)( )1( jj j j xx x x 则 输出层神经元的输出： j jjll xwx 网络第 l个输出与相应理想输出 的误差为 ： 0lx lll xxe 0 第 p个样本的误差性能指标函数为： N l lp eE 1 2 2 1 其中 N为网络输出层的个数 。 （ 2） 反向传播： 采用梯度下降法 ， 调整各层间的权值 。 权值的学习算法如下： 输出层及隐层的连接权值 学习算法为： jlw jl jl l l jl p jl xew xe w Ew jljljl wkwkw )()1( 隐层及输入层连接权值 学习算法为： ijw N l ij l l ij p ij w xe w Ew 1 ijijij wkwkw )()1( 如果考虑上次权值对本次权值变化的影响，需要加 入动量因子 ，此时的权值为： 11 kwkwwkwkw jljljljljl )1()()()1( twtwwtwtw ijijijijij 其中 为学习速率， 为动量因子。 1,0 1,0 其中 ijjjli j j jl ij j j j j l ij l xxxwx x x w w x x x x x w x )1( 仿真实例： 取标准样本为 3输入 2输出样本，如表 4-1所示。 表 4-1 训练样本 输 入 输 出 1 0 0 1 0 0 1 0 0 0.5 0 0 1 0 1 BP网络模式识别程序包括网络训练程序 chap4_2a.m 和网络测试程序 chap4_2b.m。 BP网络为 3-6-2结构 ， 权值 wij， wjl的初始值取 -1,+1之 间的随机值 ， 学习参数取 =0.5， =0.05， 收敛容差限取 10-20。 0 10 20 30 40 50 60 70 80 90 100 0 0 . 5 1 1 . 5 2 2 . 5 3 k E 图 4-12 样本训练的收敛过程 表 4-2 测试样本及网络输出结果 输入 网络输出 0.970 0.001 0.001 0.9813 0.0115 0.000 0.980 0.000 0.0045 0.4995 0.002 0.000 1.040 -0.0072 1.0183 0.500 0.500 0.500 0.4261 0.4910 1.000 0.000 0.000 1.0000 0.0000 0.000 1.000 0.000 0.0000 0.5000 0.000 0.000 1.000 -0.0000 1.0000 4.4 RBF神经网络 1985年， Powell和 Broomhead提出了多变量插值 和近似的径向基函数 (Radical Basis Function， RBF)方法 （ -数学角度 )。 1988年， J.Moody和 C.Darken提出了一种神经网 络结构，即 RBF神经网络， 它是具有 单隐层的三 层前馈网络 。 它们被统一称为径向基函数 (RBF)神经网络。 生物学基础 : 在大脑皮层和视觉皮层存在一些能够 局部调节 而 又 交叉重叠 的 接受域 （ Receptive Fields） 。 RBF神经网络的基本思想 基本思想 ： 用 RBF作为隐单元的“基”构成隐含层空间，将输入矢量 直接 (即不需要通过权连接 )映射到隐空间 当 RBF的中心点确定后，映射关系也就确定 隐含层空间到输出空间的映射是线性的 它模拟了人脑中 局部调整、相互覆盖 接收域的神 经网络结构。 采用 局部接受域 来实现 函数映射 的网络结构。 RBF网络结构 RBF网络是一种三层前向网络，由于 输入到输出 的映射 是 非线性 的，而 隐含层空间到输出空间的映 射 是 线性 的，从而可以大大加快学习速度并避免局 部极小问题。 2 j 2 -C h e xp ( - )2 j j X b RBF网络与 BP网络比较： BP网络使用 sigmoid()函数 作为激活函数，这样 使得神经元有 很大的输入可见区域 。 RBF径向基神经网络使用 径向基函数（一般使 用高斯函数） 作为激活函数，神经元输入空间 区域很小，因此需要 更多的径向基神经元 。 RBF网络的输出是隐单元输出的 线性加权和 ， 学习速度加快 。 (1) RBF网络的作用函数为 高斯函数 ，是 局部 的； BP 网络的作用函数为 S函数 ，是 全局的 。 (2) 如何确定 RBF网络隐层 节点的数量、中心 及 基宽 度 参数是一个困难的问题。 (3) 已证明 RBF网络具有 唯一最佳逼近 的特性，能 任 意精度逼近任意连续函数， 且无局部极小。 全局逼近网络 ：网络的一个或多个可调参数对任一输出都有影响。对每个 输入 -输出数据对，网络的每个参数均需调整，从而导致全局逼近网络学习 速度很慢，无法满足有实时性要求的应用。 局部逼近网络 ：网络输入空间的某个局部区域只有少数几个参数影响网络 的输出。对每个输入 -输出数据对，只有少量参数需要进行调整，从而使得 局部逼近网络学习速度较快，有可能满足有实时性要求的应用。 RBF网络特点 RBF网络的逼近 采用 RBF网络逼近一对象的结构如图所示。 在 RBF网络结构中 ， 为网络的输 入向量 。 设 RBF网络的径向基向量 其中 hj为高斯基函数： 网络的第 j个结点的中心矢量为： 其中 ， i=1,2, n TnxxxX , . . . ., 21 12 T , , jmH h h h h mj b X j j ,2,1), 2 C- e x p ( -h 2 2 j Tn21j cc,cC jijjj c 设网络的基宽向量为： 为节点的基宽度参数 ， 且为大于零的数 。 网络的权 向量为： k时刻 网络的输出为： 设理想输出为 y(k)， 则性能指标函数为： T21 ,B mbbb jb ,W 21 mj wwww h+w+h+whw= w hky mmm 2211)( 2m ( k ) )-( k )( 2 1 yykE )( 根据梯度下降法 ， 输出权 、 节点中心及节点基宽参 数的迭代算法如下： )2()1( kwkwhyyww jjjmjj ( k ) )-( k )(1)-(k( k ) 3 2 j j jjmj b CX hwyyb - ( k ) )-( k )( 2 ) )-(k-1)-(k(1)-(k( k ) jjjjj bbbbb 2 j jij jmji b cxwyyc -( k ) )-( k )( 2 ) )-(k-1)-(k(1)-(k( k ) ijijijijij ccccc 其中 , 为学习速率， 为动量因子。 Jacobian阵 (即为 对象的输出对控制输入的灵敏度信 息 )算法为： 其中取 m j j j jj m b xc hw ku ky ku ky 1 2 11 )( )( )( )( (k)ux 1 2 3 )1(1 )1()()( ky kykuky 使用 RBF网络逼近下列对象： RBF网络逼近程序见 chap4_3.m。 RBF网络逼近仿真实例