【浙大名师ppt课件】智能控制技术第3章-神经网络控制

智能控制技术智能控制技术第第 3 章章 神经网络控制神经网络控制二零一一年三月二零一一年三月二零一一年三月二零一一年三月智能控制技术第 3 章 神经网络控制1神经网络控制神经网络控制人人人人工工工工神神神神经经经经网网网网络络络络（ANNANN）是是是是智智智智能能能能控控控控制制制制领领领领域域域域研研研研究究究究历历历历史史史史比比比比较较较较长长长长但但但但发发发发展展展展曲曲曲曲折折折折的的的的交交交交叉叉叉叉学学学学科科科科。基基基基于于于于人人人人工工工工神神神神经经经经网网网网络络络络的的的的控控控控制制制制简简简简称称称称神神神神经经经经控控控控制制制制（Neural Neural ControlControl）。神神神神经经经经网网网网络络络络具具具具有有有有很很很很强强强强的的的的学学学学习习习习能能能能力力力力、非非非非线线线线性性性性映映映映射射射射能能能能力力力力、鲁鲁鲁鲁棒棒棒棒性性性性和和和和容容容容错错错错能能能能力力力力，充充充充分分分分地地地地将将将将这这这这些些些些神神神神经经经经网网网网络络络络特特特特性性性性应应应应用用用用于于于于控控控控制制制制领领领领域域域域，可可可可使使使使控控控控制制制制系系系系统统统统的的的的智智智智能能能能化化化化向向向向前前前前迈迈迈迈进进进进一一一一大大大大步步步步。随随随随着着着着控控控控制制制制系系系系统统统统的的的的复复复复杂杂杂杂性性性性增增增增强强强强，人人人人们们们们对对对对控控控控制制制制系系系系统统统统的的的的要要要要求求求求增增增增高高高高，特特特特别别别别是是是是要要要要求求求求控控控控制制制制系系系系统统统统能能能能适适适适应应应应不不不不确确确确定定定定性性性性、时时时时变变变变的的的的对对对对象象象象与与与与环环环环境境境境。传传传传统统统统的的的的基基基基于于于于精精精精确确确确模模模模型型型型的的的的控控控控制制制制方方方方法法法法难难难难以以以以适适适适应应应应要要要要求求求求，现现现现在在在在关关关关于于于于控控控控制制制制的的的的概概概概念念念念也也也也已已已已更更更更加加加加广广广广泛泛泛泛，它它它它要要要要求求求求包包包包括括括括一一一一些些些些决决决决策策策策、规规规规划划划划以以以以及及及及学学学学习习习习功功功功能能能能。神神神神经经经经网网网网络络络络由由由由于于于于具具具具有有有有这这这这些优点而越来越受到人们的重视。些优点而越来越受到人们的重视。些优点而越来越受到人们的重视。些优点而越来越受到人们的重视。神经网络控制人工神经网络（ANN）是智能控制领域研究历史2第第3章章 主要内容主要内容l l3.1 3.1 神经网络的理论概述神经网络的理论概述神经网络的理论概述神经网络的理论概述l l3.2 3.2 前馈网络及其前馈网络及其前馈网络及其前馈网络及其BPBP学习算法学习算法学习算法学习算法l l3.3 3.3 反馈网络及其它网络结构反馈网络及其它网络结构反馈网络及其它网络结构反馈网络及其它网络结构l l3.4 3.4 神经网络控制器原理及设计神经网络控制器原理及设计神经网络控制器原理及设计神经网络控制器原理及设计l l3.5 3.5 模糊神经网络控制及其应用模糊神经网络控制及其应用模糊神经网络控制及其应用模糊神经网络控制及其应用l l3.6 MATLAB3.6 MATLAB神经网络工具箱的使用神经网络工具箱的使用神经网络工具箱的使用神经网络工具箱的使用l l3.7 3.7 神经网络控制系统应用实例神经网络控制系统应用实例神经网络控制系统应用实例神经网络控制系统应用实例l l3.8 3.8 本章小结本章小结本章小结本章小结第3章 主要内容3.1 神经网络的理论概述33.1 神经网络的理论概述神经网络的理论概述l l3.1.1 3.1.1 生物神经元模型生物神经元模型生物神经元模型生物神经元模型l l3.1.2 3.1.2 人工神经元模型人工神经元模型人工神经元模型人工神经元模型l l3.1.3 3.1.3 神经网络模型神经网络模型神经网络模型神经网络模型l l3.1.4 3.1.4 神经网络分类神经网络分类神经网络分类神经网络分类l l3.1.5 3.1.5 神经网络的学习规则神经网络的学习规则神经网络的学习规则神经网络的学习规则l l3.1.6 3.1.6 用于控制的神经网络用于控制的神经网络用于控制的神经网络用于控制的神经网络l l3.1.7 3.1.7 神经网络控制的研究内容神经网络控制的研究内容神经网络控制的研究内容神经网络控制的研究内容3.1 神经网络的理论概述3.1.1 生物神经元模型43.1 神经网络的理论概述神经网络的理论概述l l3.1.1 3.1.1 生物神经元模型生物神经元模型生物神经元模型生物神经元模型 人人人人工工工工神神神神经经经经网网网网络络络络是是是是参参参参照照照照生生生生物物物物神神神神经经经经网网网网络络络络发发发发展展展展起起起起来来来来的的的的，本本本本书书书书若若若若不不不不作作作作特特特特别别别别说说说说明明明明，神神神神经经经经网网网网络络络络均均均均指指指指人人人人工工工工神神神神经经经经网网网网络络络络。为为为为了了了了深深深深入入入入学学学学习习习习和和和和研研研研究究究究人人人人工工工工神神神神经经经经网网网网络络络络，了了了了解解解解生生生生物物物物神神神神经经经经网络的基本原理是很有必要的。网络的基本原理是很有必要的。网络的基本原理是很有必要的。网络的基本原理是很有必要的。人人人人脑脑脑脑神神神神经经经经系系系系统统统统的的的的基基基基本本本本单单单单元元元元是是是是神神神神经经经经细细细细胞胞胞胞，即即即即生生生生物物物物神神神神经经经经元元元元，人人人人脑脑脑脑神神神神经经经经系系系系统统统统约约约约由由由由个个个个神神神神经经经经元元元元构构构构成成成成，每每每每个个个个神神神神经经经经元元元元与与与与约约约约个个个个其其其其他他他他神神神神经经经经元元元元相相相相连连连连接接接接。神神神神经经经经细细细细胞胞胞胞与与与与人人人人体体体体中中中中其其其其他他他他细胞的关键区别在于，神经细胞具有产生、处理和传递信号的能力。细胞的关键区别在于，神经细胞具有产生、处理和传递信号的能力。细胞的关键区别在于，神经细胞具有产生、处理和传递信号的能力。细胞的关键区别在于，神经细胞具有产生、处理和传递信号的能力。3.1神经网络的理论概述3.1.1 生物神经元模型53.1 神经网络的理论概述神经网络的理论概述 一一一一个个个个生生生生物物物物神神神神经经经经元元元元的的的的结结结结构构构构如如如如图图图图所所所所示示示示，主主主主要要要要包包包包括括括括细细细细胞胞胞胞体体体体、树树树树突突突突和和和和轴轴轴轴突突突突。每每每每一一一一部部部部分分分分虽虽虽虽具具具具有有有有各各各各自自自自的的的的功功功功能，但相互之间是互补的。能，但相互之间是互补的。能，但相互之间是互补的。能，但相互之间是互补的。在在在在生生生生物物物物神神神神经经经经细细细细胞胞胞胞中中中中，除除除除了了了了特特特特殊殊殊殊的的的的无无无无“轴轴轴轴突突突突”神神神神经经经经元元元元外外外外，一一一一般般般般每每每每个个个个神神神神经经经经元元元元从从从从细细细细胞胞胞胞体体体体伸伸伸伸出出出出一一一一根根根根粗粗粗粗细细细细均均均均匀匀匀匀、表表表表面面面面光光光光滑滑滑滑的的的的突突突突起起起起，称称称称为为为为轴轴轴轴突突突突，它它它它的的的的功功功功能能能能是是是是细细细细胞胞胞胞的的的的输输输输出出出出端端端端，用用用用于于于于传传传传出出出出神神神神经经经经冲冲冲冲动动动动。从从从从细细细细胞胞胞胞体体体体延延延延伸伸伸伸出出出出像像像像树树树树枝枝枝枝一一一一样样样样向向向向四四四四处处处处分分分分散散散散开开开开来来来来的的的的许许许许多多多多突突突突起起起起，称称称称之之之之为为为为树树树树突突突突，起起起起作作作作用用用用是是是是细细细细胞胞胞胞的的的的输输输输入入入入端端端端，通通通通过过过过“突突突突触触触触”接接接接受受受受四四四四周周周周细细细细胞胞胞胞传传传传来来来来的的的的神神神神经经经经冲冲冲冲动动动动。轴轴轴轴突突突突末末末末端端端端有有有有许许许许多多多多细细细细的的的的分分分分枝枝枝枝，称称称称之之之之为为为为神神神神经经经经末末末末梢梢梢梢，每每每每一一一一根根根根神神神神经经经经末末末末梢梢梢梢可可可可以以以以与与与与其其其其他他他他神神神神经经经经元元元元连连连连接接接接，其其其其连连连连接接接接的的的的末末末末端端端端称称称称之之之之为为为为突触。突触。突触。突触。图图图图3-1 3-1 生物神经元生物神经元生物神经元生物神经元 3.1神经网络的理论概述 一个生物神经元的结构如图63.1 神经网络的理论概述神经网络的理论概述 神神神神经经经经元元元元之之之之间间间间的的的的连连连连接接接接是是是是靠靠靠靠突突突突触触触触实实实实现现现现的的的的。当当当当传传传传入入入入的的的的神神神神经经经经元元元元冲冲冲冲动动动动使使使使细细细细胞胞胞胞膜膜膜膜电电电电位位位位升升升升高高高高并并并并超超超超过过过过阈阈阈阈值值值值时时时时，细细细细胞胞胞胞进进进进入入入入兴兴兴兴奋奋奋奋状状状状态态态态，产产产产生生生生神神神神经经经经冲冲冲冲动动动动，由由由由轴轴轴轴突突突突输输输输出出出出；相相相相反反反反，若若若若传传传传入入入入的的的的神神神神经经经经冲冲冲冲动动动动使使使使细细细细胞胞胞胞膜膜膜膜电电电电位位位位下下下下降降降降到到到到低低低低于于于于阈阈阈阈值值值值时时时时，进进进进入入入入抑抑抑抑制制制制状状状状态态态态，则则则则轴轴轴轴突突突突没没没没有有有有神神神神经经经经冲冲冲冲动动动动输输输输出出出出。根根根根据据据据突突突突触触触触对对对对下下下下一一一一个个个个神神神神经经经经细细细细胞胞胞胞的的的的功功功功能能能能活活活活动动动动的的的的影影影影响响响响，突突突突触触触触又又又又可可可可分分分分为为为为兴兴兴兴奋奋奋奋性性性性的的的的和和和和抑抑抑抑制制制制性性性性的的的的两两两两种种种种。兴兴兴兴奋奋奋奋性性性性的的的的突突突突触触触触可可可可能能能能引引引引起起起起下下下下一一一一个个个个神神神神经经经经细细细细胞胞胞胞兴兴兴兴奋奋奋奋，抑抑抑抑制制制制性性性性的的的的突突突突触使下一个神经细胞抑制。触使下一个神经细胞抑制。触使下一个神经细胞抑制。触使下一个神经细胞抑制。图图图图3-2 3-2 人工神经元结构模型人工神经元结构模型人工神经元结构模型人工神经元结构模型 3.1神经网络的理论概述 神经元之间的连接是73.1 神经网络的理论概述神经网络的理论概述l l3.1.2 3.1.2 人工神经元模型人工神经元模型人工神经元模型人工神经元模型 人人人人工工工工神神神神经经经经元元元元是是是是生生生生物物物物神神神神经经经经元元元元的的的的简简简简化化化化和和和和模模模模拟拟拟拟，它它它它是是是是神神神神经经经经网网网网络络络络的的的的基基基基本本本本处处处处理理理理单单单单元元元元。它它它它是是是是一一一一个个个个多输入单输出的非线性元件，其输入输出关系可描述为多输入单输出的非线性元件，其输入输出关系可描述为多输入单输出的非线性元件，其输入输出关系可描述为多输入单输出的非线性元件，其输入输出关系可描述为（3-1）（3-2）其中，是从其他细胞传来的输入信号，为阈值，表示从神经元到神经元的连接权其中，是从其他细胞传来的输入信号，为阈值，表示从神经元到神经元的连接权其中，是从其他细胞传来的输入信号，为阈值，表示从神经元到神经元的连接权其中，是从其他细胞传来的输入信号，为阈值，表示从神经元到神经元的连接权值，称为作用函数。值，称为作用函数。值，称为作用函数。值，称为作用函数。从上面分析可以看出，人工神经元反映了生物神经元的基本功能。从上面分析可以看出，人工神经元反映了生物神经元的基本功能。从上面分析可以看出，人工神经元反映了生物神经元的基本功能。从上面分析可以看出，人工神经元反映了生物神经元的基本功能。作用函数又称为变换函数，它决定神经元的输出。作用函数可为线性函数，但通作用函数又称为变换函数，它决定神经元的输出。作用函数可为线性函数，但通作用函数又称为变换函数，它决定神经元的输出。作用函数可为线性函数，但通作用函数又称为变换函数，它决定神经元的输出。作用函数可为线性函数，但通常为阶跃函数或常为阶跃函数或常为阶跃函数或常为阶跃函数或S S状曲线那样的非线性函数。状曲线那样的非线性函数。状曲线那样的非线性函数。状曲线那样的非线性函数。3.1神经网络的理论概述3.1.2 人工神经元模型（3-83.1 神经网络的理论概述神经网络的理论概述l l3.1.3 3.1.3 神经网络模型神经网络模型神经网络模型神经网络模型 神经网络可分成两大类：没有反馈的前向网络和相互结合型网络。神经网络可分成两大类：没有反馈的前向网络和相互结合型网络。神经网络可分成两大类：没有反馈的前向网络和相互结合型网络。神经网络可分成两大类：没有反馈的前向网络和相互结合型网络。(a)(a)前向网络前向网络前向网络前向网络(b)(b)相互连接型网络相互连接型网络相互连接型网络相互连接型网络 3.1神经网络的理论概述3.1.3 神经网络模型(a)93.1 神经网络的理论概述神经网络的理论概述l l3.1.4 3.1.4 神经网络分类神经网络分类神经网络分类神经网络分类神神神神经经经经网网网网络络络络发发发发展展展展几几几几十十十十年年年年来来来来，形形形形成成成成了了了了数数数数十十十十种种种种网网网网络络络络，包包包包括括括括多多多多层层层层感感感感知知知知器器器器、自自自自适适适适应应应应共共共共振振振振理理理理论论论论、KohomenKohomen自自自自组组组组织织织织特特特特征征征征映映映映射射射射、HopfieldHopfield网网网网络络络络、RBFRBF网网网网络络络络、小小小小波波波波神神神神经经经经网网网网络络络络、混混混混沌沌沌沌神神神神经经经经网网网网络络络络、细细细细胞胞胞胞神神神神经经经经网网网网络络络络、模模模模糊糊糊糊神神神神经经经经网网网网络络络络等等等等。这这这这些些些些网网网网络络络络结结结结构构构构不不不不同同同同，应用范围也各不相同。应用范围也各不相同。应用范围也各不相同。应用范围也各不相同。神经网络中应用较多的神经网络中应用较多的神经网络中应用较多的神经网络中应用较多的几种主要的模型几种主要的模型几种主要的模型几种主要的模型有：有：有：有：l l（1 1 1 1）多层前向神经网络）多层前向神经网络）多层前向神经网络）多层前向神经网络MLFN MLFN MLFN MLFN l l（2 2 2 2）递归神经网络）递归神经网络）递归神经网络）递归神经网络RNN RNN RNN RNN l l（3 3 3 3）自组织神经网络）自组织神经网络）自组织神经网络）自组织神经网络 l l（4 4 4 4）HopfieldHopfieldHopfieldHopfield神经网络神经网络神经网络神经网络l l（5 5 5 5）模糊神经网络）模糊神经网络）模糊神经网络）模糊神经网络3.1神经网络的理论概述3.1.4 神经网络分类103.1 神经网络的理论概述神经网络的理论概述l l3.1.5 3.1.5 神经网络的学习规则神经网络的学习规则神经网络的学习规则神经网络的学习规则学学学学习习习习功功功功能能能能是是是是人人人人工工工工神神神神经经经经网网网网络络络络中中中中最最最最重重重重要要要要的的的的特特特特征征征征之之之之一一一一。神神神神经经经经网网网网络络络络主主主主要要要要由由由由三三三三种种种种因因因因素素素素决决决决定定定定：神神神神经经经经元元元元的的的的特特特特性性性性，网网网网络络络络的的的的连连连连接接接接和和和和学学学学习习习习算算算算法法法法规规规规则则则则。学学学学习习习习算算算算法法法法对对对对网网网网络络络络学学学学习习习习速度、收敛特性、泛化能力等有很大的影响。速度、收敛特性、泛化能力等有很大的影响。速度、收敛特性、泛化能力等有很大的影响。速度、收敛特性、泛化能力等有很大的影响。学学学学习习习习方方方方法法法法归归归归根根根根到到到到底底底底就就就就是是是是网网网网络络络络连连连连接接接接权权权权的的的的调调调调整整整整方方方方法法法法。人人人人工工工工神神神神经经经经网网网网络络络络连连连连接接接接权权权权的的的的确确确确定定定定通通通通常常常常有有有有两两两两种种种种方方方方法法法法：一一一一种种种种是是是是根根根根据据据据具具具具体体体体要要要要求求求求直直直直接接接接计计计计算算算算出出出出来来来来，如如如如HopfieldHopfieldHopfieldHopfield网网网网络络络络作作作作优优优优化化化化计计计计算算算算时时时时就就就就属属属属于于于于这这这这种种种种情情情情况况况况；另另另另一一一一种种种种是是是是通通通通过过过过学学学学习习习习得得得得到到到到的的的的，大大大大多多多多数数数数人人人人工工工工神神神神经经经经网络都是采用这种方法。网络都是采用这种方法。网络都是采用这种方法。网络都是采用这种方法。3.1神经网络的理论概述3.1.5 神经网络的学习规则113.1 神经网络的理论概述神经网络的理论概述l l3.1.5 3.1.5 神经网络的学习规则神经网络的学习规则神经网络的学习规则神经网络的学习规则人工神经网络中，常用的学习规则主要有：人工神经网络中，常用的学习规则主要有：人工神经网络中，常用的学习规则主要有：人工神经网络中，常用的学习规则主要有：l l无监督无监督无监督无监督HebbHebb学习规则学习规则学习规则学习规则l lPerceptionPerception学习规则学习规则学习规则学习规则 l l学习规则学习规则学习规则学习规则l l内星内星内星内星/外星学习规则外星学习规则外星学习规则外星学习规则3.1神经网络的理论概述3.1.5 神经网络的学习规则123.1 神经网络的理论概述神经网络的理论概述l l3.1.6 3.1.6 用于控制的神经网络用于控制的神经网络用于控制的神经网络用于控制的神经网络 神经网络的下列特性适合于控制系统：神经网络的下列特性适合于控制系统：神经网络的下列特性适合于控制系统：神经网络的下列特性适合于控制系统：l l并行性并行性并行性并行性l l分布式分布式分布式分布式l l自适应学习自适应学习自适应学习自适应学习l l非线性映射非线性映射非线性映射非线性映射l l可硬件实现可硬件实现可硬件实现可硬件实现3.1神经网络的理论概述3.1.6 用于控制的神经网络133.1 神经网络的理论概述神经网络的理论概述l l3.1.7 3.1.7 神经网络控制的研究内容神经网络控制的研究内容神经网络控制的研究内容神经网络控制的研究内容l l1 1基于神经网络的系统辨识基于神经网络的系统辨识基于神经网络的系统辨识基于神经网络的系统辨识l l将将将将神神神神经经经经网网网网络络络络作作作作为为为为被被被被辨辨辨辨识识识识系系系系统统统统的的的的模模模模型型型型，可可可可在在在在已已已已知知知知常常常常规规规规模模模模型型型型结结结结构构构构的的的的情情情情况况况况下下下下，估估估估计计计计模模模模型型型型的的的的参参参参数。数。数。数。l l利利利利用用用用神神神神经经经经网网网网络络络络的的的的线线线线性性性性、非非非非线线线线性性性性特特特特性性性性，可可可可建建建建立立立立线线线线性性性性、非非非非线线线线性性性性系系系系统统统统的的的的静静静静态态态态、动动动动态态态态、逆逆逆逆动动动动态态态态及预测模型，实现系统的建模和辨识。及预测模型，实现系统的建模和辨识。及预测模型，实现系统的建模和辨识。及预测模型，实现系统的建模和辨识。l l2 2神经网络控制器神经网络控制器神经网络控制器神经网络控制器l l神神神神经经经经网网网网络络络络作作作作为为为为控控控控制制制制器器器器，可可可可对对对对不不不不确确确确定定定定、不不不不确确确确知知知知系系系系统统统统及及及及扰扰扰扰动动动动进进进进行行行行有有有有效效效效的的的的控控控控制制制制，使使使使控控控控制制制制系系系系统统统统达到所要求的动态、静态特性。达到所要求的动态、静态特性。达到所要求的动态、静态特性。达到所要求的动态、静态特性。l l3 3神经网络与其它智能技术的结合神经网络与其它智能技术的结合神经网络与其它智能技术的结合神经网络与其它智能技术的结合l l将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计新型智能控制系统。将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计新型智能控制系统。将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计新型智能控制系统。将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计新型智能控制系统。l l4 4优化计算优化计算优化计算优化计算l l在在在在常常常常规规规规的的的的控控控控制制制制系系系系统统统统中中中中，常常常常遇遇遇遇到到到到求求求求解解解解约约约约束束束束优优优优化化化化问问问问题题题题，神神神神经经经经网网网网络络络络为为为为这这这这类类类类问问问问题题题题的的的的解解解解决决决决提提提提供供供供了了了了有效的途径。有效的途径。有效的途径。有效的途径。3.1神经网络的理论概述3.1.7 神经网络控制的研究内143.2 前馈网络及其前馈网络及其BP学习算法学习算法l l3.2.1 3.2.1 感知器感知器感知器感知器l l3.2.2 3.2.2 径向基函数神经网络径向基函数神经网络径向基函数神经网络径向基函数神经网络l l3.2.3 BP3.2.3 BP网络网络网络网络l l3.2.4 BP3.2.4 BP学习算法学习算法学习算法学习算法l l3.2.5 3.2.5 改进型改进型改进型改进型BPBP算法算法算法算法l l3.2.6 BP3.2.6 BP网络仿真实例网络仿真实例网络仿真实例网络仿真实例3.2 前馈网络及其BP学习算法3.2.1 感知器15前馈网络及其前馈网络及其BPBP学习算法学习算法l l3.2.1 3.2.1 感知器感知器感知器感知器感感感感知知知知器器器器（perceptronperceptron）是是是是一一一一个个个个具具具具有有有有单单单单层层层层神神神神经经经经元元元元的的的的神神神神经经经经网网网网络络络络，并并并并由由由由线线线线性性性性阈阈阈阈值值值值元元元元件件件件组组组组成成成成，是是是是最最最最简简简简单单单单的的的的前前前前向向向向网网网网络络络络，主主主主要要要要用用用用于于于于模模模模式式式式分分分分类类类类。单单单单层层层层的的的的感感感感知知知知器器器器网网网网络络络络结结结结构构构构如如如如图图图图所所所所示示示示。x x是是是是输输输输入入入入特特特特性性性性向向向向量量量量，y y为为为为输输输输出出出出量量量量，是是是是按按按按照照照照不不不不同同同同特特特特性性性性分分分分类类类类的的的的结结结结果果果果，w w是是是是x x到到到到y y的的的的连连连连接接接接权权权权值值值值，此此此此权权权权值值值值是是是是可可可可调调调调整整整整的的的的，因因因因而而而而有有有有学学学学习习习习功功功功能。能。能。能。前馈网络及其BP学习算法3.2.1 感知器16前馈网络及其前馈网络及其BPBP学习算法学习算法l l3.2.1 3.2.1 感知器感知器感知器感知器 感知器的输入输出关系可表示为感知器的输入输出关系可表示为感知器的输入输出关系可表示为感知器的输入输出关系可表示为 一种学习算法是：一种学习算法是：一种学习算法是：一种学习算法是：(1)(1)随机地给定一组连接权值（较小的非零值）；随机地给定一组连接权值（较小的非零值）；随机地给定一组连接权值（较小的非零值）；随机地给定一组连接权值（较小的非零值）；(2)(2)输入一组样本和期望的输出（亦称为教师信号）；输入一组样本和期望的输出（亦称为教师信号）；输入一组样本和期望的输出（亦称为教师信号）；输入一组样本和期望的输出（亦称为教师信号）；(3)(3)计算感知器的实际输出：计算感知器的实际输出：计算感知器的实际输出：计算感知器的实际输出：(4)(4)按下式修正权值：按下式修正权值：按下式修正权值：按下式修正权值：(5)(5)选选选选取取取取另另另另外外外外一一一一组组组组样样样样本本本本，重重重重复复复复上上上上述述述述(2)(4)(2)(4)的的的的过过过过程程程程，直直直直到到到到权权权权值值值值对对对对一一一一切切切切样样样样本本本本均均均均稳稳稳稳定定定定不不不不变变变变为为为为此此此此，学习过程结束。学习过程结束。学习过程结束。学习过程结束。前馈网络及其BP学习算法3.2.1 感知器17前馈网络及其前馈网络及其BPBP学习算法学习算法l l3.2.2 3.2.2 径向基函数神经网络径向基函数神经网络径向基函数神经网络径向基函数神经网络径向基函数神经网络（径向基函数神经网络（径向基函数神经网络（径向基函数神经网络（RBFRBF网络）是一种前馈神经网络，一般分为三网络）是一种前馈神经网络，一般分为三网络）是一种前馈神经网络，一般分为三网络）是一种前馈神经网络，一般分为三层结构，其网络结构如图层结构，其网络结构如图层结构，其网络结构如图层结构，其网络结构如图3-83-8所示。所示。所示。所示。前馈网络及其BP学习算法3.2.2 径向基函数神经网络18前馈网络及其前馈网络及其BPBP学习算法学习算法l l3.2.3 BP3.2.3 BP网络网络网络网络 误误误误差差差差反反反反向向向向传传传传播播播播神神神神经经经经网网网网络络络络，即即即即BPBP网网网网络络络络（Back Back PropagationPropagation），是是是是一一一一种种种种单单单单向向向向传传传传播播播播的的的的多多多多层层层层前前前前向向向向网网网网络络络络。在在在在模模模模式式式式识识识识别别别别、系系系系统统统统辨辨辨辨识识识识、函函函函数数数数拟拟拟拟合合合合、优优优优化化化化计计计计算算算算、最最最最优优优优预预预预测和自适应控制等领域有着较为广泛的应用。如图是其结构示意图。测和自适应控制等领域有着较为广泛的应用。如图是其结构示意图。测和自适应控制等领域有着较为广泛的应用。如图是其结构示意图。测和自适应控制等领域有着较为广泛的应用。如图是其结构示意图。BPBP网网网网络络络络是是是是一一一一种种种种最最最最为为为为常常常常用用用用的的的的前前前前馈馈馈馈网网网网络络络络，它它它它有有有有一一一一个个个个输输输输入入入入层层层层，一一一一个个个个输输输输出出出出层层层层，一一一一个个个个或或或或多多多多个个个个隐隐隐隐含含含含层层层层。每每每每一一一一层层层层上上上上包包包包含含含含了了了了若若若若干干干干个个个个节节节节点点点点，每每每每个个个个节节节节点点点点代代代代表表表表一一一一个个个个神神神神经经经经元元元元。同同同同一一一一层层层层上上上上的的的的各各各各节节节节点点点点之之之之间间间间无无无无耦耦耦耦合合合合连连连连接接接接关关关关系系系系，信信信信息息息息从从从从输输输输入入入入层层层层开开开开始始始始在在在在各各各各层层层层之之之之间间间间单单单单向向向向传传传传播播播播，依依依依次次次次经经经经过过过过各各各各隐隐隐隐含含含含层层层层节节节节点点点点，最后达到输出层节点。最后达到输出层节点。最后达到输出层节点。最后达到输出层节点。前馈网络及其BP学习算法3.2.3 BP网络 19前馈网络及其前馈网络及其BPBP学习算法学习算法l l3.2.4 BP3.2.4 BP学习算法学习算法学习算法学习算法BPBP算算算算法法法法的的的的基基基基本本本本思思思思想想想想是是是是最最最最小小小小二二二二乘乘乘乘法法法法。它它它它应应应应用用用用梯梯梯梯度度度度搜搜搜搜索索索索技技技技术术术术，以以以以期期期期使使使使网网网网络络络络的的的的实实实实际际际际输输输输出出出出值值值值与与与与期期期期望望望望值值值值的的的的误误误误差差差差均均均均方方方方值值值值为为为为最最最最小小小小。学学学学习习习习过过过过程程程程由由由由信信信信号号号号的的的的正正正正向向向向传传传传播播播播和和和和误误误误差差差差的的的的反反反反向向向向传传传传播播播播两两两两个个个个过过过过程程程程组组组组成成成成。正正正正向向向向传传传传播播播播时时时时，输输输输入入入入样样样样本本本本从从从从输输输输入入入入层层层层传传传传入入入入，经经经经各各各各隐隐隐隐层层层层逐逐逐逐层层层层处处处处理理理理后后后后，传传传传向向向向输输输输出出出出层层层层。若若若若输输输输出出出出层层层层的的的的实实实实际际际际输输输输出出出出与与与与期期期期望望望望输输输输出出出出不不不不符符符符，则则则则转转转转入入入入误误误误差差差差的的的的反反反反向向向向传传传传播播播播阶阶阶阶段段段段。误误误误差差差差反反反反传传传传是是是是将将将将输输输输出出出出误误误误差差差差以以以以某某某某种种种种形形形形式式式式通通通通过过过过隐隐隐隐层层层层向向向向输输输输入入入入层层层层逐逐逐逐层层层层反反反反传传传传，并并并并将将将将误误误误差差差差分分分分摊摊摊摊给给给给各各各各层层层层的的的的所所所所有有有有单单单单元元元元，从从从从而而而而各各各各层层层层单单单单元元元元获获获获得得得得误误误误差差差差信信信信号号号号，此此此此误误误误差差差差信信信信号号号号即即即即作作作作为为为为修修修修正正正正各各各各单单单单元元元元权权权权值值值值的的的的依依依依据据据据。这这这这种种种种信信信信号号号号正正正正向向向向传传传传播播播播与与与与误误误误差差差差反反反反向向向向传传传传播播播播的的的的各各各各层层层层权权权权值值值值调调调调整整整整过过过过程程程程，是是是是周周周周而而而而复复复复始始始始，权权权权值值值值不不不不断断断断调调调调整整整整的的的的过过过过程程程程，也也也也就就就就是是是是网网网网络络络络的的的的学学学学习习习习训训训训练练练练过过过过程程程程。此此此此过过过过程程程程一一一一直直直直到到到到网网网网络络络络输输输输出出出出的的的的误误误误差差差差减减减减少少少少到到到到可可可可接接接接受受受受的的的的程程程程度度度度，或或或或进进进进行行行行到预先设定的学习次数为止。到预先设定的学习次数为止。到预先设定的学习次数为止。到预先设定的学习次数为止。前馈网络及其BP学习算法3.2.4 BP学习算法20前馈网络及其前馈网络及其BPBP学习算法学习算法l l3.2.4 BP3.2.4 BP学习算法学习算法学习算法学习算法 计算步骤：计算步骤：计算步骤：计算步骤：（1 1）初始化：置所有的权值为较小的随机数；）初始化：置所有的权值为较小的随机数；）初始化：置所有的权值为较小的随机数；）初始化：置所有的权值为较小的随机数；（2 2）提供训练集：给定输入向量）提供训练集：给定输入向量）提供训练集：给定输入向量）提供训练集：给定输入向量X X 和期望的目标和期望的目标和期望的目标和期望的目标输出向量输出向量输出向量输出向量D D；（3 3）计算实际输出：按公式计算隐层、输出层各）计算实际输出：按公式计算隐层、输出层各）计算实际输出：按公式计算隐层、输出层各）计算实际输出：按公式计算隐层、输出层各神经元的输出；神经元的输出；神经元的输出；神经元的输出；（4 4）计算目标值与实际输出的偏差）计算目标值与实际输出的偏差）计算目标值与实际输出的偏差）计算目标值与实际输出的偏差 ；（5 5）计算输出节点的连接权值调整）计算输出节点的连接权值调整）计算输出节点的连接权值调整）计算输出节点的连接权值调整 ；（6 6）再计算隐层节点连接权值调整）再计算隐层节点连接权值调整）再计算隐层节点连接权值调整）再计算隐层节点连接权值调整 ；（7 7）返回步骤（）返回步骤（）返回步骤（）返回步骤（2 2）重复计算，直到误差）重复计算，直到误差）重复计算，直到误差）重复计算，直到误差 满足满足满足满足要求为止。要求为止。要求为止。要求为止。前馈网络及其BP学习算法3.2.4 BP学习算法 21前馈网络及其前馈网络及其BPBP学习算法学习算法l l3.2.5 3.2.5 改进型改进型改进型改进型BPBP算法算法算法算法由于由于由于由于BPBP算法的实质是梯度下降法，因此它不可避免的存在着以下几个问题：算法的实质是梯度下降法，因此它不可避免的存在着以下几个问题：算法的实质是梯度下降法，因此它不可避免的存在着以下几个问题：算法的实质是梯度下降法，因此它不可避免的存在着以下几个问题：l l（1 1）由于采用非线性优化，易形成局部极小而得不到全局最优值；）由于采用非线性优化，易形成局部极小而得不到全局最优值；）由于采用非线性优化，易形成局部极小而得不到全局最优值；）由于采用非线性优化，易形成局部极小而得不到全局最优值；l l（2 2）待寻优的参数多，收敛速度慢；）待寻优的参数多，收敛速度慢；）待寻优的参数多，收敛速度慢；）待寻优的参数多，收敛速度慢；l l（3 3）网络的结构设计，即隐层和节点数的选择尚无理论指导；）网络的结构设计，即隐层和节点数的选择尚无理论指导；）网络的结构设计，即隐层和节点数的选择尚无理论指导；）网络的结构设计，即隐层和节点数的选择尚无理论指导；l l（4 4）新加入的样本会影响到已学好的样本。）新加入的样本会影响到已学好的样本。）新加入的样本会影响到已学好的样本。）新加入的样本会影响到已学好的样本。为了解决上述问题，许多研究人员提出了许多为了解决上述问题，许多研究人员提出了许多为了解决上述问题，许多研究人员提出了许多为了解决上述问题，许多研究人员提出了许多BPBP的改进算法，主要有：的改进算法，主要有：的改进算法，主要有：的改进算法，主要有：l l（1 1）拟牛顿法）拟牛顿法）拟牛顿法）拟牛顿法l l（2 2）共轭梯度法）共轭梯度法）共轭梯度法）共轭梯度法l l（3 3）LevenbergLevenberg-Marquardt-Marquardt法法法法l l（4 4）附加动量法）附加动量法）附加动量法）附加动量法l l（5 5）自适应学习速率）自适应学习速率）自适应学习速率）自适应学习速率前馈网络及其BP学习算法3.2.5 改进型BP算法22前馈网络及其前馈网络及其BPBP学习算法学习算法l l3.2.6 BP3.2.6 BP网络仿真实例网络仿真实例网络仿真实例网络仿真实例 取取取取标标标标准准准准样样样样本本本本为为为为三三三三输输输输入入入入两两两两输输输输出出出出样样样样本本本本，样样样样本数据如下表：本数据如下表：本数据如下表：本数据如下表：BP BP BP BP网络采用网络采用网络采用网络采用3-6-23-6-23-6-23-6-2结构，权值结构，权值结构，权值结构，权值 、的初始值取的初始值取的初始值取的初始值取 之间的随之间的随之间的随之间的随机值，学习参取机值，学习参取机值，学习参取机值，学习参取 ，。运行程序，取网络训。运行程序，取网络训。运行程序，取网络训。运行程序，取网络训练的最终指标为练的最终指标为练的最终指标为练的最终指标为 ，网络训，网络训，网络训，网络训练曲线如图练曲线如图练曲线如图练曲线如图3-113-113-113-11所示。将网络训所示。将网络训所示。将网络训所示。将网络训练的最终权值为用于模式识别的练的最终权值为用于模式识别的练的最终权值为用于模式识别的练的最终权值为用于模式识别的知识库，将其保存在文件中。取知识库，将其保存在文件中。取知识库，将其保存在文件中。取知识库，将其保存在文件中。取一组实际样本进行测试，测试样一组实际样本进行测试，测试样一组实际样本进行测试，测试样一组实际样本进行测试，测试样本及测试结果见表本及测试结果见表本及测试结果见表本及测试结果见表3-23-23-23-2。有仿真结。有仿真结。有仿真结。有仿真结果可见，果可见，果可见，果可见，BPBPBPBP网络具有很好的模式网络具有很好的模式网络具有很好的模式网络具有很好的模式识别能力。识别能力。识别能力。识别能力。前馈网络及其BP学习算法3.2.6 BP网络仿真实例 23前馈网络及其前馈网络及其BPBP学习算法学习算法l l3.2.6 BP3.2.6 BP网络仿真实例网络仿真实例网络仿真实例网络仿真实例前馈网络及其BP学习算法3.2.6 BP网络仿真实例243.3 反馈网络及其它网络结构反馈网络及其它网络结构 l l3.3 3.3 反馈网络及其它网络结构反馈网络及其它网络结构反馈网络及其它网络结构反馈网络及其它网络结构 l l3.3.1 Hopfield3.3.1 Hopfield网络网络网络网络 l l3.3.2 Boltzmann3.3.2 Boltzmann机网络机网络机网络机网络 l l3.3.3 3.3.3 双向联想记忆网络双向联想记忆网络双向联想记忆网络双向联想记忆网络 l l3.3.4 Hamming3.3.4 Hamming网络网络网络网络 l l3.3.5 Kohonen3.3.5 Kohonen网络网络网络网络 3.3 反馈网络及其它网络结构 3.3 反馈网络及其它网253.3 反馈网络及其它网络结构反馈网络及其它网络结构l l3.3.1 Hopfield3.3.1 Hopfield网络网络网络网络l l1.1.结构结构结构结构 Hopfield Hopfield 网网网网络络络络结结结结构构构构如如如如图图图图所所所所示示示示，它它它它是是是是一一一一种种种种单单单单层层层层反反反反馈馈馈馈性性性性非非非非线线线线性性性性网网网网络络络络，每每每每一一一一个个个个结结结结点点点点的的的的输输输输出出出出均均均均反反反反馈馈馈馈到到到到其其其其他他他他结结结结点点点点的的的的输输输输入入入入，整整整整个个个个网网网网络络络络都都都都不不不不存存存存在自反馈。在自反馈。在自反馈。在自反馈。HopfieldHopfield网络结构网络结构网络结构网络结构3.3 反馈网络及其它网络结构3.3.1 Hopfiel263.3 反馈网络及其它网络结构反馈网络及其它网络结构l l3.3.1 Hopfield3.3.1 Hopfield网络网络网络网络 J.J.J.J.HoplieldHoplield利利利利用用用用模模模模拟拟拟拟电电电电路路路路（电电电电阻阻阻阻、电电电电容容容容和和和和运运运运算算算算放放放放大大大大器器器器）实实实实现现现现了了了了对对对对网网网网络络络络的的的的结结结结点点点点（神神神神经元）的描述，如图所示。经元）的描述，如图所示。经元）的描述，如图所示。经元）的描述，如图所示。假设网络共有假设网络共有假设网络共有假设网络共有n n个这样的神经元组成，可得到个这样的神经元组成，可得到个这样的神经元组成，可得到个这样的神经元组成，可得到:由由由由此此此此可可可可见见见见，R Ri i，C Ci i的的的的并并并并联联联联模模模模拟拟拟拟了了了了生生生生物物物物神神神神经经经经元元元元的的的的时时时时间间间间常常常常数数数数，模模模模拟拟拟拟了了了了神神神神经经经经元元元元间间间间的的的的突突突突触触触触特性即权值，运算放大器模拟了神经元的非线性特征，偏置电流特性即权值，运算放大器模拟了神经元的非线性特征，偏置电流特性即权值，运算放大器模拟了神经元的非线性特征，偏置电流特性即权值，运算放大器模拟了神经元的非线性特征，偏置电流 相当于阈值。相当于阈值。相当于阈值。相当于阈值。Hopfield Hopfield神经元的模拟电路神经元的模拟电路神经元的模拟电路神经元的模拟电路 3.3 反馈网络及其它网络结构3.3.1 Hopfiel273.3 反馈网络及其它网络结构反馈网络及其它网络结构l l3.3.1 Hopfield3.3.1 Hopfield网络网络网络网络l l2 2学习过程学习过程学习过程学习过程 网网网网络络络络的的的的学学学学习习习习过过过过程程程程实实实实际际际际上上上上就就就就是是是是权权权权值值值值调调调调整整整整过过过过程程程程，学学学学习习习习目目目目的的的的就就就就是是是是调调调调整整整整连连连连接接接接权权权权值值值值，以以以以使使使使得得得得网网网网络络络络的的的的稳稳稳稳定定定定平平平平衡衡衡衡状状状状态态态态就就就就是是是是所所所所要要要要求求求求的的的的状状状状态态态态。采采采采用用用用的的的的学学学学习习习习算算算算法法法法是是是是HebbHebb学学学学习习习习规规规规则则则则，即即即即权权权权值值值值调调调调整整整整规规规规则则则则为为为为：若若若若第第第第i i个个个个和和和和第第第第j j个个个个神神神神经经经经元元元元同同同同时处于兴奋状态，那么他们之间的连接应该增强，权值增大时处于兴奋状态，那么他们之间的连接应该增强，权值增大时处于兴奋状态，那么他们之间的连接应该增强，权值增大时处于兴奋状态，那么他们之间的连接应该增强，权值增大:假设要求网络要有个正交稳态，则假设要求网络要有个正交稳态，则假设要求网络要有个正交稳态，则假设要求网络要有个正交稳态，则 若增加新的稳态，则若增加新的稳态，则若增加新的稳态，则若增加新的稳态，则 3.3 反馈网络及其它网络结构3.3.1 Hopfiel283.3 反馈网络及其它网络结构反馈网络及其它网络结构l l3.3.1 Hopfield3.3.1 Hopfield网络网络网络网络l l3 3应用应用应用应用 （1 1）联想记忆功能：联想记忆功能：联想记忆功能：联想记忆功能：由由由由于于于于网网网网络络络络可可可可以以以以收收收收敛敛敛敛于于于于稳稳稳稳定定定定状状状状态态态态，因因因因此此此此可可可可用用用用于于于于联联联联想想想想记记记记忆忆忆忆。若若若若将将将将稳稳稳稳态态态态视视视视为为为为一一一一个个个个记记记记忆忆忆忆，则则则则由由由由初初初初始始始始状状状状态态态态向向向向稳稳稳稳态态态态收收收收敛敛敛敛的的的的过过过过程程程程，初初初初态态态态可可可可认认认认为为为为是是是是给给给给定定定定的的的的部部部部分分分分消消消消息息息息，收收收收敛敛敛敛过过过过程程程程可可可可认认认认为为为为是是是是从从从从部部部部分分分分信信信信息息息息找找找找到到到到了了了了全全全全部部部部信信信信息息息息，则则则则实实实实现现现现了了了了联联联联想想想想记记记记忆忆忆忆的的的的功功功功能能能能。联联联联想想想想记记记记忆忆忆忆的的的的一一一一个个个个重重重重要要要要特特特特性性性性是是是是由由由由噪噪噪噪声声声声输输输输入入入入模模模模式反映出训练模式。式反映出训练模式。式反映出训练模式。式反映出训练模式。（2 2）优化计算：优化计算：优化计算：优化计算：若若若若将将将将稳稳稳稳态态态态视视视视为为为为某某某某一一一一优优优优化化化化问问问问题题题题目目目目标标标标函函函函数数数数的的的的极极极极小小小小点点点点，则则则则由由由由初初初初态态态态向向向向稳稳稳稳态态态态收收收收敛敛敛敛的的的的过过过过程程程程就就就就是是是是优优优优化化化化计算过程。网络逐渐稳定的前提是。计算过程。网络逐渐稳定的前提是。计算过程。网络逐渐稳定的前提是。计算过程。网络逐渐稳定的前提是。（3 3）网络的应用：网络的应用：网络的应用：网络的应用：HopfieldHopfield网网网网络络络络多多多多于于于于在在在在控控控控制制制制系系系系统统统统的的的的设设设设计计计计中中中中求求求求解解解解约约约约束束束束优优优优化化化化问问问问题题题题，另另另另外外外外在在在在系系系系统统统统辨辨辨辨识识识识中中中中也也也也有有有有应应应应用。用。用。用。3.3 反馈网络及其它网络结构3.3.1 Hopfiel293.3 反馈网络及其它网络结构反馈网络及其它网络结构l l3.3.2 Boltzmann3.3.2 Boltzmann机网络机网络机网络机网络 神神神神经经经经网网网网络络络络是是是是由由由由大大大大量量量量神神神神经经经经元元元元组组组组成成成成的的的的动动动动力力力力学学学学系系系系统统统统。从从从从宏宏宏宏观观观观上上上上讲讲讲讲，各各各各神神神神经经经经元元元元的的的的状状状状态态态态可可可可看看看看做做做做是是是是一一一一个个个个随随随随机机机机变变变变量量量量。从从从从统统统统计计计计的的的的观观观观点点点点分分分分析析析析，也也也也可可可可以以以以寻寻寻寻找找找找神神神神经经经经网网网网络络络络系系系系统统统统中中中中某某某某神神神神经经经经元元元元的的的的状状状状态态态态的的的的概概概概率率率率分分分分布布布布，分分分分布布布布的的的的形形形形式式式式与与与与网网网网络络络络的的的的结结结结构构构构有有有有关关关关，其其其其参参参参数数数数则则则则是是是是权权权权系系系系数数数数。Boltzmann Boltzmann 是是是是由由由由Hinton Hinton 和和和和Sejnowski Sejnowski 等等等等人人人人借借借借助助助助统统统统计计计计物物物物理理理理学学学学的的的的方方方方法法法法提提提提出出出出的的的的一一一一种种种种基基基基于于于于约约约约束束束束传传传传播播播播的的的的并并并并行行行行计计计计算算算算网网网网络络络络，其其其其中中中中网网网网络络络络中中中中状状状状态态态态的的的的概概概概率率率率具具具具有有有有统统统统计计计计力力力力学学学学中中中中的的的的BoltzmannBoltzmann分分分分布布布布规规规规律律律律。BoltzmannBoltzmann机机机机网网网网络络络络可可可可以以以以看看看看成成成成是是是是引引引引入入入入了了了了隐隐隐隐单单单单元元元元的的的的Hopfield Hopfield 模模模模型型型型的的的的推推推推广广广广。Boltzmann Boltzmann 机现常用于模式分类、预测、组合优化及规划等方面。机现常用于模式分类、预测、组合优化及规划等方面。机现常用于模式分类、预测、组合优化及规划等方面。机现常用于模式分类、预测、组合优化及规划等方面。3.3 反馈网络及其它网络结构3.3.2 Boltzma303.3 反馈网络及其它网络结构反馈网络及其它网络结构l l3.3.2 Boltzmann3.3.2 Boltzmann机网络机网络机网络机网络l l1 1BoltzmannBoltzmann机网络的结构机网络的结构机网络的结构机网络的结构 BoltzmannBoltzmann机机机机网网网网络络络络是是是是一一一一个个个个相相相相互互互互连连连连接接接接的的的的神神神神经经经经网网网网络络络络模模模模型型型型，如如如如图图图图3-143-14所所所所示示示示，单单单单元元元元之之之之间间间间的的的的连连连连接接接接可可可可以以以以是是是是完完完完全全全全连连连连接接接接，也也也也可可可可以以以以是是是是按按按按某某某某种种种种方方方方便便便便的的的的形形形形式式式式结结结结构构构构化化化化的的的的，但但但但必必必必须须须须具具具具有有有有对对对对称称称称的的的的连连连连接接接接权权权权系系系系数数数数，即即即即 ，且且且且 每每每每个个个个单单单单元元元元节节节节点点点点只只只只取取取取1 1或者或者或者或者0 0两种状态，两种状态，两种状态，两种状态，1 1代表接通或接受，代表接通或接受，代表接通或接受，代表接通或接受，0 0代表断开或拒绝。代表断开或拒绝。代表断开或拒绝。代表断开或拒绝。图图图图3-14 Boltzmann3