机械故障诊断学钟秉林第7章神经网络诊断原理课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,7,章 神经网络诊断原理,人工神经网络的拓扑结构及其学习规则,多层前向神经网络模型及,BP,算法,径向基函数,(RBF),网络及其学习算法,模糊神经网络原理,机械故障诊断理论与方法,第,2,篇 基于人工智能的故障诊断技术,2024/9/1,1,内,容,安,排,第7章 神经网络诊断原理 人工神经网络的拓扑结构及其学习规,一、概述,人工神经网络,（,Artificial Neural Networks,，简称,ANN,）,是近年来得到迅速发展的一个前沿课题。,ANN,是在,现代神经生理学,和,心理学,的研究基础上，模仿人的,大脑神经元,结构特性而建立的一种,非线性动力学,网络系统，它由大量的简单的非线性处理单元（类似人脑的神经元）高度,并联,、,互联,而成，具有对人脑某些基本特性,简单的数学模拟,能力。,2024/9/1,2,神经网络由于其,大规模并行处理,、,容错性,、,自组织,和,自适应能力,和,联想功能强,等特点，已成为解决很多问题的有力工具。,如汽车自驾系统、图像处理（,人脸识别,）、文字识别（,手写识别,）、语音识别、故障诊断等。,一、概述人工神经网络（ Artificial Neural,与传统计算机的比较,传统计算机,神经网络,设计算法和,/,或求解规则，编制软件,无需,算法或求解规则，软件编制任务相对简单,指令串行执行,高度,并行处理,不能,解决形象思维问题，如感知、视觉等,易于实现,感知和视觉,等形象思维问题,脆弱,鲁棒性,(Robust),、容错性强，,自适应能力,差,自适应性,强,强有力的数字和逻辑运算能力，计算精度高,可以处理,模糊的、概率的、含噪的,或,不相容的,信息,2024/9/1,3,与传统计算机的比较 传统计算机神经网络设计算法和/或求解规,一、概述,目前，已经提出的神经网络模型大约有几十种，较为,著名,的有：,贺浦费特,模型,-Hopfield,多层感知器,（,MultiLayer Perceptron,MLP,）模型,-Rumelhart,自适应共振理论,（,Adaptive Resonance Theory,ART,）,- Grossberg,和,Carpentent,玻尔兹曼,（,Boltzmann,）机,-Hinton,自组织特征映射,（,Self-Rrganizing Map, SOM,）模型,-Kohonen,双向联想记忆,模型,-Kosko,2024/9/1,4,一、概述 目前，已经提出的神经网络模型大约有几十种，较,一、概述,人工神经网络在故障诊断领域的应用主要集中在如下,三个,方面：,一是从,模式识别角度,应用神经网络作为,分类器,进行故障诊断；,二是从,预测角度,应用神经网络作为,动态预测模型,进行故障预测；,三是从,知识处理角度,建立基于神经网络的,诊断专家系统,。,2024/9/1,5,本章首先介绍神经网络的,基本原理,，然后着重从,第一方面,出发介绍几类在故障诊断领域应用较为广泛的神经网络模型。,一、概述人工神经网络在故障诊断领域的应用主要集中在如下三个方,人工神经网络发展简史,最早的研究可以追溯到,20,世纪,40,年代,。,1943,年，,心理学家,McCulloch,和,数学家,Pitts,合作提出了形式神经元的数学模型。这一模型一般被简称,M-P,神经网络模型,，至今仍在应用，可以说，人工神经网络的研究时代，,就由此开始了,。,1949,年，,心理学家,Hebb,提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为,Hebb,规则,，许多人工神经网络的学习还遵循这一规则。,一、概述,2024/9/1,6,人工神经网络发展简史最早的研究可以追溯到20世纪40年代。1,1957,年，,F.Rosenblatt,提出“,感知器,”,(Perceptron),模型，第一次把神经网络的研究从,纯理论的探讨,付诸,工程实践,，掀起了人工神经网络研究的,第一次高潮,。,20,世纪,60,年代以后，,数字计算机,的发展达到全盛时期，人们,误,以为数字计算机可以解决人工智能、专家系统、模式识别问题，而,放松,了对“,感知器,”的研究。于是，从,20,世纪,60,年代末期起，人工神经网络的研究,进入了低潮,。,一、概述,2024/9/1,7,1957年，F.Rosenblatt提出“感知器”(Perc,1982,年，美国加州工学院,物理学家,Hopfield,提出了,离散的,神经网络模型，标志着神经网络的研究又进入了,一个新高潮,。,1984,年，,Hopfield,又提出,连续,神经网络模型，开拓了计算机应用神经网络的新途径。,1986,年，,Rumelhart,和,Meclelland,提出多层网络的,误差反传,(Back Propagation),学习算法，简称,BP,算法,。,BP,算法是目前最为重要、应用最广的人工神经网络算法之一。,一、概述,自,20,世纪,80,年代中期以来，世界上许多国家掀起了,神经网络,的研究热潮，可以说神经网络已成为国际上的,一个研究热点,。,2024/9/1,8,1982年，美国加州工学院物理学家Hopfield提出了离散,二、人工神经网络的拓扑结构及其学习规则,1.,生物神经元与人工神经元模型,生物神经元,(NU),神经元,是大脑处理信息的基本单元,;,人脑约由,10,1l,-10,12,个神经元组成，其中，,每个神经元,约与,10,4,-10,5,个神经元通过,突触,联接，形成极为错纵复杂而且又灵活多变的,神经网络,;,神经元以,细胞体,为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干,;,主要由,细胞体,、,树突,、,轴突,和,突触,(Synapse,，又称神经键,),组成。,2024/9/1,9,二、人工神经网络的拓扑结构及其学习规则1. 生物神经元与人工,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,10,细胞体,对这些输入信号进行整,合并进行阈值处理；,树突,是树状的神经纤维接收网络，它将电信号传送到细胞体；,轴突,是单根长纤维，它把细胞,体的输出信号导向其他神经元；,一个神经细胞的,轴突,和另一个,神经细胞,树突,的结合点称为,突触,兴奋型、抑制型,，膜外为,正,、膜内为,负,神经元的,排列,和突触的,强度,(,由复杂的化学过程决定,),确立了神经网络的功能。,二、人工神经网络的拓扑结构及其学习规则2023/9/810细,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,11,生物学研究表明,一些神经结构,是与生俱来的，而,其他部分,则是在学习的过程中形成的。,在学习的过程中，可能会产生一些,新,的连接，也可能会使以前的一些连接,消失,。这个过程在生命,早期,最为显著。,二、人工神经网络的拓扑结构及其学习规则2023/9/811生,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,12,突触的信息处理,生物神经元传递信息的过程为,多输入、单输出,；,神经元各组成部分的功能来看，信息的,处理与传递,主要发生在,突触,附近；,当神经元细胞体通过,轴突,传到,突触前膜,的脉冲幅度达到一定强度，即超过其,阈值,电位后，,突触前膜,将向,突触间隙,释放神经传递的化学物质；,突触有两种类型，,兴奋性突触,和,抑制性突触,。前者产生,正,突触后电位，后者产生,负,突触后电位。,二、人工神经网络的拓扑结构及其学习规则2023/9/812,生物神经元的主要功能与特点,时空,整合能力：,对,不同时间,通过,同一突触,传入的神经冲动（激励），具有,时间,整合功能；对,同一时间,通过,不同突触,传入的神经冲动，具有,空间,整合功能。,兴奋与抑制状态：,传入神经冲动的,时空整合结果,，使神经元,膜电位升高,，,超过,神经元动作电位的,阀值,(,约,40mV),时，神经元进入,兴奋状态,；传入神经冲动的是,时空整合结果,，使神经元膜电位,低于电位阀值之下,，神经元进入,抑制状态,。,脉冲与电位转换,突触延时和不应期 ：,一般为,0.3,lms,学习、遗忘和疲劳：,存在,学习,、,遗忘,或,疲劳,（饱和）效应,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,13,可塑性：,突触传递信息的强度是可变的，即具有,学习功能,生物神经元的主要功能与特点 时空整合能力：对不同时间通过,人工神经元,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,14,1943,，神经生理学家,McCulloch,和数学家,Pitts,基于早期神经元学说,，归纳总结了生物神经元的基本特性，建立了具有逻辑演算功能的,神经元模型,以及这些人工神经元互联形成的,人工神经网络,，即所谓的,McCulloch-Pitts,模型，,MP,模型,。,MP,模型是世界上,第一个,神经计算模型，即,人工神经系统,。,人工神经元二、人工神经网络的拓扑结构及其学习规则2023/,令：,X,=(-1,x,1,x,2,x,n,),T,W,j,=(,j,w,j,1,w,j,2,w,jn,),T,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,15,典型人工神经元结构,：,作用函数：,求和操作：,图中表示,求和,，,j,为,阀值,x1,x2,，,xn,为,输入,，即其他,神经元的轴突输出；,n,为输入数目；,j1,，,j2,，,，,jn,为其他,n,个,神经元与神经元,j,的突触连接强度，,通常称为,权重,，,ji,可正可负，,表示为兴奋型突触和抑制型突；,f(.),通常为一非线性函数，称为神经的,激活函数,或,转移函数,；,sj,为神经元的求和输出，常称为神经元的激活水平，,yj,为输出。,令：X=(-1, x1 , x2 , xn )T二、人工,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,16,MP,模型,f,(,x,),是作用函数,(Activation Function),，也称,激发函数,。,MP,神经元模型中的作用函数为,单位阶跃函数,：,其表达式为：,可知当神经元,i,的输入信号,加权和,超过阈值,时，输出为,“,1,”,，即,“,兴奋,”,状态,；反之输出为,“,0,”,，是,“,抑制,”,状态,。,二、人工神经网络的拓扑结构及其学习规则2023/9/816,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,17,例,1,实现逻辑函数“与门”（,AND gate,）运算。,1 ,真，,0,假,二、人工神经网络的拓扑结构及其学习规则2023/9/817例,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,18,二、人工神经网络的拓扑结构及其学习规则2023/9/818,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,19,常见的神经元激发函数,MP,神经元模型是人工神经元模型的,基础,，也是神经网络理论的,基础,。在神经元模型中，作用函数除了单位阶跃函数之外，还有其它形式。,不同,的作用函数，可构成,不同,的,神经元模型,。,激发函数的基本作用,控制,输入对输出,的,激活,作用,对,输入、输出,进行函数,转换,将可能,无限域的,输入变换成指定的,有限范围,内的输出,二、人工神经网络的拓扑结构及其学习规则2023/9/819常,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,20,I,对称型,Sigmoid,函数,或,二、人工神经网络的拓扑结构及其学习规则2023/9/820I,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,21,II,非对称型,Sigmoid,函数,或,二、人工神经网络的拓扑结构及其学习规则2023/9/821I,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,22,III,对称型阶跃函数,采用阶跃作用函数的神经元，称为阈值逻辑单元。,二、人工神经网络的拓扑结构及其学习规则2023/9/822I,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,23,IV,线性函数,（,1,）线性作用函数：输出等于输入，即,（,2,）饱和线性作用函数,（,3,）对称饱和线性作用函数,二、人工神经网络的拓扑结构及其学习规则2023/9/823I,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,24,V,高斯函数,反映出高斯函数的宽度,二、人工神经网络的拓扑结构及其学习规则2023/9/824V,0,x,f,(,x,),0,x,f,(,x,),1,0,x,f,(,x,),1,-1,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,25,0xf (x)0xf (x)10xf (x)1-1二、人工神,高斯函数型,双曲正切型,Sigmoid,型,斜坡型,0,x,f,(,x,),1,-1,-a,a,0.5,1,f,(,x,),0,x,1,f,(,x,),0,x,-1,-5,0,5,0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1,1,x,0,c,f,(,x,),二、人工神经网络的拓扑结构及其学习规则,2024/9/1,26,高斯函数型 双曲正切型 Sigmoid型 斜坡型 0xf (,2.,人工神经网络的拓扑结构,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,27,众所周知，神经网络强大的计算功能是通过,神经元的互连,而达到的。根据神经元的,拓扑结构形式,不同，神经网络可分成以下,两,大类：,目前，神经网络模型的种类比较多，已有近,40,余种神经网络模型，其中典型的有,BP,网络,、,Hopfield,网络,、,CMAC,小脑模型,、,ART,自适应共振理论,和,Blotzman,机网络,等,2. 人工神经网络的拓扑结构二、人工神经网络的拓扑结构及其学,不含反馈的前向网络,2.,人工神经网络的拓扑结构,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,28,神经元,分层排列,，,顺序连接,。,由输入层施加输入信息，通,过,中间各层,，加权后传递到,输出层,后输出。每层的神经,元,只,接受,前一层,神经元的输,入，各神经元之间不存在反馈。,感知器,(Perceptron),、,BP,神经网络,和,径向基函数,(RBF-Redial Basis Function),神经网络都属于这种类型。,不含反馈的前向网络 2. 人工神经网络的拓扑结构二、人工神,反馈网络,全互连网络,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,29,在互连网络模型中，,任意两个神经元,之间都可能有,相互连接,的关系。其中，有的神经元之间是,双向的，有的是单向的,。,Hopfield,网络,、,Boltzman,机网络,属于这一类。,在,无反馈的前向网络,中，信号一旦通过某个神经元，过程就,结束,了。而在,互连网络,中，信号要在神经元之间,反复往返传递,，神经网络处在一种,不断改变状态,的,动态,之中。,从某个初始状态开始，经过若干次的变化，才会,到达某种平衡状态,，根据神经网络的结构和神经元的特性，还有可能进入,周期振荡,或其它如,浑沌,等,平衡状态,。,反馈网络 全互连网络二、人工神经网络的拓扑结构及其学习规则,状态反馈网络,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,30,在,前向神经网络,中有的,在同一层中的各神经元相互有连接,通过层内神经元的相互结合，可以实现,同一层内神经元之间的,横向抑制,或,兴奋,机制,，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。,(,层内有互联的前向神经网络,),状态反馈网络,状态反馈网络二、人工神经网络的拓扑结构及其学习规则2023/,输出反馈网络,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,31,输出反馈网络,在,层次网络结构,中，只在,输出层到输入层存在反馈,，即每一个输入节点都有可能接受来自,外部的输入,和来自,输出神经元的反馈,。这种模式可用来存储某种,模式序列,，如神经认知机即属于此类，也可以用于,动态时间序列,过程的神经网络建模。,(,有反馈的前向神经网络,),输出反馈网络 二、人工神经网络的拓扑结构及其学习规则2023,3.,人工神经网络的学习方式、规则及分类,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,32,神经网络的学习规则,相关规则, Hebb,学习规则（无指导学习）,纠错规则, Delta (),学习规则,（有指导学习）,竞争学习规则,（无指导学习）,随机学习规则,（有指导学习）,强化学些规则,（增强学习）,神经网络的学习方式,有监督（误差校正）学习方式,无监督学习方式,3. 人工神经网络的学习方式、规则及分类二、人工神经网络的拓,3.,人工神经网络的学习方式、规则及分类,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,33,人工神经网络,连接权值,的确定通常有,两种方法,根据具体要求，,直接计算,，如,Hopfield,网络作优化计算；,通过学习得到,的。大多数人工神经网络都采用这种方法。,学习,是改变各神经元,连接权值,的,有效方法,，也是体现人工神经网络,智能特性,最主要,的标志。离开了学习，神经网络就失去了诱人的自适应、自组织能力。,学习方法是人工神经网络研究中的核心问题,3. 人工神经网络的学习方式、规则及分类二、人工神经网络的拓,3.,人工神经网络的学习方式、规则及分类,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,34,有监督学习方式,特点：,不能保证得到全局最优解；,要求大量训练样本，收敛速度慢；,对样本地表示次序变化比较敏感；,神经网络根据,实际输出与期望输出,的偏差，按照,一定的准则,调整,各神经元连接的,权系数,，见下图。期望输出又称为,导师信号,，是评价学习的标准，故这种学习方式又称为有,导师学习,。,神经网络的学习方式,3. 人工神经网络的学习方式、规则及分类二、人工神经网络的拓,3.,人工神经网络的学习方式、规则及分类,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,35,无监督学习方式,神经网络的学习方式,无导师信号,提供给网络，神经网络,仅仅,根据其,输入调整连接权系数和阈值,，此时，网络的学习评价标准隐含于内部。其结构见下图。这种学习方式主要完成,聚类操作,。,3. 人工神经网络的学习方式、规则及分类二、人工神经网络的拓,ANN,的学习规则,相关规则,仅依赖于连接间的,激活水平,改变,权重,，常用于,自联想网络,，执行特殊记忆状态的死记式学习。如,Hebb,规则,3.,人工神经网络的学习规则及分类,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,36,ANN的学习规则 相关规则 仅依赖于连接间的激活水平改变,纠错规则,依赖输出节点的,外部反馈,修正,权重,，等效于梯度下降法。,如感知器学习规则：如果一节点的输出正确，权重,不变,；,如果输出本应为零而为,1,，减小权重；如果本应为,1,而为,0,，增加权重,；,规则,(,最小均方,LMS,算法、,Widrow-Haff,算法,),：,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,37,纠错规则 依赖输出节点的外部反馈修正权重，等效于梯,广义,规则,(BP,学习规则,),：,竞争学习规则,类似于,聚类分析,算法，学习表现为自适应于输入空间的事件分布，如,矢量量化,(,Learning Vector Quantization,简称,LVQ,),算法、,SOM,算法,、以及,ART,训练算法,都利用了竞争学习规则。,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,38,广义 规则(BP学习规则)： 竞争学习规则 类似,随机学习规则,利用,随机过程,、,概率统计,和,能量函数,的关系来调节,连接权,。如,模拟退火,（,Simulated,Annealing,）算法。,此外,基于生物进化规则的,基因遗传,（,Genetic Algorithm GA,）算法在某种程度上也可视为一类随机学习算法。,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,39,随机学习规则 利用随机过程、概率统计和能量函数的关系,强化学习规则,通过网络输出的,正误,修正,权重,，又称有,评判的学习,，强化信号仅仅说明输出正确与否。包括,非联想的增强,学习、,联想增强,、,自适应评判学习,等。,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,40,强化学习规则 通过网络输出的正误修正权重，又称有评,三类学习规则：,有指导学习,不仅需要学习用的,输入事例,（也称,训练样本,，通常为一矢量），同时还要求与之对应的表示所需,期望输出,的,目标矢量,。学习时，根据网络实际输出与目标输出间的,误差改变权重,。如,纠错规则,、,随机学习规则,。,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,41,三类学习规则： 有指导学习 不仅需要学习用的输入事例（,无指导学习,不需要目标矢量,，网络通过,自身,的,“,经历,”,来学会某种功能，学习在于调整,权重,以反映学习样本的分布。整个训练过程实质是,抽取训练样本集的统计特性,。如,竞争学习规则,。,增强学习,不需要,目标矢量，,但,要求提供外部的,增强信号,。,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,42,无指导学习 不需要目标矢量，网络通过自身的“经历”来学,ANN,的分类,按性能,连续,型或,离散,型网络,确定,性或,随机,性网络,按结构,前向,或,反馈,网络,按学习方式,有指导,（教师）、,无指导,或,强化学习,网络,二、人工神经网络的拓扑结构及其学习规则,2024/9/1,43,ANN的分类 按性能二、人工神经网络的拓扑结构及其学习规则,1.,感知器（,Perceptron,）,其中：,X,=(,x,0,x,1,x,2, ,x,N,),T,，,x,0,=-1,W,k,=(,w,k,0,w,k,1, ,w,kN,),T,w,k,0,=,k,为神经元,k,的阈值,三、 多层前向神经网络模型及,BP,算法,2024/9/1,44,1. 感知器（Perceptron） 其中：三、 多层前向神,令,Y,=(,y,1,y,2, ,y,M,),T,，,F,(,)=(,f,1,(,),f,2,(,), ,f,M,(,),T,则：,Y,=,F,(,W,X,),三、 多层前向神经网络模型及,BP,算法,2024/9/1,45,令Y=(y1, y2, , yM)T，F()=(f1(,三、 多层前向神经网络模型及,BP,算法,2024/9/1,46,三、 多层前向神经网络模型及BP算法2023/9/846,多层感知器：,其中：,三、 多层前向神经网络模型及,BP,算法,2024/9/1,47,多层感知器：其中：三、 多层前向神经网络模型及BP算法202,H,表示第,层的隐节点数。,H,0=,N,三、 多层前向神经网络模型及,BP,算法,2024/9/1,48,H表示第层的隐节点数。H0=N 三、 多层前向神经网络模,感知器特点,：,网络,输出,仅与,输入,及,网络权矩阵,有关，输出为输,入的,显式表达,，由输入计算得到输出,;,多层网络所有神经元的,激活函数,不能,全部为,线性,函数，否则，多层网络,等效于,单层网络。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,49,感知器特点：三、 多层前向神经网络模型及BP算法2023/9,感知器,性能分析,：,单层感知器的分类特性,输入矢量为,两个分量,(,N,=2),时，在几何上构成平面上的,两维集,，此时,判决边界,为,直线,：,w,k,1,x,1,+,w,k,2,x,2,-,k,=0,三、 多层前向神经网络模型及,BP,算法,2024/9/1,50,感知器性能分析：输入矢量为两个分量(N =2)时，在几何上构,N,=3,时，三维数据集，,判决边界,为一,平面,N,3,时，高维数据集，,判决边界,为一,超平面,三、 多层前向神经网络模型及,BP,算法,2024/9/1,51,N=3时，三维数据集，判决边界为一平面 三、 多层前向神经网,单层感知器表示能力,三、 多层前向神经网络模型及,BP,算法,2024/9/1,52,单层感知器表示能力三、 多层前向神经网络模型及BP算法20,矛盾,三、 多层前向神经网络模型及,BP,算法,2024/9/1,53,矛盾三、 多层前向神经网络模型及BP算法2023/9/853,单层感知器的单一超平面,判决边界,决定了其只适用于,线性可分,问题。,高维时，,线性可分性,通常,无法判别,，因此，单层感知器通常用于,简单的分类问题,。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,54,单层感知器的单一超平面判决边界决定了其只适用于线性可分问题。,多层感知器的分类特性,三、 多层前向神经网络模型及,BP,算法,2024/9/1,55,多层感知器的分类特性三、 多层前向神经网络模型及BP算法2,三、 多层前向神经网络模型及,BP,算法,2024/9/1,56,三、 多层前向神经网络模型及BP算法2023/9/856,三、 多层前向神经网络模型及,BP,算法,2024/9/1,57,上表给出了利用,硬限幅非线性,函数,(,阶跃函数、符号函数,),的,一层,、,二层,及,三层,网络的类区分功能，,阴影,部分表示类,A,的判定区。,从表中可以看出：,(1),无隐层,网络,仅能,形成,半平面,决策区域；,(2),单隐层,网络,可以,形成,开或闭,的凸决策区域；,(3),两个隐层,的网络形成,任意复杂,形状的决策区域。,因此，一般在应用中，网络,不需要超过两个隐层,。,三、 多层前向神经网络模型及BP算法2023/9/857 上,感知器学习算法,：,Hebb,规则算法,适用于,符号单元,：,适用于符号或,阈值单元,：,（,0,，,1,）称为,学习系数,（率），用于控制权重修正速度。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,58,感知器学习算法：适用于符号单元： 适用于符号或阈值单元： 三,Hebb,规则算法步骤：,三、 多层前向神经网络模型及,BP,算法,2024/9/1,59,Hebb规则算法步骤： 三、 多层前向神经网络模型及BP算法,三、 多层前向神经网络模型及,BP,算法,2024/9/1,60,三、 多层前向神经网络模型及BP算法2023/9/860,三、 多层前向神经网络模型及,BP,算法,2024/9/1,61,三、 多层前向神经网络模型及BP算法2023/9/861,Hebb,规则,de,缺陷：,本质上,不可能,对,隐层单元权重,进行调节，因为隐单元的,期望输出,未知,，因而不能应用于多层网络的学习；,对,非线性可分,问题，算法不收敛。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,62,Hebb规则de缺陷： 三、 多层前向神经网络模型及BP算法,规则算法,考虑,线性,激活函数,情形。定义输出误差测度函数（目标函数、耗费函数）为,学习的,目的,是通过,调节权重,W,使得上述,误差函数,越小越好,。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,63,规则算法 考虑线性激活函数情形。定义输出误差测度函数（目,根据,梯度算法，,权重,W,的,修正量,W,正比于,当前,W,上,E,的,梯度,：,即：,其中,k,为输出节点,k,的误差。,显然，上式与基于,Hebb,规则得到的权重修正,公式相同,。但是两者的原理是不同的，,前者,基于,误差梯度,，,要求激活函数可微,，能够应用于多层感知器情形。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,64,根据梯度算法，权重W的修正量W正比于当前W上 E 的梯度：,上面,权重修正公式,也可表示为,矩阵形式,：,非线性,激活函数,时：,此时，,三、 多层前向神经网络模型及,BP,算法,2024/9/1,65,线,性,激活函数,上面权重修正公式也可表示为矩阵形式： 非线性激活函数时： 此,写成矩阵形式有：,一般的,连续可微激活函数,有,Sigmoid,函数和双曲正切函数，即：,三、 多层前向神经网络模型及,BP,算法,2024/9/1,66,写成矩阵形式有： 一般的连续可微激活函数有Sigmoid函数,梯度算法,(,规则算法,),的步骤与前面,Hebb,训练算法,步骤类似，仅仅是,误差表达式不同,。,算法特点：,要求神经元激活函数,可微,，易于推广到,非,线性,激活单元,算法过程原理上,永不停止,并逐渐接近,最,优解,，即,k,不等于,0,。,当误差函数存在多个,局部极小点,时，一般,而言，梯度算法,得不到,全局最小解,。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,67,梯度算法(规则算法)的步骤与前面Hebb训练算法步骤类似，,2. BP,网络模型,(Back Propagation),三、 多层前向神经网络模型及,BP,算法,2024/9/1,68,2. BP网络模型(Back Propagation) 三、,一个具有,任意,的,压缩,(,Squashing,),型激活函数,（如,Sigmoid,函数、双曲正切函数等）的,单,隐层前向网络,，只要有,充分多的隐层单元,，就能够以任意的精度逼近任意一个有限维的,波莱尔可测函数,(,Borel measurable function,),，从,而表明,BP,网络是一个,通用的函数逼近器,。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,69,一个具有任意的压缩(Squashing)型激活函数（如Sig,考虑,单样本,学习的,BP,算法，定义网络的,目标函数,为：,对,单隐层,网络，,3. BP,算法,(,误差反向传播,:Back Propagation),三、 多层前向神经网络模型及,BP,算法,2024/9/1,70,对单隐层网络， 3. BP算法(误差反向传播:Back Pr,对于,隐层至输出层,权重,W,2,：,对于,输入层至隐层,权重,W,1,：,三、 多层前向神经网络模型及,BP,算法,2024/9/1,71,对于隐层至输出层权重W2： 对于输入层至隐层权重W1： 三、,三、 多层前向神经网络模型及,BP,算法,2024/9/1,72,三、 多层前向神经网络模型及BP算法2023/9/872,一般，对于,多于一个隐层,的,BP,网络，,最后一隐层与输出层,之间的,权重修正公式,仍与上面第一个公式相同，其它层间权重修正公式可统一表示为：,上式中：,三、 多层前向神经网络模型及,BP,算法,2024/9/1,73,一般，对于多于一个隐层的 BP 网络，最后一隐层与输出层之间,BP,算法特点,将神经网络学习,输入输出,的,映射问题,转变,为,非线性优化问题,，使用最优化中的,梯度下降,算法,，用迭代运算修正网络权重，实现,网络,输出与期望输出间,的,均方误差,最小化。,算法由,前向计算,过程和,误差反向传播,过程组,成。在,前向计算过程,中，每一层神经元的状,态,只影响,下一层神经元的状态。若输出层得,不到期望的输出，则,转向反向传播,，将误差,信号延原来的连接通路返回，通过,修改,各层,的权重，使得误差信号最小。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,74,BP算法特点 将神经网络学习输入输出的映射问题转变为三、,权重修正量,只与该权重联接的两个相关量,（,前一节点的输出； 后一节点的误差,） 有,关，使得,BP,算法易于并行实现。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,75,权重修正量只与该权重联接的两个相关量三、 多层前向神经网络,BP,网络的应用中的几个实际问题,样本集的产生,包括原始数据的,收集,、数据,分析,、,变量选择,以及数据的,预处理,等。,确定模式变量（特征）,通过对原始数据的,统计分析,，检验输入间的,相关性,。对于具有,很强相关性,的输入仅取其中,之一,即可。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,76,BP网络的应用中的几个实际问题 样本集的产生三、 多层前向,输入尺度变换（归一化）和预处理,尺度变换常常将输入变换到,-1,，,1,或,0,，,1,的范围。,一方面,，避免由于输入变量数值,相差过大,，导致训练的困难。,另一方面,，避,Sigmoid,函数,陷入饱和,。,在进行尺度变换前必须先检查,是否存在异常点,（或称野点），这些点必须剔除。,对数据的预处理包括检验其,是否,存在,周期性,、,固定变化趋势,或,其它关系,等。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,77,输入尺度变换（归一化）和预处理 三、 多层前向神经,样本数量,一般说来,数据,越多,，学习和训练的结果,越能正确,反映输入输出关系。但太多的数据将,增加,收集,、,分析数据,以及,网络训练,所,付出的代价,，而,太少,的数据则可能,得不到正确,的结果。,事实上数据的,多少取决于许多因素,，如网络的,大小,、网络测试的需要以及输入输出的,分布,等。其中,网络大小最关键,。通常,较大,的网络需要,较多,的训练数据。一个经验规则是：,训练模式应是连接权总数的,5,至,10,倍。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,78,样本数量 三、 多层前向神经网络模型及BP算法2023/9,影响数据多少的另一个因素是,输入模式和输出结果的分布,，对数据,预先,加以,分类,可以,减少,所需的数据数。相反，数据,稀薄不均,甚至互相覆盖则,势必,要,增加数据量,。,测试样本,测试数据应是,独立的,数据集合。最简单的方法是：将收集到的可用数据,随机地,分成,两部分,，如其中,三分之二,用于,网络的训练,，另外,三分之一,用于,将来的测试,，,随机选取的目的,是为了尽量减小这两部分数据的,相关性,。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,79,影响数据多少的另一个因素是输入模式和输出结果的分布，对数据预,训练样本的完备性要求,训练样本,必须覆盖,所有可能的,输入和输出,的映射区域，即要求训练样本集,必须是完备的,，否则，当,BP,网络进行决策时，对,没有学习过,的样本区域可能会给出,完全错误,的结果。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,80,训练样本的完备性要求 三、 多层前向神经网络模型及BP算,作为分类器时的输出表示,每个,输出节点,对应,一种,类别；,通过,编码,（二进制）,表示,不同的类别,；,训练和测试,BP,网络解决问题的能力,与训练次数,不,成正比,。网络训练的,目的,在于找出蕴含在样本数据中的,输入和输出,间的,本质联系,，从而对,未经训练,的输入也能给出合适的输出，即,具备泛化功能,。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,81,作为分类器时的输出表示 训练和测试 三、 多层前向神经网,均,方,误,差,训练次数,训练数据,测试数据,误差曲线的典型形状如上图，从,误差曲线,可见，,测试数据均方误差并非单调减小,，测试误差,最小点,所对应的训练次数即为,适当的训练次数,，若再训练即为,“,过度训练,”,（过拟合）。,三、 多层前向神经网络模型及,BP,算法,2024/9/1,82,均训练次数训练数据测试数据 误差曲线的典型形状如上图，从,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,83,1.,网络的,权重,具有,关联性,、网络本身的,非线性,特性，使得应用者,很难理解,每个,权重,的意义，并追踪检查基决策过程。,这种,无解释,的,推理结果,往往,难以,让用户接受，并且缺少说服力。,2.,若,训练样本,和,测试样本,两者都,不能,充分反映,实际系统,的行为，网络的,可靠性,仍然得不到保证；,3.,对于一个,实际系统,，尤其是一个,复杂系统,，由于无法判断所给定的,样本,是否,真正反映了系统,具有代表性的行为,，因此，也给,BP,网络的,实际应用带来了限制,。,BP,网络存在的问题：,0,引言,四、径向基函数(RBF)网络及其学习算法2023/9/883,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,84,正因为,BP,网络,存在如上所述的,诸多问题,，为此许多研究者寻求了各种,替代方案,，其中,最有效的解决方案,之一,就是,径向基函数网络,(Radial Basis Function, RBF),。,RBF,网络起源于数值分析中的,多变量插值,的径向基函数方法。,RBF,网络能力与性质：,同,BP,网络一样,具有,任意精度,的泛函逼近能力；,具有,传统,BP,网络所不具备,的,最佳逼近特性,，即它存在一个,权重集合,，其逼近效果在,所有可能,的权重集合中是,最佳的,。（学者季洛立,Girori,和朴基奥,Poggio,已证明）,四、径向基函数(RBF)网络及其学习算法2023/9/884,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,85,1 RBF,网络结构特性,RBF,网络结构如图所示，,RBF,网络通常是一种,两层,的,前向网络,，由图可见，,RBF,网络的结构与,BP,网络结构,十分相似,，但有着本质的,区别,：,（,1,）,RBF,网络隐单元的,激活函数,为,具有局部接受域性质,的,非线性函数,，,即,仅当,隐单元的输入落在输入空间中一个,很小的制定区域,中时，才会做出有意义的,非零响应,。而不是如同,BP,网络的激活函数一样在输入空间的,无限大区域内非零,。,四、径向基函数(RBF)网络及其学习算法2023/9/885,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,86,（,2,）在,RBF,网络中，,输入层至隐层,之间的,所有权重,固定为,1,，隐层,RBF,单元的,中心,及,半径,通常也,预先确定,，仅,隐层至输出层,之间的,权重可调,。,RBF,网络的隐层执行一种,固定不变,的,非线性变换,，将,输入空间,R,n,映射,到,新,的,隐层空间,R,h,，输出层在该,新的空间,中实现,线性组合,。显然由于输出单元的,线性特性,，其参数调节,极为简单,，且,不存在,局部极小,问题；,（,3,）,RBF,网络的,局部接受特性,使得其决策时隐含了,距离的概念,，,即,只有当输入,接近,RBF,网络的,接受域,时，网络才会对之,做出响应,。这就避免了,BP,网络,超平面分割,所带来的,任意划分,特性。,四、径向基函数(RBF)网络及其学习算法2023/9/886,前向网络,隐单元的,激活函数,通常为具有,局部接受域,的函数，,即,仅当,输入,落在输入空间中一个,很小的指定区域,中时，隐单元才作出有意义的,非零响应,。因此，,RBF,网络有时也称为,局部接受域网络,(Localized Receptive Field Network),。,RBF,网络,最常用,的,非线性激活函数,为,高斯函数,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,87,结构特性,前向网络四、径向基函数(RBF)网络及其学习算法2023/,高斯激活函数,式中，,j,为隐层第,j,个单元的,输出,；,X,=(x1,x2,xn),T,; |,|,表示矢量范数（距离），通常取为,欧氏范数,，即：,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,88,c,j,通常称为隐层单元的,中心,（第,j,个高斯单元的中心）， 也可视为隐单元的权向量。,j,为规一化参数，用于控制接受域的大小，称为,半径,。,高斯激活函数 式中， j为隐层第j个单元的输出；X=(,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,89,由上式可知：,当,X,=,c,j,时，,j,取得,最大值,1,；而当,X,远离,c,j,时，,j,取值逐渐,减少,，直至最后趋于,0,。,以一维情形为例，当,X,落在区间,c,j,-3,j,c,j,+3,j,之外,时，,j,近似为,0,，,即,其,接受域,为区间,c,j,-3,j,c,j,+3,j,。,四、径向基函数(RBF)网络及其学习算法2023/9/889,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,90,如图所示，为,=0.8,，,c,=5,5,T,二维情形。,四、径向基函数(RBF)网络及其学习算法2023/9/890,显然，,当,x,=,c,j,时,，,j,(,x,),取得最大值,1,，,当,x,远离,c,j,时,，,j,(,x,),逐渐减小趋近于零。其接受域的大小近似为,c,-3,j,c,+3,j,，即,j,决定了接受域的大小。此外，,j,(,x,),关于,中心径向对称,。,RBF,网络的局部接受特性使得其决策时,隐含了距离的概念,，,即,只有当,输入,接近,RBF,网络的,接受域,时，网络才会对之作出,响应,。这就,避免,了,BP,网络超平面分割,所带来的任意划分特性。,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,91,显然，当x=cj时，j(x)取得最大值1，当x远离cj时，,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,92,常用的其他类型,RBF,激活函数还有：,薄板样条函数：,多二次函数（,multiquadric function,）：,逆多二次函数（,inverse multiquadric function,）：,一般认为，,RBF,网络所采用的,非线性激活函数,形式,对网络性能的影响,并非至关重要,，,而,关键因素,是基函数,中心,的选取。,四、径向基函数(RBF)网络及其学习算法2023/9/892,在,RBF,网络中，输入层至输出层之间的所,有,权重固定为,1,，隐层,RBF,单元的,中心及半,径,通常也,预先确定,，,仅,隐层至输出层之间,的,权重可调,。,RBF,网络的隐层执行一种,固,定不变,的,非线性变换,，将,输入,空间,R,n,映射,到一个,新的,隐层空间,R,h,，,输出,层在该新的空,间中实现,线性组合,。显然由于输出单元的,线,性特性,，其参数调节,极为简单,，且,不存在,局,部极小问题,。,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,93,在RBF 网络中，输入层至输出层之间的所四、径向基函数(R,RBF,网络的数学模型,2.RBF,网络模型,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,94,写成矩阵形式：,式中，,X,=,（,x1,x2,xn,）,T,为,输入矢量,；,Y,=,（,y1, y2,ym,）,T,为,输出矢量,；,W,=,（,W,1,W,2,W,m,),T,为,隐层至输出层矩阵,W,k,为输出层第,k,个单元的,权矢量,；,=,（,1,(,X,),2,(,X,）,n,(,X,),）,T,为,隐层输出矢量,。,RBF网络的数学模型 2.RBF网络模型四、径向基函数(,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,95,规一化,规一化的,RBF,网络,除,上述,RBF,网络结构模型外，在实际应用中还经常采用,归一化,的网络结构，如图所示：,归一化表达式：,四、径向基函数(RBF)网络及其学习算法2023/9/895,RBF,网络的性能,RBF,网络与,BP,网络一样是一类,通用的函数逼近器,；,尽管,RBF,的,激活函数,可以,多,种,多,样，但可以证明，当应用指数函数作非线性项时，,RBF,网络拥有,“,最佳逼近,”,特性，,即,存在一个权重集合，其逼近效果在所有可能的权集合中是,最佳的,。这种,最佳逼近特性,，,传统的,BP,网络,是,不具备,的。,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,96,RBF网络的性能 RBF网络与BP网络一样是一类通用的函,RBF,网络的,K,均值聚类,学习算法,RBF,网络依然是典型的,有指导学习,网络，其学习包括,两个步骤,：,1),确定,每一个,RBF,单元的,中心,c,j,和,半径,j,；,2),调节,权矩阵,W,。,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,97,3.RBF,网络学习算法,RBF网络的K均值聚类学习算法 RBF网络依然是典型的有,问题：,在多变量插值的,RBF,方法中，中心,C,j,一般定位在,所有,输入的矢量点,，这样有,多少,输入数据,就有,多少,隐,RBF,单元,，,然而,，由于数据的,类聚性,，导致许多,RBF,单元中心,相距,很近,，,出现,许多,冗余单元,，造成了,“,过度拟合,”,，减低了网络的推广能力。,四、径向基函数,(RBF),网络及其学习算法,2024/9/1,98,中心,c,j,的确定,方法：,目前通常先采用,聚类分析技术,，对输入数据进行,预处理,，,找出,有,代表性的数据点,（不一定位于原始数据点）,作为,RBF,单元的中心,，从而,减少,隐,RBF,单元的,数目，,减低,网络的复杂性。,问题：在多变量插值的R