第5章-神经网络课件

第五章 神经网络 5.1神经网络概述 5.2单层前向网络及LMS算法 5.3前向神经网络 5.4反馈神经网络 5.5自组织神经网络 5.6神经网络MATLAB实现7/12/20241上海工程技术大学机械工程学院n定义n特征和功能n发展概况n人工神经网络模型n神经网络的分类和学习规则n神经网络应用5.1 神经网络概述7/12/20242上海工程技术大学机械工程学院一、神经网络定义 人人工工神神经经网网络络是是一一个个由由许许多多简简单单的的并并行行工工作作的的处处理理单单元元组组成成的的系系统统，其其功功能能取取决决于于网网络络的的结结构构、连接强度以及各单元的处理方式。连接强度以及各单元的处理方式。人人工工神神经经网网络络是是一一种种旨旨在在模模仿仿人人脑脑结结构构及及其其功功能能的信息处理系统的信息处理系统。神神经经网网络络是是由由多多个个非非常常简简单单的的处处理理单单元元彼彼此此按按某某种种方方式式相相互互连连接接而而形形成成的的计计算算系系统统，该该系系统统是是靠靠其状态对外部输入信息的动态响应来处理信息的。其状态对外部输入信息的动态响应来处理信息的。7/12/20243上海工程技术大学机械工程学院二、神经网络特征和功能1、特征结构特征：并行、分布、容错能力特征：自学习、自组织、自适应2、功能5.1 神经网络概述7/12/20244上海工程技术大学机械工程学院联想记忆功能联想记忆功能非线性映射功能非线性映射功能5.1 神经网络概述7/12/20245上海工程技术大学机械工程学院分类与识别功能分类与识别功能优化计算功能优化计算功能5.1 神经网络概述7/12/20246上海工程技术大学机械工程学院知识处理功能知识处理功能5.1 神经网络概述7/12/20247上海工程技术大学机械工程学院三、神经网络发展历史1、1943-1969年初创期：形式神经元模型(简称MP模型)的问世(由McCulloch和Pitts提出)；神经元学习规则的提出(由心理学家Hebb提出)；以及感知器模型和联想记忆模型的建立。2、1970-1986年过渡期：一度陷入低潮。但是这项研究并未中断。其中芬兰的Kohonen提出了线性神经网络模型和自组织映射理论；福岛提出了自组织识别神经网络模型；美国的Grossberg也提出了几个非线性动力系统结构。影响力较大的属Rumelhart提出的误差反向传播神经网络(error back propagation)，简称BP网络3、1987年至今发展期。在该阶段，国内外的许多组织及研究机构发起了对神经网络的广泛探讨，并举行了有代表意义的学术会议。这些都意味着神经网络的研究已在世界范围形成了又一个高潮。5.1 神经网络概述7/12/20248上海工程技术大学机械工程学院 人人类类大大脑脑大大约约包包含含有有1.4 1011个个神神经经元元，每每个个神神经经元元与与大大约约10103 310105 5个个其其它它神神经经元元相相连连接接，构构成成一一个个极极为为庞庞大大而而复复杂杂的的网网络络，即生物神经网络。即生物神经网络。神神经经生生理理学学和和神神经经解解剖剖学学的的研研究究结结果果表表明明，神神经经元元(Neuron)是是脑脑组组织织的的基基本本单单元元，是人脑信息处理系统的最小单元。是人脑信息处理系统的最小单元。四、人工神经网络四、人工神经网络1、生物神经元、生物神经元5.1 神经网络概述9（1 1）生物神经元的结构）生物神经元的结构生物神经元在结构上由生物神经元在结构上由 细胞体细胞体(Cell body)树突树突(Dendrite)轴突轴突(Axon)突触突触(Synapse)四部分组成。用来完成神经元间信息的接收、四部分组成。用来完成神经元间信息的接收、传递和处理。传递和处理。5.1 神经网络概述7/12/202410上海工程技术大学机械工程学院5.1 神经网络概述7/12/202411上海工程技术大学机械工程学院5.1 神经网络概述7/12/202412上海工程技术大学机械工程学院（2 2）、）、生物神经元的信息处理机理生物神经元的信息处理机理1 1）、信息的产生）、信息的产生 神神经经元元间间信信息息的的产产生生、传传递递和和处处理理是是一种电化学活动。一种电化学活动。神经元状态：神经元状态：静息静息兴奋兴奋抑制抑制 膜电位：膜电位：极极 化化去极化去极化超极化超极化5.1 神经网络概述7/12/202413上海工程技术大学机械工程学院5.1 神经网络概述7/12/202414上海工程技术大学机械工程学院2 2）、信息的传递和接收）、信息的传递和接收5.1 神经网络概述7/12/202415上海工程技术大学机械工程学院3）、信息的整合）、信息的整合空间整合：空间整合：同一时刻产生的刺激所引起的同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。膜电位变化的代数和。时间整合：时间整合：各各输入脉冲输入脉冲抵达神经元的时间抵达神经元的时间先后不一样。先后不一样。总的突触后膜电位为一段时总的突触后膜电位为一段时间内的累积。间内的累积。5.1 神经网络概述7/12/202416上海工程技术大学机械工程学院2、生物神经网络、生物神经网络 由多个生物神经元以确定方式和拓扑结构由多个生物神经元以确定方式和拓扑结构 相互连接即形成生物神经网络。相互连接即形成生物神经网络。生物神经网络的功能不是单个神经元信息生物神经网络的功能不是单个神经元信息 处理功能的简单叠加。处理功能的简单叠加。神经元之间的突触连接方式和连接强度不神经元之间的突触连接方式和连接强度不 同并且具有可塑性，这使神经网络在宏观同并且具有可塑性，这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。呈现出千变万化的复杂的信息处理能力。5.1 神经网络概述7/12/202417上海工程技术大学机械工程学院3、人工神、人工神经元模型经元模型 神神神神经经经经元元元元及及及及其其其其突突突突触触触触是是是是神神神神经经经经网网网网络络络络的的的的基基基基本本本本器器器器件件件件。因因因因此此此此，模模模模拟拟拟拟生生生生物物物物神神神神经经经经网网网网络络络络应应应应首首首首先先先先模模模模拟拟拟拟生生生生物物物物神神神神经经经经元元元元。在在在在人人人人工工工工神神神神经经经经网网网网络络络络中中中中，神神神神经经经经元元元元常常常常被被被被称称称称为为为为“处处处处理理理理单单单单元元元元”。有有有有时时时时从从从从网网网网络络络络的的的的观观观观点点点点出出出出发发发发常常常常把把把把它它它它称称称称为为为为“节节节节点点点点”。人人人人工工工工神神神神经经经经元元元元是是是是对对对对生生生生物物物物神神神神经经经经元元元元的的的的一一一一种种种种形式化描述。形式化描述。形式化描述。形式化描述。5.1 神经网络概述7/12/202418上海工程技术大学机械工程学院神经元模型示意图神经元模型示意图5.1 神经网络概述7/12/202419上海工程技术大学机械工程学院j 神经元神经元j的阈值；的阈值；wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值；f()神经元转移函数。神经元转移函数。5.1 神经网络概述7/12/202420上海工程技术大学机械工程学院(1)阈值型转移函数阈值型转移函数 1 x0f(x)=(3-7)0 x05.1 神经网络概述7/12/202421上海工程技术大学机械工程学院(2)非线性转移函数非线性转移函数5.1 神经网络概述7/12/202422上海工程技术大学机械工程学院(3)分段线性转移函数分段线性转移函数 0 x0f(x)=cx 0 0 xxc 1 xc x 5.1 神经网络概述7/12/202423上海工程技术大学机械工程学院4、人工神经网络5.1 神经网络概述7/12/202424上海工程技术大学机械工程学院五、神经网络分类及学习方法 1、神经网络分类1）从网络性能角度：连续型和离散型，确定性和随机网络2）从网络结构角度：前向网络和反馈网络3）从学习方式角度：有导师学习和无导师学习网络4）从连接突触性质：一阶线性关联网络和高阶非线性网络5.1 神经网络概述7/12/202425上海工程技术大学机械工程学院从网络结构和学习算法相结合，分成几类：（1）单层前向网络：拥有的计算节点（神经元）是单层的。（2）多层前向网络：具有分层的结构，通常包括输入层、隐层（也称中间层）和输出层。每一层的神经元只接受上一层神经元的输入，并且该层神经元的输出送给下一层的各个神经元。（3）反馈网络：网络中至少含有一个反馈回路的网络。在反馈网络中，任意一个节点既可接收来自前一层各节点的输入，同时也可接收来自后面任一节点的反馈输入。Hopfield神经网络是反馈型网络的代表（4）随机神经网络：神经元按照概率的原理进行工作，每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入，Boltzmann机就是典型的随机网络。（5）竞争网络：输出神经元相互竞争以确定胜者，胜者指出哪一种原型模式最能代表输入模式，Hamming网络。5.1 神经网络概述7/12/202426上海工程技术大学机械工程学院2、神经网络学习方法可分为有导师学习和无导师学习（1）有导师学习（监督学习）。学习时需要给出导师信号或称期望输出。神经网络对外部环境是未知的，将导师看作对外部环境的了解，由输入-输出样本集合表示。导师信号代表了神经网络执行情况的最佳结果，使网络输出逼近导师信号。（2）无导师学习，包括强化学习和无监督学习（自组织学习）。在强化学习中，对输入输出映射的学习是通过和外界环境的连续作用最小化性能的标量索引而完成的。在无监督学习中没有外部导师或评价来统观学习过程，而是提供一个关于网络学习表示方法质量的测量尺度，根据该尺度将网络的参数最优化。5.1 神经网络概述7/12/202427上海工程技术大学机械工程学院5种基本的神经网络学习规则（1）Hebb学习：为纪念神经心理学家Hebb而命名。用于调整神经网络的突触权值，概括为：1）如果一个突触连接两边的两个神经元被同时（同步）激活，则该突触的能量就被选择性的增加2）如果一个突触连接两边的两个神经元被异步激活，则该突触的能量就被选择性的消弱或消除。（2）纠错学习：实际输出和期望输出之间存在误差，通过调整突触权值，使误差信号减少，设定代价函数为1/2平方和形式，通过反复调整权值是代价函数达到最小或系统达到一个稳定状态。5.1 神经网络概述7/12/202428上海工程技术大学机械工程学院（3）基于记忆的学习：主要用于模式分类，将过去的学习结果存储在一个大的存储器中，当输入一个新的测试向量是，学习过程就是将测试向量归到已存储的某个类中。（4）随机学习算法：又称Boltzmann学习规则，该方法由统计力学思想而来，在Boltzmann学习规则基础上设计出的神经网络称为Boltzmann机，其学习算法就是著名的模拟退火算法。（5）竞争学习：神经网络的输出神经元之间相互竞争，在任一时间只能有一个输出神经元是活性的。5.1 神经网络概述7/12/202429上海工程技术大学机械工程学院六、神经网络应用1、宇宙飞船。高性能飞行器自动驾驶2、汽车行业。自动驾驶系统3、国防领域。武器操控、目标跟踪、物体识别、雷达信号处理4、电子领域。集成电路芯片设计、过程控制、机器视觉5、医药领域。6、制造领域。5.1 神经网络概述7/12/202430上海工程技术大学机械工程学院5.2 单层前向网络及LMS算法一、单层感知器7/12/202431上海工程技术大学机械工程学院5.2 单层前向网络及LMS算法7/12/202432上海工程技术大学机械工程学院二、单层感知器的学习算法 单层感知器对权值向量的学习算法是基于迭代思想，常采用纠错学习规则的学习算法。5.2 单层前向网络及LMS算法7/12/202433上海工程技术大学机械工程学院5.2 单层前向网络及LMS算法7/12/202434上海工程技术大学机械工程学院5.2 单层前向网络及LMS算法7/12/202435上海工程技术大学机械工程学院5.2 单层前向网络及LMS算法三、三、LMS算法7/12/202436上海工程技术大学机械工程学院5.2 单层前向网络及LMS算法7/12/202437上海工程技术大学机械工程学院5.2 单层前向网络及LMS算法7/12/202438上海工程技术大学机械工程学院5.2 单层前向网络及LMS算法7/12/202439上海工程技术大学机械工程学院5.3 前向神经网络 由输入层、隐含层（一层或多层）和输出层构成的网络称为多层前向神经网络。两种常见的多层前向网络：多层感知器和径向基函数神经网络。一、多层感知器一、多层感知器7/12/202440上海工程技术大学机械工程学院和单层感知器相比，4个明显特点5.3 前向神经网络7/12/202441上海工程技术大学机械工程学院二、BP算法BP网络学习过程分成两部分：（1）工作信号正向传播：输入信号从输入层经隐层，传向输出层，在输出端产生输出信号，这是信号的正向传播。在信号向前传递过程中网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。（2）误差信号反向传播：网络的实际输出与期望输出之间差值即为误差信号，误差信号由输出端开始逐层向前传播，这是误差信号的反向传播。在误差信号反向传播的过程中，网络权值由误差反馈进行调节，通过权值的不断修正使网络的实际输出更接近期望输出。5.3 前向神经网络7/12/202442上海工程技术大学机械工程学院5.3 前向神经网络7/12/202443上海工程技术大学机械工程学院5.3 前向神经网络7/12/202444上海工程技术大学机械工程学院5.3 前向神经网络7/12/202445上海工程技术大学机械工程学院5.3 前向神经网络7/12/202446上海工程技术大学机械工程学院5.3 前向神经网络7/12/202447上海工程技术大学机械工程学院5.3 前向神经网络7/12/202448上海工程技术大学机械工程学院5.3 前向神经网络7/12/202449上海工程技术大学机械工程学院5.3 前向神经网络7/12/202450上海工程技术大学机械工程学院5.3 前向神经网络7/12/202451上海工程技术大学机械工程学院5.3 前向神经网络7/12/202452上海工程技术大学机械工程学院5.3 前向神经网络7/12/202453上海工程技术大学机械工程学院BP学习算法步骤第1步、设置变量和参量5.3 前向神经网络7/12/202454上海工程技术大学机械工程学院5.3 前向神经网络7/12/202455上海工程技术大学机械工程学院第2步第3步第4步第5步 5.3 前向神经网络7/12/202456上海工程技术大学机械工程学院第6步5.3 前向神经网络7/12/202457上海工程技术大学机械工程学院第7步第8步 判断是否学完所有的训练样本，是则结束，否则转至第3步5.3 前向神经网络7/12/202458上海工程技术大学机械工程学院5.3 前向神经网络3、BP算法的改进（1）变步长算法 在BP算法中步长（学习率）是不变的，可是从BP网络的误差曲面看出，有平坦区存在，如果在平坦区上 太小使得迭代次数增加，而当W落在误差剧烈变化的地方，步长太大又使误差增加，反而使迭代次数增加影响了学习收敛的速度，变步长方法可以使步长得到合理的调节 7/12/202459上海工程技术大学机械工程学院5.3 前向神经网络7/12/202460上海工程技术大学机械工程学院5.3 前向神经网络（2）加动量项7/12/202461上海工程技术大学机械工程学院5.3 前向神经网络n4、LevenbergMarquart算法 7/12/202462上海工程技术大学机械工程学院5.3 前向神经网络5BP网络的设计参数（1）输入与输出层的设计 输入的神经元可以根据需要求解得问题和数据表示的方式来而定，输出层维数可根据使用者的要求来确定。（2）隐含层层数及隐单元数目的选择 1989年Robert Hecht-Nielson证明了对于任何在闭区间内的一个连续函数都可以用一个隐层的BP网络来逼近，因而一个三层BP网络可以完成任意的n维到m维的映射。对于隐单元个数的选择是一个十分复杂的问题，往往根据设计经验和和对于具体问题而言不断的测试来确定。n 7/12/202463上海工程技术大学机械工程学院5.3 前向神经网络（3）初始权值的选取 初始值对于学习是否达到局部最小和是否能收敛的关系很大。一个重要的要求就是希望初始权值在输入累加时使每个神经元的状态接近于零，这样可以保证每个神经元都在他们的转移函数的最大区域进行变换，而不会落在那些变化很小的区域。（4）数据的预处理 在很多实际问题的应用中，对于多维数的输入样本，往往问题样本本身属于不同的量纲，其取值量级也会相差较大，因此有必要将输入的数值转换到01之间，即进行归一化处理，这样有利于避免由量纲上的级别差异影响网络的识别精度。7/12/202464上海工程技术大学机械工程学院5.3 前向神经网络6、BP网络的泛化能力 “过适配”：对训练集样本误差很小，对训练集样本以外的新样本数据误差很大。网络记忆了训练过的样本，但缺乏对新样本的泛化能力。泛化(generalization)能力是指经训练后的网络对未在训练集出现的(来自同一分布的)样本做出正确反应的能力。学习不是单纯的记忆过的输入，而是通过训练样本学习到隐含在样本中的有关环境本身的内在规律性，从而对未出现的输入也能给出正确的反映。7/12/202465上海工程技术大学机械工程学院5.3 前向神经网络提高泛化能力的措施：1）调整网络规模，使之刚好足以“适配”；2）归一化。（1）修正网络误差性能函数，使网络获得较小的权值和阈值，从而迫使网络的响应变得平滑，从而减小“过适配”。（2）自动归一化，以自动的方式决定归一化最佳误差性能调整率。3）提前终止法。7/12/202466上海工程技术大学机械工程学院5.3 前向神经网络 能够利用的数据被分成3个子集，第一个子集是训练样本集，用以计算梯度和修正网络权值和阈值。第二个子集是确认样本集，在训练的过程中，监控确认样本集的误差。在训练的初始阶段，确认样本集误差在正常地减小，即为训练样本集的误差；而在网络开始出现“过适配”时，确认样本集的误差在明显地增加，当确认样本集的误差连续增加的次数达到指定的迭代次数是，训练被终止，此时，网络返回具有最小确认样本集误差的权值和阈值。第三个子集是测试样本集，用于各种不同模型的比较；另外，在训练期间画出测试样本集的误差曲线，如果测试样本集的误差和确认样本集误差间的误差达到最小值时，所需的迭代次数明显不同，表明数据集的划分可能有问题。7/12/202467上海工程技术大学机械工程学院7、BP网络的局限性1）学习率和稳定性的矛盾；2）学习率的选择缺乏有效的方法；3）训练过程可能陷于局部最小；4）没有确定隐层神经元个数的有效方法；5.3 前向神经网络7/12/202468上海工程技术大学机械工程学院8、BP网络的MATLAB实现nnet=newff(minmax(p),20,1,tansig,purelin);n%创建BP神经网络，输入分别为最大传感器数据，平均数据，速度和标定系数n%输入的范围为输入矢量p的最大最小值，隐层有20个神经元n%隐层为tansig类型曲线，输出为线性nnet.trainFcn=trainlm;nnet.trainParam.epochs=2000;nnet.trainParam.show=100;n%神经网络的训练方法nnet,tr=train(net,p,t);ntemp=net.layerWeights;ntempiw=net.IW;ntemplw=net.LW;ntempb=net.b;ny=sim(net,test);5.3 前向神经网络7/12/202469上海工程技术大学机械工程学院5.3 前向神经网络三、径向基函数神经网络 基本思想是：用径向基函数（RBF）作为隐单元的“基”，构成隐含层空间，隐含层对输入矢量进行变换，将低维的模式输入数据变换到高维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分。网络结构简单、训练简洁而且学习收敛速度快，能够逼近任意非线性函数。因此RBF网络具有较广泛的应用。如时间序列分析，模式识别，非线性控制和图像处理等。7/12/202470上海工程技术大学机械工程学院5.3 前向神经网络1RBF神经网络的网络模型 RBF网络是单隐层的前向神经网络，输入层由信号源节点组成；第二层为隐含层，隐单元的个数由所描述的问题而定，隐单元的变换函数是对中心点径向对称且衰减的非负非线性函数；第三层为输出层，它对输入模式做出响应。7/12/202471上海工程技术大学机械工程学院（1）正规化网络 隐单元的个数和训练样本的个数相同5.3 前向神经网络7/12/202472上海工程技术大学机械工程学院5.3 前向神经网络7/12/202473上海工程技术大学机械工程学院5.3 前向神经网络7/12/202474上海工程技术大学机械工程学院5.3 前向神经网络7/12/202475上海工程技术大学机械工程学院5.3 前向神经网络7/12/202476上海工程技术大学机械工程学院（2）广义网络5.3 前向神经网络7/12/202477上海工程技术大学机械工程学院5.3 前向神经网络7/12/202478上海工程技术大学机械工程学院5.3 前向神经网络7/12/202479上海工程技术大学机械工程学院2、学习算法5.3 前向神经网络7/12/202480上海工程技术大学机械工程学院5.3 前向神经网络7/12/202481上海工程技术大学机械工程学院5.3 前向神经网络7/12/202482上海工程技术大学机械工程学院（3）学习权值5.3 前向神经网络7/12/202483上海工程技术大学机械工程学院5.3 前向神经网络3.RBF神经网络的特点及应用领域 n能够逼近任意的非线性函数，可以处理系统内在的难以解析的规律性，并具有极快的学习收敛速度。n非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断。7/12/202484上海工程技术大学机械工程学院5.4 反馈神经网络n 反馈神经网络(Feedback Neural Network)又称递归网络或回归网络。在该神经网络中，输入信号决定反馈系统的初始状态，然后系统经过一系列状态转换后，逐渐收敛于平衡状态。这种平衡状态就是反馈神经网络经计算后的输出结果。由此可见，稳定性是反馈神经网络中最重要的问题之一。Hopfield神经网络是反馈网络中最简单且应用最广的模型，通常有两种形式：离散型Hopfield网络和连续型Hopfield网络。7/12/202485上海工程技术大学机械工程学院5.4 反馈神经网络一、离散型Hopfield神经网络 1、网络的拓扑结构 离散型Hopfield神经网络是一种单层的输入输出为二值的反馈网络，它主要用于联想记忆 Hopfield网络结构图 Hopfield网络示意图 7/12/202486上海工程技术大学机械工程学院7/12/202487上海工程技术大学机械工程学院5.4 反馈神经网络2、离散Hopfield网络的学习算法7/12/202488上海工程技术大学机械工程学院7/12/202489上海工程技术大学机械工程学院7/12/202490上海工程技术大学机械工程学院7/12/202491上海工程技术大学机械工程学院5.4 反馈神经网络二、连续型Hopfield神经网络 连续型Hopfield神经网络是J.J.Hopfield在离散型Hopfield神经网络的基础上提出，其原理与离散型Hopfield神经网络相似，它以模拟量作为网络的输入输出量，各神经元采用并行方式工作，所以它在信息处理的并行性、联想性、实时性、分布存储、协同性等方面比离散型Hopfield神经网络更接近于生物神经网络.7/12/202492上海工程技术大学机械工程学院5.4 反馈神经网络n1、物理实现结构 7/12/202493上海工程技术大学机械工程学院5.4 反馈神经网络7/12/202494上海工程技术大学机械工程学院7/12/202495上海工程技术大学机械工程学院5.4 反馈神经网络三、Hopfield网络的主要应用 联想记忆，优化计算。主要集中在图像处理、语声处理、控制、信号处理、模式分类等领域。1、联想记忆的概念 人类具有的联想功能：从一种事物联系到与其相关的事物或其他事物。人工神经网络的联想：系统在给定一组刺激信号作用下，该系统能联系出与之相对应的信号。联想以记忆为前提，首先把信息存储起来，再按某种方式或规则将相关信息取出。联想记忆的过程就是信息的存取过程。7/12/202496上海工程技术大学机械工程学院5.4 反馈神经网络2、联想记忆的工作过程（1）记忆阶段。在记忆阶段就是通过设计或学习网络的权值，使网络具有若干个稳定的平衡状态，这些稳定的平衡状态也称为吸引子，吸引子有一定的吸引域。（2）联想阶段。联想过程就是给定输入模式，联想记忆网络通过动力学的演化过程达到稳定状态，即收敛到吸引子，回忆起已存储模式的过程。7/12/202497上海工程技术大学机械工程学院5.4 反馈神经网络3、网络的权值设计 吸引子的分布是网络的权值（包括阈值）决定的，设计吸引子的核心就是如何设计一组合适的权值。为了使所设计的权值满足要求，权值矩阵应符合以下要求：n（1）为保证异步方式工作时网络收敛，权值矩阵w为对称矩阵n（2）为保证同步方式工作时网络收敛，权值矩阵w应为非负定对称阵；n（3）保证给定的样本是网络的吸引子，并且要有一定的吸引域。7/12/202498上海工程技术大学机械工程学院5.4 反馈神经网络7/12/202499上海工程技术大学机械工程学院5.4 反馈神经网络7/12/2024100上海工程技术大学机械工程学院7/12/2024101上海工程技术大学机械工程学院5.5 自组织神经网络 生物神经元在接受刺激并进行竞争产生获胜神经元后，获胜神经元不但加强自身，而且带动周围的邻近神经元得到相应的加强，同时抑制周围距离较远的神经元。“加强中心而抑制周围”的现象。墨西哥草帽函数墨西哥草帽函数7/12/2024102上海工程技术大学机械工程学院5.5 自组织神经网络一、网络的拓扑结构 自组织特征映射网络(self-organizing map，SOM)，又称Kohonen网络，是1982年芬兰教授Kohonen提出的一种自组织神经网络，该网络的主要目的是将任意维数的输入信号模式以拓扑结构有序的方式转变为低维（一维或二维）的离散空间（网格）上。这种变换属于特征映射，而这个过程是自动完成的。7/12/2024103上海工程技术大学机械工程学院5.5 自组织神经网络n 网络由输入层和输出层组成。输入层模拟感知外界输入信息其形式与BP网络相同，节点数与样本维数相同；输出层模拟做出相应的大脑皮层，其神经元的排列有多种形式，如一维阵、二维平面阵和三维栅格阵 7/12/2024104上海工程技术大学机械工程学院5.5 自组织神经网络二、SOM网络的原理及其算法 自组织特征映射网络的实现属于无监督竞争学习的过程，自组织映射主要由竞争、合作和自组织调解三个过程。7/12/2024105上海工程技术大学机械工程学院5.5 自组织神经网络7/12/2024106上海工程技术大学机械工程学院5.5 自组织神经网络7/12/2024107上海工程技术大学机械工程学院5.5 自组织神经网络三、SOM算法步骤 7/12/2024108上海工程技术大学机械工程学院5.5 自组织神经网络7/12/2024109上海工程技术大学机械工程学院5.5 自组织神经网络7/12/2024110上海工程技术大学机械工程学院5.6 MATLAB的神经网络实现MATLAB神经网络工具箱提供了典型的神经网络模型：1）感知器模型2）线性网络模型3）BP网络模型4）RBF网络模型5）反馈网络模型6）自组织竞争网络模型7/12/2024111上海工程技术大学机械工程学院