神经网络--课件

l神经网络的概念泛指生物神经网络与人工神经网络l生物神经网络由中枢神经系统（脑和脊髓）及周围神经系统（感觉、运动、交感等）所构成的错综复杂的神经网络，最重要的是脑神经系统。l人工神经网络(ANN)由大量简单的处理单元广泛地互相连接而形成地复杂网络系统，以简化，抽象，和模拟人脑神经网络。概述概述l神经网络的发展简史l初创（19431969）l1943年，McCulloch和Pitts 提出了M-P模型l1949年，Hebb提出Hebb学习规则l1957年，Rosenblatt提出感知器(perceptrons)l1969年，Minsky和Papert发表“Perceptrons”l过渡期（19701986）l1980年，Kohonen提出自组织映射理论l1982年，Hopfield提出离散的Hopfield网络模型1984年，又提出连续的Hopfield网络模型，并用电 子线路实现了该网路的仿真。l1986年，Rumelhart等提出BP算法l发展期（1987-）1993年创刊的“IEEE Transaction on Neural Network”l生物神经元构成神经系统的基本单元，简称神经元。包括细胞体、树突、轴突。神经元电镜图片轴突树突突触细胞体神经末梢l组成l细胞体 由细胞核，细胞质，和细胞膜组成。膜内外有电位差，膜外为正，膜内为负。它是神经元新陈代谢的中心，用于接收并处理从其它神经元传递的信息。l轴突 由细胞体向外伸出的一条最长分支，长度可达1m。它通过尾部的神经末梢向其它神经元输出神经冲动，相当于神经元的输出电缆。l树突 除轴突外的其它分支。数目多，长度短。它用于接受从其它神经元传来的神经冲动，相当于神经元的输入端。l突触 一个神经元的轴突末梢和另外一个神经元的树突相接触的地方，相当于神经元之间的接口部分。大多数神经元有103104个突触。l连接l辐射一个神经元的轴突末梢与许多神经元的树突相连接。l聚合许多神经元的轴突末梢与一个神经元的树突相连接。l特性l信息以预知的确定方向传递 一个神经元的树突、细胞体轴突突触另一个神经元树突l时空整合功能l对不同时间通过同一突触传入的信息具有时间整合功能l对同一时间通过不同突触传入的信息具有空间整合功能l工作状态l兴奋状态，对输入信息整合后使细胞膜电位升高，当高于动作电位的阈值时，产生神经冲动，并由轴突输出。l抑制状态，对输入信息整合后使细胞膜电位降低，当低于动作电位的阈值时，无神经冲动产生。l结构的可塑性 神经元之间的柔性连接。l脉冲与电位转换功能 轴突与普通传输线路不同，对于小于阈值的信号在传递过程中会被滤除，而对于大于阈值的则有整形作用。即无论输入脉冲的幅度与宽度，输出波形恒定。l信息传递的时延性和不应期性 在两次输入之间要有一定的时间间隔，即时延；而在此期间内不响应激励，不传递信息，称为不应期。l人工神经元及其互连结构l人工神经网络的基本处理单元人工神经元l模拟主要考虑两个特性：时空加权，阈值作用。l其中对于时空加权，模型分为两类，即考虑时间特性，不考虑时间特性。l人工神经元l M-P模型最早由心理学家麦克罗奇（W.McLolloch）和数理逻辑学家皮兹（W.Pitts）于1943年提出。Y 输出ee i i兴奋型输入抑制型输入阈值M-P模型输入输出关系表输入条件输出M-P模型对抑制型输入赋予了“否决权”，只有当 ，且 时，才有y1，其它时候 y0。l一种常见的不考虑时间特性的模型 y 输出x1x2xnwns 控制符号f()特性函数/激发函数阈值连接权值w2w1输入多输入单输出的非线性器件一些典型的特性函数 阈值型 线性 s型l神经元的连接 人工神经网络是由神经元广泛互联构成的，不同的连接方式构成了不同的网络模型前向网络神经元分层排列(输入层、隐层和输出层)。各层之间的神经元全互联，各层内的神经元无连接。每一层只接受来自前一层的输入。从输出层到输入层有反馈的网络l层内有互连接的网络 同一层的神经元可以互相连接.l互连网络 任意两个神经元之间可以互相连接。互连网络一直处于动态变化之中，最后 到达某种稳定状态，也可能进入周期振荡。l人工神经网络的特征及分类l人工神经网络的特征l能较好的模拟人的形象思维l具有大规模并行协同处理能力l具有较强的容错能力和联想能力l具有较强的学习能力l大规模、自组织、自适应的非线性动力系统l人工神经网络的分类l根据拓扑结构l无反馈网络l有反馈网络l根据学习方法l有教师的学习网络l无教师的学习网络l根据网络的状态l静态网络l动态网络l根据处理的信息l连续型网络l离散型网络l感知器罗森勃拉特(Rosenblatt)于1957年提出,把神经网络的研究从纯理论探讨引向了工程实践。感知器是只有单层计算单元的前向神经网络,由线性阈值单元组成。1）线性阈值单元 1 y=0或-12)单层感知器 只有输入层和输出层组成，输入层的每个处理单元均与输出层互连，层内各神经元无连接，网络无反馈。学习算法:假设只有一个输出y(t)1.1.给给w wi i(0)(i=1,2n)(0)(i=1,2n)及及赋一个较小的非赋一个较小的非0 0随机数作为初值随机数作为初值2.2.输入一个样例输入一个样例X Xx1,x2xnx1,x2xn和期望的输出和期望的输出d d3.3.计算网络的实际输出计算网络的实际输出 4.4.调整权值调整权值 0 00为动量项因子，01所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋势，改善了收敛性，是一种应用比较广泛的改进算法。2024/8/6602、变尺度法标准BP学习算法采用的是一阶梯度法，因而收敛较慢。若采用二阶梯度法，则可以大大提高收敛性。虽然二阶梯度法具有较好的收敛性，但是需要计算E对w的二阶导数，这个计算量很大。所以一般不直接采用二阶梯度法，而常常采用变尺度法或共轭梯度法，它们具有如二阶梯度法收敛较快的优点，又无需直接计算二阶梯度。2024/8/661变尺度算法：2024/8/6623、自适应学习率调整法在BP算法中，网络权值的调整取决于学习速率和梯度。自适应学习率调整准则是：检查权值的修正是否真正降低了误差函数，如果确实如此，则说明所选的学习率小了，可对其增加一个量；若还是则说明产生了过调，那么就应减小学习速率的值。当连续两次迭代其梯度方向相同时，表明下降太慢，这时可使步长加倍；当连续两次迭代其梯度方向相反时，表明下降过头，这时可使步长减半。2024/8/663四、BP神经网络的训练1、产生数据样本集包括原始数据的收集、数据分析、变量选择以及数据的预处理 首先要在大量的原始测量数据中确定出最主要的输入模式。在确定了最重要的输入量后，需进行尺度变换和预处理。尺度变换常常将它们变换到-1,1或0,1的范围。在进行尺度变换前必须先检查是否存在异常点（或称野点），这些点必须删除。通过对数据的预处理分析还可以检验其是否存在周期性、固定变换趋势或其它关系。对数据的预处理就是要使得经变换后的数据对于神经网络更容易学习和训练。2024/8/664对于一个问题应该选择多少数据，这也是一个很关键的问题。系统的输入输出关系就包含在数据样本中。一般来说，取的数据越多，学习和训练的结果便越能正确反映输入输出关系。但选太多的数据将增加收集、分析数据以及网络训练付出的代价选太少的数据则可能得不到正确的结果。事实上数据的多数取决于许多因素，如网络的大小、网络测试的需要以及输入输出的分布等。其中网络的大小最关键。通常较大的网络需要较多的训练数据。一个经验规则是：训练模式应是连接权总数的5至10倍。2024/8/665最简单的方法是：将收集到的可用数据随机地分成两部分，比如其中三分之二用于网络的训练。另外三分之一用于将来的测试。随机选取的目的是为了尽量减小这两部分数据的相关性。影响数据大小的另一个因素是输入模式和输出结果的分布，对数据预先加以分类可以减小所需的数据量。相反，数据稀薄不匀甚至覆盖则势必要增加数据量。在神经网络训练完成后，需要有另外的测试数据来对网络加以检验，测试数据应是独立的数据集合。2024/8/6662、确定网络的类型和结构神经网络的类型很多，需根据问题的性质和任务的要求来合适地选择网络类型。一般从已有的网络类型中选用一种比较简单而又能满足要求的网络，新设计一个网络类型来满足问题的要求往往比较困难。若主要用于模式分类，尤其是线性可分的情况，则可采用较为简单的感知器网络。若主要用于函数估计，则可应用BP网络在网络的类型确定后，要是选择网络的结构和参数。以BP网络为例，需选择网络的层数、每层的节点数、初始权值、阈值、学习算法、数值修改频度、结点变换函数及参数、学习率等参数。2024/8/667有些项的选择有一些指导原则，但更多的是靠经验和试凑。对于网络层数的选取：理论上早已证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。增加层数主要可以更进一步降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。而误差精度的提高实际上也可以通过增加隐含层中的神经元数目来获得，其训练效果也比增加层数更容易观察和调整，所以，一般情况下，应优先考虑增加隐含层中的神经元数。2024/8/668对于具体问题若确定了输入和输出变量后，网络输入层和输出层的节点个数也便随之确定了。具体选择可采用如下方法：先设较少的节点，对网络进行训练，并测试网络的逼近误差，然后逐渐增加节点数，直到测试的误差不再有明显的减少为止。隐层节点数对网络的泛化能力有很大的影响。节点数太多，倾向于记住所有的训练数据，包括噪声的影响，反而降低了泛化能力；节点数太少，不能拟和样本数据，没有较好的泛化能力。原则：选择尽量少的节点数以实现尽量好的泛化能力。对于每层节点数的选取：2024/8/669由于系统是非线性的，初始值对于学习是否达到局部最小、是否能够收敛以及训练时间的长短关系很大。初始权值的选取：如果初始值太大，使得加权后的输入落到激活函数的饱和区，从而导致其导数非常小，而在计算权值的修正公式中，修正量正比与其导数，从而使调节过程几乎停顿下来。一般总是希望经过初始加权后的每个神经元的输出值都接近于零，这样可以保证每个神经元的权值都能够在他们的S型激活函数变化最大之处进行调节，所以，一般取初始权值在(-1,1)之间的随机数。2024/8/670学习速率的选取：学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定小的学习速率会导致训练较长，收敛速度很慢。不过能保证网络的误差值不跳出表面的低谷而最终趋于最小误差值。一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率一般的选取范围为0.010.8和初始权值的选取过程一样，在一个神经网络的设计中，网络要经过几个不同的学习速率的训练。通过观察每一次训练后的误差平方和的下降速率来判断选定的学习速率是否合适。如果下降很快，说明学习速率合适。若出现振荡，则说明学习速率过大。对于较复杂的网络，为了减小寻找学习速率的训练次数以及训练时间，比较合适的方法是采用自适应学习速率。2024/8/6713、训练和测试对所有样本数据正向运行一次并反向修改连接权一次称为一次训练(或一次学习)。通常训练一个网络需要成百上千次。并非训练的次数越多，越能得到正确的输入输出的映射关系。由于所收集的数据都是包含噪声的，训练的次数过多，网络将包含噪声的数据都记录了下来，在极端情况下，训练后的网络可以实现相当于查表的功能。但是对于新的输入数据却不能给出合适的输出，即并不具备很好的泛化能力。训练网络的目的在于找出蕴含在样本数据中的输入和输出之间的本质联系，从而对于未经训练的输入也能给出合适的输出，即局部泛化能力。网络的性能主要是用它的泛化能力来衡量，它不是用对训练数据的拟和程度来衡量，而是用一组独立的数据来加以测试和检验。2024/8/672训练次数均方误差训练数据测试数据实际操作时应该训练和测试交替进行，即每训练一次，同时用测试数据测试一遍，画出均方误差随训练次数的变换曲线在用测试数据检验时，均方误差开始逐渐减小，当训练次数再增加时，测试检验误差反而增加，误差曲线上极小点所对应的即为恰当的训练次数，若再训练即为“过渡训练”了。2024/8/673五、BP网络应用举例 BP网络的本质功能是通过对简单非线性函数(S型函数)的数次复合来实现输入到输出的高度非线性映射，隐含表达现实物理世界存在的及其复杂的非线性函数关系。工程中存在的许多实际问题，如模式识别、特征压缩、图形处理、预测预报、控制、决策、函数拟和等都可归结为求解输入到输出的高度非线性映射，因而可用BP网络有效地求解。下面以水净化控制决策系统(WCCD)为例说明BP网络的应用。2024/8/6741、WCCD系统结构 混合池沉淀池过滤池PAC河水混合水已沉淀水清洁水水净化系统是保障人们生活用水的重要系统，其净化过程是：先把污浊的河水引到混合储水池，并投入称为PAC的化学制剂及用于消毒的氯；再把混合水引到沉淀池，使水中的污浊成分再PAC的作用下深入水底；沉淀大约35小时后，把水引到过滤池备用。以上过程可用如图示意。在水净化系统中主要的控制问题使确定要投入的PAC的量，以确保处理水的污浊度保持在一定水平之下。2024/8/675此控制问题的主要困难是水净化过程很难用一个数学模型或物理模型来描述，而且河水的污浊度变换很大(如雨季河水的污浊度可能增大1000倍)，其变换规律也无法清楚地定义。BP神经网络WCCDTUB1TUB2TEALPHPAC在水净化控制系统中，操作员的经验成为关键的因素，以操作员的经验和大量历史数据为基础构造水净化控制决策是非常适宜的为此提出一个基于BP神经网络的水净化控制决策系统结构2024/8/676神经网络的输出是要投入的PAC的量，输入是来自过程的反馈变量，其含义如下：神经网络的主要功能是根据训练样本确定输入输出变量之间存在的复杂非线性函数关系，作出有关投放PAC量的决策。TUB1：水源的污浊度TUB2：已沉淀水的污浊度TE：水温PH：水的PH值AL：水中的碱值2024/8/6772、网络结构及数据规格化 该网络为三层BP网络，具有5个输入点(对应5个输入变量)，1个输出节点(对应系统的1个输出变量)。从现场收集到的操作员进行PAC投入量决策的部分历史数据如表。这些数据可用作网络的训练数据。由于选择的输出函数为S型函数，要求其输入范围在0，1之间的实数，而表的数据范围大大超出0，1区间，所以必须把它们规格化为0，1之间的实数，再送到数据网络处理。X，Y分别是变换前后的数据，因为该表每一列的数据范围不同，所以应分别进行变换。2024/8/67811007.142.019.33.016.012007.042.017.71.535.010007.250.018.01.58.09007.255.018.83.012.011007.040.016.61.020.09007.253.023.64.014.09007.348.023.34.09.014007.140.019.51.050.014007.346.019.42.022.013007.153.018.81.010.0PACPHALTETUB2TUB12024/8/6793、仿真结果 在仿真试验中，对该网络进行训练，达到了比较理想的学习精度(训练误差小于0.095)。经对比，训练后的系统作出的关于PAC投放量的决策输出与操作员的决策几乎完全相同。换言之，该决策系统准确地模拟了经验丰富的人类操作员的控制决策功能，且其性能明显高于基于统计模型的系统，很好地解决了水净化过程很难用数学模型或物理模型来精确描述，使用常规控制系统性能不佳的难题。BP算法存在的问题：l该学习算法的收敛速度非常慢。l可能出现局部极小问题。故B-P算法是不完备的。l网络中隐节点个数的选取尚无理论上的指导。l对新样例的学习会影响已学习过的样例。以上介绍的多层前向反馈网是无反馈的网络，且是静态网络。所以它不存在稳定性问题，通常只能用于解决与时间无关的模式识别、函数拟合等问题。对与时间有关的问题如飞行器控制、语音处理等则需要引入动态系统。其中，一种是单元信息的处理引入时间参量；一种是网络结构中引入反馈。从而形成动态网络。前馈网（动态网）反馈网（静态网）信号方向只有向前既向前，也向后训练阶段动态，反复迭代搜索确定权矩阵静态，一次性计算权矩阵应用阶段静态，一次性输出结果动态，反复迭代后稳定在某个输出结果上2024/8/683模型名称 有师或无师 学习规则正向或方向传播应用领域AG无Hebb律反向数据分类SG无Hebb律反向信息处理ART-1无竞争律反向模式分类DH无Hebb律反向语音处理CH无Hebb律/竞争律反向组合优化BAM无Hebb律 /竞争律反向图像处理AM无Hebb律反向模式存储ABZM无Hebb律反向信号处理2024/8/684模型名称 有师或无师 学习规则正向或方向传播应用领域CABAM无Hebb律反向组合优化FCM无Hebb律反向组合优化LM有Hebb律正向过程监控DR有Hebb律正向过程预测、控制LAM有Hebb律正向系统控制OLAM有Hebb律正向信号处理FAM有Hebb律正向知识处理BSB有误差修正正向实时分类2024/8/685模型名称 有师或无师 学习规则正向或方向传播应用领域Perceptron 有误差修正正向线性分类、预测Adaline/Madaline有误差修正反向分类、噪声抑制BP有误差修正反向分类AVQ有误差修正反向数据自组织CPN有Hebb律反向自组织映射BM有Hebb律/模拟退火反向组合优化CM有Hebb律/模拟退火反向组合优化AHC有误差修正反向控制2024/8/686模型名称 有师或无师 学习规则正向或方向传播应用领域ARP有随机增大反向模式匹配、控制SNMF有Hebb律反向语音/图像处理