人工智能(神经网络)课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,神经网络,人工神经网络,人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。它的研究目标是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有类似人类的智能。它已在模式识别、机器学习、专家系统等多个方面得到应用，成为人工智能研究中的活跃领域。,本章将简要介绍神经网络基本的概念、模型以及学习算法。,神经网络的基本概念及组成特性,9.1.1,生物神经元的结构与功能特性,1.,生物神经元的结构,神经细胞是构成神经系统的基本单元，,称之为生物神经元,，简称,神经元,。神经元主要由三部分构成：,（,1,）细胞体,;,（,2,）轴突,;,（,3,）树突,; (,如图,),生物神经元结构,神经网络的基本概念及组成特性,突触是神经元之间相互连接的接口部分，即一个神经元的神经末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢尾端。突触是轴突的终端。,2.,神经元的功能特性,（,1,）时空整合功能。,（,2,）神经元的动态极化性。,（,3,）兴奋与抑制状态。,（,4,）结构的可塑性。,（,5,）脉冲与电位信号的转换。,（,6,）突触延期和不应期。,（,7,）学习、遗忘和疲劳。,9.1.2,人工神经网络的组成与结构,1.,人工神经网络的组成,人工神经网络（简称,ANN,）,是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作,人工神经元,。,人工神经网络（,ANN,）,可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突,突触,树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。,9.1,神经网络的基本概念及组成特性,图,9.2,人工神经网络的组成,图,9.3 M,P,神经元模型,9.1,神经网络的基本概念及组成特性,2.,人工神经元的工作过程,对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元,）,i,的信息,为,X,i,，,它们与本处理单元的互相作用强度即连接权值为,W,i, i=0,1,n-1,处理单元的内部阈,值为,。,那么本处理单元（神经元）的输入为,而处理单元的输出为,（,9.1.1,）,（,9.1.2,）,式中，,x,i,为第,i,个元素的输入，,w,i,为第,i,个处理单元与本处理单元的互联权重。,f,称为激发函数或作用函数，它决定节点（神经元）的输出。,9.1,神经网络的基本概念及组成特性,(a),阈值型,(b),分段线性型,(c) Sigmoid,函数型,(d),双曲正切型,图,常用的激发函数,这里，,激发函数一般具有非线性特性,常用的非线性激发函数如图所示,称为激活值,9.1,神经网络的基本概念及组成特性,阈值型函数又称,阶跃函数，它表示激活值,和其输出,f( ),之间的关系。阈值型函数为激发函数的神经元是一种最简单的人工神经元，也就是我们前面提到的,M-P,模型。,线性分段函数可以看作是一种最简单的非线性函数，它的特点是将函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满足线性关系，一直延续到输出为最大域值为止。但当达到最大值后，输出就不再增大。,S,型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的。以它为激发函数的神经元也具有饱和特性。,双曲正切型函数实际只是一种特殊的,S,型函数，其饱和值是,1,和,1,。,9.1,神经网络的基本概念及组成特性,3.,人工神经网络的结构,人工神经网络中，各神经元的不同连接方式就构成了网络的不同连接模型。常见的连接模型有,:,前向网络。,从输入层到输出层有反馈的网络。,层内有互联的网络。,互联网络,。,9.1,神经网络的基本概念及组成特性,4.,人工神经网络的分类及其主要特征,分类,按性能分：连续型和离散型网络，或确定型和随机型网络。,按拓扑结构分：有反馈网络和无反馈网络。,按学习方法分：有教师的学习网络和无教师的学习网络。,按连接突触性质分：一阶线性关联网络和高阶非线性关联网络。,9.1,神经网络的基本概念及组成特性,人工神经网络具有以下主要特征：,（,1,）能较好的模拟人的形象思维。,（,2,）,具有大规模并行协同处理能力。,（,3,）,具有较强的学习能力。,（,4,）,具有较强的容错能力和联想能力。,（,5,）是一个大规模自组织、自适应的非线性动力系统。,9.1,神经网络的基本概念及组成特性,9.1.3,人工神经网络研究的兴起与发展,人工神经网络的研究经历了不少的曲折，大体上可分为四个阶段,:,产生时期,(20,世纪,50,年代中期之前,),高潮时期,(20,世纪,50,年代中期到,20,世纪,60,年代末期,),低潮时期,(20,世纪,60,年代末到,20,世纪,80,年代初期,),蓬勃发展时期,(20,世纪,80,年代以后,),9.1,神经网络的基本概念及组成特性,9.2.1,感知器模型,感知器模型是美国学者罗森勃拉特（,Rosenblatt,）,为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。,Rosenblatt,提出的感知器模型,是一个只有单层计算单元的前向神经网络，称为单层感知器。,9.2,感知器模型及其学习算法,9.2.2,单层感知器模型的学习算法,算法思想：,首先把连接权和阈值初始化为较小的非零随机数，然后把有,n,个连接权值的输入送入网络，经加权运算处理，得到的输出如果与所期望的输出有较大的差别，就对连接权值参数按照某种算法进行自动调整，经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。,为简单起见，仅考虑只有一个输出的简单情况。,设,x,i,(t),是时刻,t,感知器的输入（,i=1,2,.,n,），,i,(t),是相应的连接权值，,y(t),是实际的输出，,d(t),是所期望的输出，且感知器的输出或者为,1,，或者为,0,，则单层感知器的学习算法,9.2,感知器模型及其学习算法,感知器模型学习算法,9.2.3,线性不可分问题,单层感知器不能表达的问题被称为线性不可分问题。,1969,年，明斯基证明了,“,异或,”,问题,是线性不可分问题：,“,异或,”,（,XOR,）,运算的定义如下：,其相应的逻辑运算真值表,9.2,感知器模型及其学习算法,由于单层感知器的输出为,y(x,1,x,2,)=f(,1,x,1,+,2,x,2,-),所以，,用感知器实现简单逻辑运算的情况如下：,（,1,）,“,与,”,运算（,x,1,x,2,）,令,1,= ,2,=1,，,=2,，,则,y=f(1,x,1,+1,x,2,-2),显然，当,x,1,和,x,2,均为,1,时，,y,的值,1,；而当,x,1,和,x,2,有一个为,0,时，,y,的值就为,0,。,（,2,）,“,或,”,运算,（,x,1,x,2,）,令,1,= ,2,=1, =0.5,y=f(1,x,1,+1,x,2,-0.5),显然，只要,x,1,和,x,2,中有一个为,1,，则,y,的值就为,1,；只有当,x,1,和,x,2,都为,0,时，,y,的值才为,0,。,9.2,感知器模型及其学习算法,（,3,）,“,非,”,运算（,X,1,）,令,1,=-1,，,2,=O,，,=-0.5,，,则,y=f(-1),x,1,+1,x,2,+0.5),显然，无论,x,2,为何值,，,x,1,为,1,时,，,y,的值都为,0,；,x,1,为,O,时，,y,的值为,1,。,即,y,总等于,x,1,。,（,4,）,“,异或,”,运算（,x,1,XOR x,2,）,如果,“,异或,”,（,XOR,）,问题能用单层感知器解决，则由,XOR,的真值表,9-1,可知，,1,、,2,和,必须满足如下方程组：,1,+,2,-,0,1,+0-,0,0+0-,0,0+,2,-,0,显然，该方程组是无解，这就说明单层感知器是无法解决异或问题的。,9.2,感知器模型及其学习算法,异或问题是一个只有两个输入和一个输出，且输入输出都只取,1,和,0,两个值的问题，分析起来比较简单。对于比较复杂的多输入变量函数来说，到底有多少是线性可分的？多少是线性不可分的呢？,相关,研究表明，线性不可分函数的数量随着输入变量个数的增加而快速增加，甚至远远超过了线性可分函数的个数。也就是说，单层感知器不能表达的问题的数量远远超过了它所能表达的问题的数量。这也难怪当,Minsky,给出单层感知器的这一致命缺陷时，会使人工神经网络的研究跌入漫长的黑暗期。,9.2,感知器模型及其学习算法,9.2.4,多层感知器,在单层感知器的输入部分和输出层之间加入一层或多层处理单元，就构成了二层或多层感知器。,在多层感知器模型中，只允许某一层的连接权值可调，这是因为无法知道网络隐层的神经元的理想输出，因而难以给出一个有效的多层感知器学习算法。,多层感知器克服了单层感知器的许多缺点，原来一些单层感知器无法解决的问题，在多层感知器中就可以解决。例如，应用二层感知器就可以解决异或逻辑运算问题,9.2,感知器模型及其学习算法,9.3.1,反向传播模型及其网络结构,反向传播模型,也称,B-P,模型，是一种用于前向多层的反向传播学习算法。之所以称它是一种学习方法，是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。,之所以将其称作为反向学习算法，是因为在修改各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播，来决定连接权值的修改。,9.3,反向传播模型及其学习算法,B-P,算法的网络结构是一个前向多层网络，如图所示。,9.3,反向传播模型及其学习算法,9.3.2,反向传播网络的学习算法,B-P,算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。,学习过程由正向传播和反向传播组成。,正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。,反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求。,9.3,反向传播模型及其学习算法,B-P,算法的学习过程如下：,（,1,）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。,（,2,）从训练样例集中取一样例，把输入信息输入到网络中。,（,3,）分别计算经神经元处理后的各层节点的输出。,（,4,）计算网络的实际输出和期望输出的误差。,（,5,）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。,（,6,）对训练样例集中的每一个样例重复（,3,）,（,5,）的步骤，直到对整个训练样例集的误差达到要求时为止。,9.3,反向传播模型及其学习算法,在以上的学习过程中，第（,5,）步是最重要的，如何确定一种调整连接权值的原则，使误差沿着减小的方向发展，是,B-P,学习算法必须解决的问题。,9.3,反向传播模型及其学习算法,图,9.11 B-P,学习算法的流程图,B-P,算法的优缺点：,优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。,缺点： （,1,）该学习算法的收敛速度慢；（,2,）网络中隐节点个数的选取尚无理论上的指导；,（,3,）从数学角度看，,B-P,算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以,B-P,算法是不完备的。,9.3,反向传播模型及其学习算法,9.3.3,反向传播计算的举例,设图,9.12,是一个简单的前向传播网络，用,B-P,算法确定其中的各连接权值时，,的计算方法如下：,9.3,反向传播模型及其学习算法,9.3,反向传播模型及其学习算法,9.3,反向传播模型及其学习算法,9.3,反向传播模型及其学习算法,9.4.1 Hopfield,模型,Hopfield,模型是霍普菲尔德分别于,1982,年及,1984,提出的两个神经网络模型。,1982,年提出的是离散型，,1984,年提出的是连续型，但它们都是反馈网络结构。图,9.13,给出了一个简单的反馈神经网络图,。,9.4 Hopfield,模型及其学习算法,由于在反馈网络中，网络的输出要反复地作为输入再送入网络中，这就使得网络具有了动态性，网络的状态在不断的改变之中，因而就提出了网络的稳定性问题。所谓一个网络是稳定的是指从某一时刻开始，网络的状态不再改变。,设用,X(t),表示网络在时刻,t,的状态，如果从,t=,的任一初态,X(0),开始，存在一个有限的时刻,t,，,使得从此时刻开始神经网络的状态不再发生变化，即,(9.4.1),就称此网络是稳定,的。,9.4 Hopfield,模型及其学习算法,离散网络模型是一个离散时间系统，每个神经元只有两个状态，可以用,1,和,0,来表示，由连接权值,ij,所构成的矩阵是一个对角线为,0,的对称矩阵，即,(9.4.2,）,如果用,x(t),表示整个网络在时刻的状态，则,X,是一个向量，它包含了网络中每个人工神经元的状态。所以，状态向量,X,中的分量个数就是网络中人工神经元的个数。假设网络中的节点（人工神经元）个数为,n,，,则向量,X,的构成如下：,9.4 Hopfield,模型及其学习算法,这里，,其中的,ij,为节点到节点,的连接权值； 为节点的阈值。,(9.4.3),X,i,(t),表示节点,i,（,第个,i,神经元）在时刻,t,的状态，该节点在时刻,t+1,的状态由下式决定：,(9.4.4),9.4 Hopfield,模型及其学习算法,Hopfield,网络离散模型有两种工作模式：,（,1,）串行方式，是指在任一时刻,t,，,只有一个神经元,i,发生状态变化，而其余的神经元保持状态不变。,（,2,）并行方式，是指在任一时刻,t,，,都有部分或全体神经元同时改变状态。,有关离散的,Hopfield,网络的稳定性问题，已于,1983,年由,Cohen,和,Grossberg,给于了证明。而,Hopfield,等人又进一步证明,，只要连接权值构成的矩阵是非负对角元的对称矩阵，则该网络就具有串行稳定性。,9.4 Hopfield,模型及其学习算法,1984,年，,Hopfield,又提出了连续时间的神经网络，在这种神经网络中，各节点可在,0,到,1,的区间内取任一实数值。,Hopfield,网络是一种非线性的动力网络，可通过反复的网络动态迭代来求解问题，这是符号逻辑方法所不具有的特性。在求解某些问题时，其求解问题的方法与人类求解问题的方法很相似，虽然所求得的解不是最佳解，但其求解速度快，更符合人们日常解决问题的策略,9.4 Hopfield,模型及其学习算法,9.4.2 Hopfield,网络的学习算法,(1),设置互连权值。,(9.4.5,）,其中， 是,s,类样例的第,i,个分量，它可以为,1,或,0,，样例类别数为,m,，,节点数为,n,。,9.4 Hopfield,模型及其学习算法,(2),未知类别样本初始化。,(9.4.6),其中，,y,i,(t,),为节点,I,在,t,时刻的输出，当,t=0,时，,y,i,(0),就是节点,I,的初始值，,x,i,为输入样本的第,I,个分量。,(3),迭代直到收敛。,(9.4.7),式,(9.4.7),中,f,为阈值型激发函数。该过程一直迭代到不再改变节点的输出为止。这时各节点的输出与输入样例达到最佳匹配。否则,(4),转（,2,）继续。,9.4 Hopfield,模型及其学习算法,前面已经指出，当,Hopfield,模型的网络中各神经元的连接权值所构成的矩阵是一个非负对角元的对称矩阵时或者是一个非负定矩阵时，上述算法是收敛的。,人工神经网络的类型很多，这里只简单介绍了三种比较重要且常用的模型及其算法，即感知器模型、,B-P,网络模型和,Hopfield,网络模型。若想更深入地了解，请参阅人工,神经网络相关的专著或教材。,9.4 Hopfield,模型及其学习算法,返回目录,