第6.6节 神经网络学习

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2008-2009,学年第,1,学期,神经网络学习,*,51,第,6.6,节 神经网络学习,王庆江,计算机科学与技术系,qjwang,摘自,Talking Nets: An Oral History of Neural Networks,封面,2008-2009,学年第,1,学期,神经网络学习,6.6.1,神经网络基础,公元前,400,年左右，柏拉图和亚里士多德就曾对人类认知、记忆、思维进行过研究；,19,世纪末，出现了,神经元,学说；美国生物学家,W. James,在,Physiology,一书中提到，“人脑中两个基本单元靠得较近时，一个单元的兴奋会传到另一个单元；,20,世纪,40,年代，神经解剖学、神经生理学、神经元的电生理过程等有了突破性进展。,2008-2009,学年第,1,学期,神经网络学习,人脑中神经元（神经细胞）的结构,Nucleus,：,核,Cell body,：,细胞体,Dentrite,：,树突,Axon,：,轴突,2008-2009,学年第,1,学期,神经网络学习,神经元之间的电信号传递,轴突后部裂出,许多,分枝，分枝末端有突触，突触与树突连接；,轴突中的信号经突触转换为“阻止”或“激活”信号；,当神经元的“净输入”超过阈值时，其沿轴突发出信号；,改变突触的效能，神经元之间的影响随之改变，学习就发生了。,突触（神经键）,2008-2009,学年第,1,学期,神经网络学习,生物神经元的结构,摘自张仰森,人工智能原理与应用,随书课件,2008-2009,学年第,1,学期,神经网络学习,1943,年，,W.S. McCulloch,和,W.A. Pitts,合作提出了第一个人工神经元模型（,M-P,模型）；,Sum,y,0 T,1,f,是阈值为,T,的阶跃函数,I,1,I,2,I,N,W,1,W,2,W,N,y,M-P,模型中输入、输出的关系,摘自,http:/osp.mans.edu.eg/rehan/ann/2_3_1%20The%20McCulloch-Pitts%20Model%20of%20Neuron.htm,2008-2009,学年第,1,学期,神经网络学习,M-P,神经元模型,树突,加和,细胞体,阈值,轴突,参考：,http:/www.doc.ic.ac.uk/nd/surprise_96/journal/vol4/cs11/report.html#What%20is%20a%20Neural%20Network,突触,2008-2009,学年第,1,学期,神经网络学习,1949,年，,Donala,U.,Hebb,在“,The Organization of Behavior”,一书中认为,学习的过程最终发生在神经元之间的,突触,部位，突触的连接强度随着突触前后神经元的活动而变化；,连接权的学习律,正比于,突触前后两个神经元的活动状态值的乘积；,可假设权是对称的，细胞的互连结构是通过改变彼此的连接权创造出来的。,突触连接强度的可变性是学习和记忆的基础,2008-2009,学年第,1,学期,神经网络学习,Hebb,规则,这是神经网络的第,1,个学习算法；,神经元的输出,连接权值的调整公式,学习率,净输入,2008-2009,学年第,1,学期,神经网络学习,1957,年，,Frank Rosenblatt,在,M-P,模型基础上，定义了一个具有,单层,计算单元的神经网络结构，取名为“感知器,”,。,输入层,计算层,(,输出层,),x,1,x,2,x,i,x,n,y,1,y,j,y,m,w,1,j,w,nj,2008-2009,学年第,1,学期,神经网络学习,设计一个神经网络模型，,除了明确网络的结构、神经元的传输函数（,f,）；,还要给出,学习算法,。,学习算法用于得出神经网络中的各个参数。,学习算法通常是,迭代,算法，对应神经网络的,演变,过程；,算法收敛到一个稳定状态时，神经网络的各参数（连接权值、阈值等）就基本不变了；,这个过程称为神经网络的学习或训练。,2008-2009,学年第,1,学期,神经网络学习,人工神经网络的两个操作模式,训练模式（,training mode,）,准备大量的有教师指导的（或无教师指导的）的训练样本（即实例），对,ANN,进行训练，确定,ANN,的内部参数（甚至结构）。,使用模式（,using mode,）,输入一个实际例子，让,ANN,分析并给出结果。,2008-2009,学年第,1,学期,神经网络学习,“感知器”是怎么训练的呢？,假设每个样本含,n,个属性，用向量,(,x,1,x,2, ,x,n,),表示；若,X,为样本变量，,X,R,n,；,w,ij,是,x,i,到神经元,j,的连接权值，,W,j,是神经元,j,的输入连接的权值向量，即,W,j,=(,w,1,j, w,2,j, ,w,nj,),；,先随机设置,w,ij,和,j,，,j,是神经元,j,的阈值；,不同神经元的参数（包括连接权值和阈值）的学习是相互独立的，故只需给出一个神经元的学习算法。,2008-2009,学年第,1,学期,神经网络学习,神经元,j,的参数怎么学习呢？,样本必须是,有教师指导,的，即预先知道其分类；,输入,(,x,1,x,2, ,x,n,),时，神经元,j,的输出应为,d,j,。,对于离散感知器，,y,j,按下式计算。,则,w,ij,的调整规则是,w,ij,(,t,+1) =,w,ij,(,t,) +,(,d,j,-,y,j,),x,i,为调整步幅系数，,0,2008-2009,学年第,1,学期,神经网络学习,“感知器”对,线性可分,问题具有分类能力,若样本空间为,R,n,，存在,n-1,维的,超平面,可将样本分为两类，则称线性可分。,线性可分的二维样本空间,存在至少一组,w,ij,和,j,，使得对应两个子空间的神经元输出分别为,0,和,1,。,2008-2009,学年第,1,学期,神经网络学习,t,样本,X,期望,输出,d,W,(,t,),实际输出,y=,W,(,t,),T,X,W,(,t+,1)=,W,(,t,),+,(,d,y,),X,0,(1, -1, -1),-1,(0, 0, 0),0,(-0.4, 0.4, 0.4),1,(1, 1, -1),1,(-0.4, 0.4, 0.4),-0.4,(0.16, 0.96, -0.16),2,(1, -1, -1),-1,(0.16, 0.96, -0.16),-0.64,(0.016, 1.104, -0.016),3,(1, 1, -1),1,(0.016, 1.104, -0.016),1.136,(0.038, 1.050, -0.038),(0, 1, 0),例：连接强度,W,的学习过程（,=0.4,）,验证：,(0, 1, 0),T,(1, -1, -1) = -1 (0, 1, 0),T,(1, 1, -1) = 1,2008-2009,学年第,1,学期,神经网络学习,“感知器”无法解决,线性不可分,问题；,1969,年，,Minsky,和,Papert,指出了“感知器,”,的这种局限性，例如，“感知器”无法实现,“,异或,”,逻辑。,逻辑“与”,逻辑“异或,”,x,1,x,2,y,x,1,x,2,y,0,0,0,0,0,0,0,1,0,0,1,1,1,0,0,1,0,1,1,1,1,1,1,0,2008-2009,学年第,1,学期,神经网络学习,设输入向量,X=(x,1, x,2,),，神经元,j,的输出为：,学习逻辑“与”时，有,至少存在一组,w,1,j,、,w,2,j,和,满足上述方程组，即单结点感知器对,2,输入的逻辑“与”,问题有分类能力。,2008-2009,学年第,1,学期,神经网络学习,学习逻辑“异或”时，有,不存在任何一组,w,1,j,、,w,2,j,和,满足上述方程组，即单结点感知器不能对,2,输入的逻辑“异或”,问题求解。,0 1,1,x,1,x,2,线性可分,0 1,1,x,1,x,2,线性不可分,2008-2009,学年第,1,学期,神经网络学习,多层感知器,采用,二层或多层感知器；,只允许某一层的连接权值可调，因为无法知道网络,隐层,的神经元的理想输出；,要允许各层的连接权值可调，需要用,1986,年提出的误差反向传播（即,BP,）学习算法。,多层感知器可解决单层感知器无法解决的某些问题，例如，用二层感知器就可解决异或问题。,2008-2009,学年第,1,学期,神经网络学习,70,年代，集成电路使计算机快速发展；,在“感知器”局限性的困扰下，机器学习的热点由连接主义（即神经网络）转向符号主义；,70,年代被认为是,ANN,的研究低潮期，但仍有,ANN,的一些重要成果出现。,72,年，芬兰,T.,Kohonen,教授提出了无教师学习网络,SOM,（,Self-Organizing feature Map,）,;,76,年，美国,Grossberg,教授提出了,ART,（,Adaptive,Resonnance,Theory,）。,自组织竞争网络模型,2008-2009,学年第,1,学期,神经网络学习,自组织竞争神经网络模型,生物神经网络中，有,侧抑制,现象；,一个神经元兴奋，通过突触,抑制,相邻神经元；,它越兴奋，对周围神经元的抑制作用越强。,抑制现象使神经元之间出现竞争；,起初，各神经元都处于（,不同程度,）兴奋状态，最后“胜者为王,”,。,自组织特征映射（,SOM,）和自适应共振理论（,ART,）都属于这类神经网络模型。,2008-2009,学年第,1,学期,神经网络学习,SOM,的典型结构,输入层,竞争层,(,输出层,),x,1,x,2,x,i,x,n,y,1,y,j,y,m,w,1,j,w,nj,2008-2009,学年第,1,学期,神经网络学习,SOM,可实现聚类分析,聚类,在,没有,教师指导的情况下，自动寻找样本的属性关系，将相似的样本划归为一类。,分类,已知各样本的类别，在类别知识（即教师信号）的,指导下,，形成分类规则，将各样本分到各自的类中。,共同点：寻找,样本,-,类,的映射函数。,2008-2009,学年第,1,学期,神经网络学习,样本相似度的测量,设,X,1,和,X,2,是表示两个样本的向量；,欧式距离法,余弦法（向量夹角法）,X,1,X,2,X,1,X,2,2008-2009,学年第,1,学期,神经网络学习,SOM,中的竞争学习算法,对样本,X,和各神经元的连接权值向量,W,j,规一化,寻找获胜的神经元,j,X,1,X,i,X,n,w,1,j,w,ij,w,nj,y,j,输入到神经元,j,的连接,2008-2009,学年第,1,学期,神经网络学习,SOM,中的竞争学习算法,网络输出与权值调整,对,W,j,*,(,t,+1),进行,归一化,如果,足够小则退出；否则,衰减,，,转,2008-2009,学年第,1,学期,神经网络学习,1982,年，美国物理学家,John J. Hopfield,提出了一种,全连接,神经网络模型（即,Hopfield,模型）；,这是一种,离散型,反馈式,神经网络（英缩写,DHNN,）；,引入了“能量函数,”,概念，支持对神经网络运行稳定性进行判定；,成功求解旅行商问题（,Traveling Salesman Problems,）。,1984,年，他又提出了连续型,Hopfield,网络（英缩写,CHNN,） 。,2008-2009,学年第,1,学期,神经网络学习,离散型,Hopfield,神经网络的结构模型,一般有,w,ii,=0,，,w,ij,=,w,ji,y,1,y,2,y,j,y,n,1,2,j,n,w,2,j,x,1,x,2,x,j,x,n,w,j,2,2008-2009,学年第,1,学期,神经网络学习,神经元的,输出,也称神经元的,状态,；,所有神经元的状态构成反馈网络的状态,Y,；,Y,= (,y,1,y,2, ,y,n,),网络输入就是网络状态的初始值,Y,(0),；,Y,(0)= (,x,1,(0),x,2,(0), ,x,n,(0),由初始状态，网络开始演化。,y,j,(,t,+1) =,f,(,net,j,),这里，,net,j,为神经元,j,的,净输入,，,f,(,),为神经元的,特性函数,（也称作用、传递或转移函数）。,y,1,y,2,y,j,y,n,n,x,1,x,2,x,j,x,n,2008-2009,学年第,1,学期,神经网络学习,常见的特性函数,1,0,f,u,1,0,f,u,1,0,f,u,u,k,阈值型,S,状,(,如,sigmoid,函数,),分段线性,(,饱和线性,),2008-2009,学年第,1,学期,神经网络学习,对于,DHNN,，特性函数,f,可以是阈值型,也可以是分段线性型,净输入,net,j,的计算,2008-2009,学年第,1,学期,神经网络学习,DHNN,的两种学习方式,串行方式（也称异步方式）,每次调整，只有一个神经元按其,净输入,调整输出（即状态），而其他神经元保持状态不变；,神经元状态的调整次序可按,某种,规定次序进行，也可随机选定。,并行方式（也称同步方式）,每次调整，各神经元,都,按其净输入调整各自的状态。,y,1,y,2,y,j,y,n,n,x,1,x,2,x,j,x,n,2008-2009,学年第,1,学期,神经网络学习,DHNN,可能,收敛于,某个稳定状态，也可能,产生振荡,构成,极限环,；,在串行方式下，为使网络收敛，,W,应为,对称阵,；,在并行方式下，为使网络收敛，,W,应为,非负定,对称阵；,保证给定的样本是网络的,吸引子,，且有一定的,吸引域,。,参考：朱大奇,史慧,.,人工神经网络原理及应用,.,第,3,章,.,科学出版社, 2006,年,3,月第,1,版,.,y,1,y,2,y,j,y,n,n,x,1,x,2,x,j,x,n,2008-2009,学年第,1,学期,神经网络学习,连续型,Hopfield,神经网络模型,该模型可表示为下列的非线性微分方程组：,u,i,是神经元,i,的膜电位，,C,i,和,R,i,分别是输入电容和电阻，,I,i,是电路外的输入电流，,w,ij,是神经元,i,到神经元,j,的连接强度，,f,(,u,),是,u,的,非线性函数。,这是一个,N,输入、,N,输出的有,N,组运算放大器的电路，每个运放输出有到各运放输入的,反馈,通路。,2008-2009,学年第,1,学期,神经网络学习,连续型,Hopfield,神经网络的神经元模型,V,j,V,j,u,j,C,j,V,i,R,ij,= 1/,w,ij,R,j,V,j,可对应,0,至,1,之间的任意实数,2008-2009,学年第,1,学期,神经网络学习,Hopfield,网络是一种非线性的动力网络；,可通过反复的网络动态迭代来求解问题，这是符号逻辑方法所不具有的特性；,在求解某些问题时，其求解方法与人类的求解方法很相似；,所求得的解可能不是最佳解，但其求解速度快。,2008-2009,学年第,1,学期,神经网络学习,1986,年，,MIT,出版社（,Cambridge,）出版了,J.L.,Rumelhart,和,D.E. McClelland,主编的“,Parallel Distributed Processing: Exploration in the Microstructures of Cognition,”,一书；,其中，详细分析了,多层前馈网络,中的,误差反向传播,（,Error Back Propagation,）算法，即,BP,算法，它很好地解决了感知器局限性问题。,2008-2009,学年第,1,学期,神经网络学习,前馈型神经网络,输入层,输出层,隐层,x,1,x,i,x,N,1,y,1,y,i,y,Nm,2008-2009,学年第,1,学期,神经网络学习,BP,算法,正向传播,从输入层到输出层，逐层计算结点状态；,每一层结点的状态只影响下一层结点的状态。,如输出层没有得到期望输出（即有误差），转入反向传播过程。,反向传播,将误差信号沿原路返回，通过修改各层的连接权值，使误差信号递减直到最小。,2008-2009,学年第,1,学期,神经网络学习,是,还有样本吗,BP,算法的流程图,初始化,给定输入向量和期望输出,求隐层、输出层各结点输出,求输出与期望输出的误差,e,求误差梯度,权值学习,计算隐层结点误差,否,设置连接权和阈的初值,有,e,足够小,结束,无,2008-2009,学年第,1,学期,神经网络学习,多层前馈网络中的符号,x,i,：样本的第,i,个属性,y,i,：,输出层,神经元,i,的输出,d,i,：输出层神经元,i,的期望输出,w,ijk,：第,i,层神经元,j,到第,i,+1,层神经元,k,的连接权值,o,ij,：第,i,层神经元,j,的输出,ij,：第,i,层神经元,j,的阈值,net,ij,：第,i,层神经元,j,的净输入,N,i,：第,i,层神经元的数目,2008-2009,学年第,1,学期,神经网络学习,BP,算法中的前向计算,特征函数必须是有界连续可微的，如,sigmoid,函数,2008-2009,学年第,1,学期,神经网络学习,BP,算法中的反向计算,输出层神经元,j,的状态误差,网络学习的目标函数,w,ijk,的调整量,2008-2009,学年第,1,学期,神经网络学习,BP,算法中的反向计算（续）,2008-2009,学年第,1,学期,神经网络学习,BP,学习算法的特点,特性函数是连续可微的，通过学习可得到,超曲面,来划分样本空间；,对于,n,层网络结构，学习后可得到,n-1,个超曲面，组成,复合曲面,，从而实现,复杂的,分类任务；,缺点：,算法的收敛速度慢；,依据,梯度下降,理论修改参数，可能出现局部极小问题。,2008-2009,学年第,1,学期,神经网络学习,其他神经网络模型,BAM,双向联想记忆神经网络,CMAC,小脑神经网络,RBF,径向基函数神经网络,CPN,对偶传播神经网络,量子神经网络,参考：朱大奇，史慧,.,人工神经网络原理及应用,.,科学出版社，,2006.3,2008-2009,学年第,1,学期,神经网络学习,小结,人工神经网络是一种并行计算模型；,不同于冯,诺依曼计算机；,但神经网络计算机还没有出现，一般在冯氏计算机上进行串行模拟。,人工神经网络中知识是分布存储的；,蕴含在连接权值、阈值、网络结构中；,神经网络学习不仅是参数学习，还包括结构学习。,对人类而言，完全,透明,，无法理解；,教材,P252,第,2,行，“不透明”应为“透明”,2008-2009,学年第,1,学期,神经网络学习,小结（续）,人工神经网络有较强的容错性和鲁棒性；,对于样本少量错误不敏感。,人工神经网络的学习能力有别于符号主义；,在符号主义机器学习中，根据样本修改规则，怎么修改由人事先确定；,而神经网络的学习从,随机初始值,开始，在理论上学习结果不依赖初始值，且学习过程无人工干预。,2008-2009,学年第,1,学期,神经网络学习,小结（续）,人工神经网络不适合高精度计算；,神经网络的鲁棒性与精确计算本身就是矛盾的。,人工神经网络的学习还有待研究。,目前的学习算法中，使用了过多的经验参数；,有些学习算法的收敛速度太慢。,2008-2009,学年第,1,学期,神经网络学习,