神经网络及应用第二章人工神经网络基础

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,第,2,章人工神经网络基础,生物神经网络基础,人工神经元模型,人工神经网络模型,神经网络学习,2.1,生物神经网络基础,2.1.1,生物神经元的结构,2.1,生物神经网络基础,神经元在结构上细胞体、树突、轴突和突触,4,部分组成,1,）细胞体（,Cell body,）,神经元的主体,由细胞核、细胞质和细胞膜,3,部分构成,细胞膜对细胞液中的不同离子具有不同的通透性，使得膜内外存在离子浓度差，从而出现内负外正的静息电位,2.1,生物神经网络基础,2,）树突（,Dendrite,）,从细胞体向外延伸出许多突起的神经纤维，其中大部分突起较短，其分支多群集在细胞体附近形成灌木丛状，这些突起称为树突,神经元靠树突接受来自其他神经元的输入信号，相当于细胞体的输入端,3,）轴突（,Axon,）,由细胞体伸出的最长的一条突起，细而长,用来传出细胞体产生的输出电化学信号，相当于细胞体的输出端,2.1,生物神经网络基础,4,）突触（,Synapse,）,神经元之间通过一个神经元的轴突末梢和其他神经元的细胞体或树突进行通信连接，这种连接相当于神经元之间的输入,/,输出接口，称为突触,每个神经元大约有,10,3,10,5,个突触，多个神经元以突触连接即形成神经网络,2.1,生物神经网络基础,2.1.2,生物神经元的信息处理机理,1,）信息产生,神经元的三种状态：,无信号输入时：,电位差：,-70mV,静息电位,细胞膜状态,极化状态（,Polarization,）,神经元状态,静息状态,静息电位向正偏移,细胞膜状态,去极化（,Depolarization,）,神经元状态,兴奋状态,2.1,生物神经网络基础,静息电位向负偏移,细胞膜状态,超极化（,Hyperpolarization,）,神经元状态,抑制状态,神经脉冲的产生过程,膜电位超过阈值电位（,-55mV,），神经细胞,活性细胞,细胞的兴奋过程：膜电位自发地急速升高，在,1ms,内比静息膜电位上升,100mV,左右，此后膜电位又急速下降，回到静止的值，产生一个宽度为,1ms,，振幅为,100mV,的电脉冲，又称神经冲动,之后慢慢下降到,-55mV,，这段时间约为数毫秒，称为不应期,2.1,生物神经网络基础,2,）信息的传递与接收,神经脉冲信号沿轴突传向其末端的各个分支,从脉冲信号到达突触前膜到突触后膜电位发生变化，有,0.2ms1ms,的时间延迟，称为突触延迟,神经元间的突触联系大部分是在出生后由于给予刺激而成长起来的，正是由于各神经元之间的突触连接强度和极性有所不同并可进行调整，由此人脑才具有学习和存储信息的功能,2.1,生物神经网络基础,3,）信息整合,单个神经元可以与上千个或更多其他的神经元轴突末梢形成突触连接，接受从各个轴突传来的脉冲输入,这些输入可到达神经元的不同部位，输入部位不同，对神经元影响的权重也不同,在同一时刻产生的刺激所引发的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和,空间整合,各输入脉冲抵达神经元的先后时间也不一样，由一个脉冲引起的突触厚膜电位很小，但在其持续时间内有另一脉冲相继到达时，总的突触后膜电位增大,时间整合,2.1,生物神经网络基础,一个神经元接受的信息，在时间和空间上常呈现出一种复杂多变的形式，需要神经元对它们进行积累和整合加工，从而决定其输出的时机和强度。正是神经元这种整合作用，才使得亿万个神经元在神经系统中有条不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经系统的各种信息处理功能,2.2,人工神经元模型,2.2.1,神经元的建模,人工神经网络中，神经元常被称为“处理单元”或“节点”。,1943,年心理学家,McCulloch,和数学家,W.Pitts,的,M-P,模型的,6,个假定：,1,）每个神经元都是一个多输入单输出的信息处理单元；,2,）神经元输入分兴奋性输入和抑制性输入两种类型；,3,）神经元具有空间整合特性和阈值特性；,4,）神经元输入与输出间有固定的时滞，主要取决于突触延迟；,5,）忽略时间整合作用和不应期；,6,）神经元本身是非时变的，即其突触时延和突触强度均为常数。,2.2,人工神经元模型,x,1,x,i,x,n,o,j,神经元模型示意图,w,1j,w,ij,w,nj,f,2.2,人工神经元模型,许多输入信号（,x,i,）同时输入神经元,j,。,对每个输入都有一个加权系数,w,ij,，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。,组合输入信号的“总和值”，相应于生物神经元的膜电位。,神经元激活与否取决于某一阈值电平，即只有当其输入综合超过阈值时，神经元才被激活并发放脉冲，否则神经元不会产生输入信号。,o,j,表示神经元输出，而输出与输入之间的关系由函数,f,表示。,2.2,人工神经元模型,2.2.2,神经元的数学模型,令,x,i,(,t,),表示,t,时刻的神经元,j,接受的来自神经元的输入信息，,o,j,(t,),表示,t,时刻神经元,j,的输出信息，则神经元,j,的状态可以表示为,2.2,人工神经元模型,简单起见，将突触时延取为单位时间,“输入总和”常称为神经元在,t,时刻的净输入，用下式表示,表现了神经元,j,的空间整合特性而未考虑时间整合,当 时，神经元才能被激活。,o,j,(,t+1,),与,x,i,(,t,),之间的单位时差代表所有的神经元具有相同的、恒定的工作节奏。,2.2,人工神经元模型,将时间,t,省略，我们得到,2.2,人工神经元模型,2.2.3,神经元的变换函数,执行对该神经元所获得的网络输入的变换，也可以称为激活函数、激励函数、活化函数,常用的变换函数：,1,）阈值型变换函数,单极性阈值型变换函数,f,(,x,),0,1.0,x,2.2,人工神经元模型,双极性阈值型变换函数,2,）非线性变换函数,实数域,R,到,0,1,闭集的非减连续函数,最常用的非线性变换函数是,sigmoid,函数，简称,S,型函数，其特点是函数本身及其导数都是连续的,x,f,(,x,),0,1.0,-1.0,2.2,人工神经元模型,单极性,S,型变换函数,双极性,S,型变换函数,f,(,x,),0,1.0,x,0.5,f,(,x,),0,1.0,x,-1.0,2.2,人工神经元模型,3),分段线性变换函数,单极性分段性线性变换函数 双极性分段性线性变换函数,f,(,x,),0,1.0,x,x,c,f,(,x,),-1.0,1.0,x,x,c,0,2.2,人工神经元模型,4,）概率型变换函数,输入输出关系是不确定的，用一个随机函数来描述其输出为,1,或者,0,的概率,设神经元输出为,1,的概率为,该变换函数输出状态与热力学中的波尔兹曼（,Boltzmann,）分布类似，因此也称为热力学模型,2.3,人工神经网络模型,2.3.1,网络拓扑结构类型,1,）层次型结构,a,）单纯型层次网络结构,b,）输出层到输入层有连接的层次网络结构,c,）层内有互联的层次网络结构,2.3,人工神经网络模型,2,）互联型结构,a,）全互联型,每个节点均与所有其他节点相连,b,）局部互联型,每个节点只与其临近的节点有连接,c,）稀疏连接型,网络中的节点只与少数相距较远的节点相连,2.3,人工神经网络模型,2.3.2,网络信息流向类型,1,）前馈型网络,输入层,隐层,隐层,输出层,2,）反馈型网络,2.4,神经网络学习,2.4.1,网络学习算法的一些基本概念,人工神经网络的功能特性由功能特性由其连接的拓扑结构和连接权值决定,神经网络能够通过对样本的学习训练，不断改变网络的链接权值以及拓扑结构，以使网络的输出不断地接近期望的输出,这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整,改变权值的规则称为学习规则或学习算法，亦称训练规则或训练算法,2.4,神经网络学习,神经网络的学习算法分为,1,）有导师学习,也称为有监督学习，采用纠错规则,在学习训练过程中需要不断地给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”,将神经网络的实际输出同期望输出进行比较，根据差错的方向和大小按一定的规则调整权值,当网络可以对各种给定输入均能产生所期望的输出时，结束训练,2.4,神经网络学习,2,）无导师学习,也称无监督学习,不断地给网络提供动态输入信息，网络根据其特有内部结构和学习规则调整权值，在输入信息中发现可能存在的模式和规律，通过这种自组织过程，实现自动分类,有时神经网络所解决问题的先验信息很少，甚至没有，这种情况下无导师学习就显得更有实际意义,2.4,神经网络学习,1990,年，日本著名神经网络学家,Amari,提出了一种神经网络权值调整的通用学习规则：,学习信号,生成器,学习信号,教师信号,权向量,W,j,在,t,时刻的调整量,W,j,(,t,),与,t,时刻的输入向量,X,(,t,),和,学习信号,r,的乘积成正比,2.4,神经网络学习,用数学式表达为,为正数，称为学习常数，决定了学习速率。,基于离散时间调整时，,不同的学习规则对,r(,W,j,X,d,j,),有不同的定义，从而形成各种各样的神经网络。,2.4,神经网络学习,2.4.2,Hebb,学习规则,基于“等神经元,i,与神经元,j,同时处于兴奋状态时，两者的连接强度应增加”。,学习信号简单地等于神经元的输出：,权向量调整公式为：,分量的调整：,2.4,神经网络学习,Hebb,学习规则需要预先设置权饱和值，以防止输入和输出正负始终一致时出现权值无约束增长,权值初始化：对,W,j,(0),赋予零附近的小随机数,Hebb,学习规则是一种,纯前馈,、,无导师,学习,该规则至今仍在各种神经网络模型中起着重要作用,2.4,神经网络学习,例题,2.1,设有,4,输入单输出神经元网络，其阈值,T,=0,，学习率,=1,，,3,个输入样本向量和初始权向量分别为,X,1,=(1,-2,1.5,0),T,，,X,2,=(1,-0.5,-2,-1.5),T,，,X,3,=(0,1,-1,1.5),T,，,W,(0)=(1,-1,0,0.5),T,。,解,：设变换函数为双极性离散函数,f,(net)=,sgn(net,),，权值调整步骤为：,(1),输入第一个样本,X,1,，计算净输入,net,1,，并调整权向量,W,(1),net,1,=,W,(0),T,X,1,=(1,-1,0,0.5)(1,-2,1.5,0),T,=3,W,(1)=,W,(0)+,sgn(net,1,),X,1,=(1,-1,0,0.5),T,+(1,-2,1.5,0),T,=(2,-3,1.5,0.5),T,2.4,神经网络学习,(2),输入第二个样本,X,2,，计算净输入,net,2,，并调整权向量,W,(2),net,2,=,W,(1),T,X,2,=(2,-3,1.5,0.5)(1,-0.5,-2,-1.5),T,=-0.25,W,(2)=,W,(1)+,sgn(net,2,),X,2,=(2,-3,1.5,0.5),T,-(1,-0.5,-2,-1.5),T,=(1,-2.5,3.5,2),T,(2),输入第三个样本,X,3,，计算净输入,net,3,，并调整权向量,W,(3),net,3,=,W,(2),T,X,3,=(1,-2.5,3.5,2)(0,1,-1,1.5),T,=-3,W,(3)=,W,(2)+,sgn(net,3,),X,3,=(1,-2.5,3.5,2),T,-(0,1,-1,1.5),T,=(1,-3.5,4.5,0.5),T,可以看出，当变换函数为符号函数且,=1,时，,Hebb,学习规则的权值调整将简化为权向量加或减输入向量,2.4,神经网络学习,当变换函数为双极性连续函数 ，权值调整步骤如上,(1),(