资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,北京工商大学信息工程学院,第五章,反馈神经网络,5,反馈神经网络,Hopfield,网络分为离散型和连续型两种网络模型,分别记作,DHNN(Discrete Hopfield Neural Network),和,CHNN(Continues Hopfield Neural Network),,,本章重点讨论前一种类型。,根据神经网络运行过程中的信息流向,可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定,而与网络先前的输出状态无关。,美国加州理工学院物理学家,J.J.Hopfield,教授于,1982,年提出一种单层反馈神经网络,后来人们将这种反馈网络称作,Hopfield,网,。,5.1.1,网络的结构与工作方式,离散型反馈网络的拓扑结构,5.1,离散型,Hopfield,神经网络,(1),网络的状态,DHNN,网中的每个神经元都有相同的功能,其输出称为状态,用,x,j,表示。,j=1,2,n,所有神经元状态的集合就构成反馈网络的状态,X,=,x,1,x,2,x,n,T,反馈网络的输入就是网络的状态初始值,表示为,X,(,0,)=,x,1,(,0,),x,2,(,0,),x,n,(,0,),T,反馈网络在外界输入激发下,从初始状态进入动态演变过程,变化规律为,j=1,2,n,(5.1),DHNN,网的转移函数常采用符号函数,式中净输入为,j=1,2,n,(5.2),对于,DHNN,网,一般有,w,ii,=0,,,w,ij,=,w,ji,。,反馈网络稳定时每个神经元的状态都不再改变,此时的稳定状态就是网络的输出,表示为,(2),网络的异步工作方式,(5.3),(3),网络的同步工作方式,网络的同步工作方式是一种并行方式,所有神经元同时调整状态,即,j=1,2,n,(5.4),网络运行时每次只有一个神经元进行状态的调整计算,其它神经元的状态均保持不变,即,5.1.2.1,网络的稳定性,DHNN,网实质上是一个离散的非线性动力学系统。网络从初态,X,(0),开始,若能经有限次递归后,其状态不再发生变化,即,X,(,t,+1),X,(,t,),,,则称该网络是稳定的。,如果网络是稳定的,它可以从任一初态收敛到一个稳态:,5.1.2,网络的稳定性与吸引子,若网络是不稳定的,由于,DHNN,网每个节点的状态只有,1,和,-1,两种情况,网络不可能出现无限发散的情况,而只可能出现限幅的自持振荡,这种网络称为有限环网络。,如果网络状态的轨迹在某个确定的范围内变迁,但既不重复也不停止,状态变化为无穷多个,轨迹也不发散到无穷远,这种现象称为浑沌。,网络达到稳定时的状态,X,,,称为网络的,吸引子,。,如果把吸引子视为问题的解,,从初态朝吸引子演变,的过程便是求解计算的过程。,若把需记忆的样本信息存储于网络不同的吸引子,当输入含有部分记忆信息的样本时,网络的演变过程便是,从部分信息寻找全部信息,,即,联想回忆,的过程。,定义,5.1,若网络的状态,X,满足,X,=,f,(,WX-T,),则称,X,为网络的吸引子。,5.1.2.2,吸引子与能量函数,定理,5.1,对于,DHNN,网,若,按异步方式,调整网络状态,且连接权矩阵,W,为对称阵,,则对于任意初态,网络都最终收敛到一个吸引子。,定理,5.1,证明:,定义网络的能量函数为:,(5.5),令网络的能量改变量为,E,,,状态改变量为,X,,,有,(5.6),(5.7),5.1.2.2,吸引子与能量函数,将式,(5.4),、,(5.6),代入,(5.5),,则网络能量可进一步展开为,(5.8),将 代入上式,并考虑到,W,为对称矩阵,有,(5.9),上式中可能出现的情况:,情况,a,:,x,j,(,t,)=-1,x,j,(,t+1,)=1,由式,(5.7),得,x,j,(,t,)=2,由式,(5.1),知,,net,j,(,t,),0,,,代入式,(5.9),,得,E,(,t,),0,。,情况,b,:,x,j,(,t,)=1,x,j,(,t+1,)=-1,所以,x,j,(,t,)=-2,由式,(5.1),知,,net,j,(,t,),0,,,代入式,(5.9),,得,E,(,t,),P,,,则权值矩阵为记忆样本的外积和,(5.16),5.1.3,网络的权值设计,若取,w,jj,=0,,,上式应写为,(5.17),式中,I,为单位矩阵。上式写成分量元素形式,有,(5.18),下面检验所给样本能否称为吸引子。,因为,P,个样本,X,p,,,p=1,2,P,,,x,-1,1,n,是两两正交的,有,因为,nP,,,所以有,可见给定样本,X,p,,,p=1,2,P,是吸引子。,
展开阅读全文