人工神经网络_3

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,第,5,章,对传网,5.1,网络结构,5.2,网络的运行,5.3,Kohonen,层的训练,5.4,Kohonen,层联接权的初始化方法,5.5,Grossberg,层的训练,5.6,补充说明,9/15/2024,第,5,章,对传网,Robert Hecht-Nielson,在,1987,年提出了对向传播神经网络,(Counter propagation Networks,，,CPN),，简称对传网。,CPN,为异构网：,Kohonen1981,年提出的自组织映射,(Self-organization map,，,SOM),算法,Kohonen,层,;,Grossberg1969,年提出的散射星,(,Outstar,),算法,Grossberg,层。,9/15/2024,第,5,章,对传网,Kohonen,层,无导师学习算法，解决网络隐含层的理想输出未知问题；,Grossberg,层,有导师学习算法，解决输出层按系统要求给出指定输出结果的问题。,训练时间短：,BP,的,1%,；,应用面：比较窄。,让网络的隐藏层执行无导师学习，是解决多级网络训练的另一个思路。,9/15/2024,5.1,网络结构,x,1,y,1,W,V,自组织映射,（无导师学习）,Kohonen,层,散射星,（有导师学习）,Grossberg,层,输入层,K,1,G,1,K,2,G,2,x,2,y,2,K,h,G,m,x,n,y,m,9/15/2024,5.1,网络结构,以,Kohonen,层的神经元为“中心”讨论问题,K,1,W,1,=(w,11,，,w,21,，,，,w,n1,),T,V,1,=(v,11,，,v,12,，,，,v,1m,),K,2,W,2,=(w,12,，,w,22,，,，,w,n2,),T,V,2,=(v,21,，,v,22,，,，,v,2m,),K,h,W,h,=(w,1h,，,w,2h,，,，,w,nh,),T,V,h,=(v,h1,，,v,h2,，,，,v,hm,),9/15/2024,5.2,网络的运行,除拓扑结构外，网络的运行机制也是确定网络结构（同构、异构）和性能的重要因素,。,CPN,是采用竞争型网络学习规则的异构网。,竞争学习：同一层次的神经元相互竞争，胜利的神经元修改与其连接的权值模式分类。,9/15/2024,5.2,网络的运行,5.2.1,Kohonen,层,“,强者占先、弱者退出,”,（,the winner takes all,）,knet,j,=,XW,j,= (x,1,，,x,2,，,，,x,n,)(w,1j,，,w,2j,，,，,w,nj,),T,= w,1j,x,1,+w,2j,x,2,+,w,nj,x,n,向量形式,KNET=(knet,1,，,knet,2,，,，,knet,h,),9/15/2024,5.2.1,Kohonen,层,K,1,，,K,2,，,，,K,h,的输出,k,1,，,k,2,，,，,k,h,构成向量,K=(k,1,，,k,2,，,，,k,h,),1,jh,1,knet,j,=Max,knet,1,，,knet,2,，,，,knet,h,k,j,=,0,其它,9/15/2024,上式等价于,几何意义：,学习目的：寻找与输入向量,X,最大相似度（最接近）的,W,o,9/15/2024,5.2.2,Grossberg,层,Grossberg,层的每个神经元,G,j,（,1,jm,）,gnet,j,= K (v,1j,，,v,2j,，,，,v,hj,),T,= (k,1,，,k,2,，,，,k,h,) (v,1j,，,v,2j,，,，,v,hj,),T,=k,1,v,1j,+ k,2,v,2j,+,k,h,v,hj,唯一输出,1,的神经元为,K,o,gnet,j,= k,1,v,1j,+ k,2,v,2j,+,k,h,v,hj,=,v,oj,9/15/2024,5.2.2,Grossberg,层,GNET=( gnet,1,，,gnet,2,，,，,gnet,m,),=(v,o1,，,v,o2,，,，,v,om,),=V,o,散射星,：,V,o,的各个分量是从,K,o,到,Grossberg,层各神经元的联接权,9/15/2024,5.2.2,Grossberg,层,CPN,用于模式的完善,，此时,n=m,：,接受含有噪音的输入模式,(x,1,，,x,2,，,，,x,n,),，,而输出去掉噪音后的模式,(v,o1,，,v,o2,，,，,v,om,),对训练启示,W,1,，,W,2,，,，,W,h,，,各类,X,的共同特征,V,1,，,V,2,，,，,V,h,，,X,对应的理想输出,Y,的共同特征,9/15/2024,5.3,Kohonen,层的训练,5.3.1,输入向量的预处理,单位化处理,X= (x,1,，,x,2,，,，,x,n,),X,=,(x,1,，,x,2,，,，,x,n,),= (x,1,/,X,，,x,2,/,X,，,，,x,n,/,X,),即：,x,j,x,j,/,X,9/15/2024,算法,5-1,Kohonen,层训练算法,对所有的输入向量，进行单位化处理；,对每个样本（,X,，,Y,）,执行下列过程,2.1,for j=1 to h do,根据相应式子计算,knet,j,；,2.2,求出最大的,knet,o,:,2.2.1 max=knet,1,；,o=1,2.2.2 for j=1 to h do,if,knet,j,max then max=,knet,j,；,o=j,；,9/15/2024,算法,5-1,Kohonen,层训练算法,2.3,计算,K,2.3.1,for j=1 to h do,k,j,=0,；,2.3.2,k,o,=1,；,2.4,使,W,o,更接近,X,：,W,o,(new),=W,o,(old),+,(X- W,o,(old),);,2.5,对,W,o,(new),进行单位化处理,9/15/2024,W,o,(new),=W,o,(old),+,(X- W,o,(old),),（,0,，,1,）,W,o,(new),=W,o,(old),+,(X- W,o,(old),),= W,o,(old),+,X-,W,o,(old),X-W,o,(new),=X-W,o,(old),+,(X- W,o,(old),),=X-W,o,(old),-,X+,W,o,(old),= X(1-,) -W,o,(old),(1-,),=(1-,)(,X-W,o,(old),),由,0,(1-,)max then max=,knet,j,；,o=j,；,9/15/2024,算法,5-2 CPN,训练算法一,2.3,计算,K,：,2.3.1 for j=1 to h do,k,j,=0,；,2.3.2,k,o,=1,；,2.4,使,W,o,更接近,X,：,W,o,(new),=W,o,(old),+,(X- W,o,(old),),；,2.5,对,W,o,(new),进行单位化处理；,2.6,使,V,o,更接近,Y,：,V,o,(new),= V,o,(old),+,(Y,-,V,o,(old),),。,9/15/2024,算法,5-3 CPN,训练算法二,对应,Kohonen,的每一个,K,i,，,它将代表一组输入向量，所以希望这个,K,i,对应的,V,i,能代表这组输入向量对应的输出向量的平均值。,0,对,W,、,V,进行初始化；,0,清空,Kohonen,层各神经元对应的纪录表：,for j=1 to h do,SK,j,=,；,1,对所有的输入向量，进行单位化处理；,9/15/2024,算法,5-3 CPN,训练算法二,2,对每个样本（,X,s,，,Y,s,）,执行下列过程,2.1 for j=1 to h do,2.1.1,根据相应式子计算,knet,j,；,2.2,求出最大的,knet,o,：,2.2.1 max=knet,1,；,o=1;,2.2.2 for j=1 to h do,2.2.2.1 if,knet,j,max then max=,knet,j,；,o=j,；,9/15/2024,算法,5-3 CPN,训练算法二,2.3,计算,K,：,2.3.1 for j=1 to h do,k,j,=0,；,2.3.2,k,o,=1,；,2.4,使,W,o,更接近,X,s,：,W,o,(new),=W,o,(old),+,(X,s,- W,o,(old),),；,2.5,对,W,o,(new),进行单位化处理；,2.6,将,Y,s,放入,SK,o,：,SK,o,=,SK,o,Y,s,；,3 for j=1 to h do,V,j,=,SK,j,中各向量的平均值,9/15/2024,算法的进一步优化,集合变量,SK,1,，,SK,2,，,，,SK,h,改为其它存储量更小，而且更容易实现的变量,在,X,s,激发,K,o,时，,Y,s,被放入,到,SK,o,中,会出现一个向量被放入多个,SK,中的问题,9/15/2024,5.6,补充说明,1,、,全对传网,W,V,X,Y,Y,X,输入层,Kohonen,层,Grossberg,层,9/15/2024,2,、非简单工作方式,对给定的输入向量，,Kohonen,层各神经元可以给出不同的输出,输出作为修改因子,对应神经元,Kohonen,层、,Grossberg,层的权向量,输出值较大的，表明该输入向量与该神经元对应的类较接近，它对应的权向量的修改量就大,输出值较小的，表明该输入向量与该神经元对应的类较远，它对应的权向量的修改量就小。,9/15/2024,