6-自组织神经网络(SOM)

,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,竞争学习神经网络,自组织神经网络的典型结构,*,1,自,组,组,织,织,神,神,经,经,网,网,络,络,*,2,自,组,组,织,织,学,学,习,习,(self-organizedlearning),：,通,过,过,自,自,动,动,寻,寻,找,找,样,样,本,本,中,中,的,的,内,内,在,在,规,规,律,律,和,和,本,本,质,质,属,属,性,性,，,，,自,自,组,组,织,织,、,、,自,自,适,适,应,应,地,地,改,改,变,变,网,网,络,络,参,参,数,数,与,与,结,结,构,构,。,。,自,组,组,织,织,网,网,络,络,的,的,自,自,组,组,织,织,功,功,能,能,是,是,通,通,过,过竞,争,争,学,学,习,习（,competitivelearning,）,实,实,现,现,的,的,。,。,1,竞,争,争,学,学,习,习,的,的,概,概,念,念,与,与,原,原,理,理,1.1,基本概念,分类,分类是在,类,类别知识,等,等导师信,号,号的指导,下,下，将待,识,识别的输,入,入模式分,配,配到各自,的,的模式类,中,中去。,聚类,无导师指,导,导的分类,称,称为聚类,，,，聚类的,目,目的是将,相,相似的模,式,式样本划,归,归一类，,而,而将不相,似,似的分离,开,开,。,*,3,相似性测,量,量,欧式距离,法,法,*,4,1.1,基本概念,同一类内,各,各个模式,向,向量间的,欧,欧式距离,不,不,允许超过,某,某一最大,值,值,*,5,相似性测,量,量,余弦法,1.1,基本概念,余弦法适,合,合模式向,量,量相同或,模,模式特征,只与向量,方,方向相关,的,的相似性,测,测量,同一类内,各个模式,向量间的,夹角不允,许超过某,一最大夹,角,T,*,6,1.2,竞争学习,原,原理,竞争学,习,习规则,Winner-Take-All,网络的,输,输出神,经,经元之,间,间相互,竞,竞争以,求,求被激,活,活或点,火,火，结,果,果在每,一,一时刻,只,只有一,个,个输出,神,神经元,被,被激活,或,或点火,。,。这个,被,被激活,的,的神经,元,元称为,竞,竞争获,胜,胜神经,元,元，而,其,其它神,经,经元的,状,状态被,抑,抑制，,故,故称为,Winner Take All,。,胜者为王,*,7,竞争学习规,则,则,Winner-Take-All,1.,向,量,量,归,归,一,一,化,化首,先,先,将,将,当,当,前,前,输,输,入,入,模,模,式,式,向,向,量,量,X,和,竞,竞,争,争,层,层,中,中,各,各,神,神,经,经,元,元,对,对,应,应,的,的,内,内,星,星,向,向,量,量,W,j,全,部,部,进,进,行,行,归,归,一,一,化,化,处,处,理,理,；,；,(j=1,2,m),*,8,原,始,始,向,向,量,量,*,9,归,一,一,化,化,后,后,的,的,向,向,量,量,*,10,竞,争,争,学,学,习,习,原,原,理,理,竞,争,争,学,学,习,习,规,规,则,则,Winner-Take-All,2.,寻,找,找,获,获,胜,胜,神,神,经,经,元,元,当网络得到一,个,个输入模式向,量,量时，竞争层,的,的所有神经元,对,对应的内星权,向,向量均与其进,行,行相似性比较,，,，并将最相似,的,的内星权向量,判,判为竞争获胜,神,神经元。,*,11,从上式可以看,出,出，欲使两单,位,位向量的欧式,距,距离最小，须,使,使两向量的点,积,积最大。即：,竞争学习规则,Winner-Take-All,*,12,竞争学习规则,胜者为王,(Winner-Take-All),3.,网络输出与权,值,值调整,j,j*,步骤,3,完成后回到步,骤,骤,1,继续训练，直,到,到学习率衰减,到,到,0,。,获胜神经元输,出,出,为,1,，其余为,0,j,=j*,之外的,j,*,13,竞争,学,学习,的,的几,何,何意,义,义,*,14,竞争,学,学习,的,的几,何,何意,义,义,*,15,例,4.1,用竞争学习算法将下列各模式分为,2,类：,解：,为,为作,图,图方,便,便，,将,将上,述,述模,式,式转,换,换成,极,极坐,标,标形,式,式,：,：,竞争,层,层设,两,两个,权,权向,量,量，,随,随机,初,初始,化,化为,单,单位,向,向量,：,：,上式,中,中，,X1=,（,x,y,）,T,*,16,*,17,*,18,*,19,*,20,*,21,*,22,*,23,*,24,*,25,*,26,2,自组织特,征,征映射网,（,Self-OrganizingfeatureMap,）,1981,年芬兰,Helsink,大学的,T.Kohonen,教授提出,一,一种自组,织,织特征映,射,射网，简,称,称,SOM,网，又称,Kohonen,网。,Kohonen,认为：一,个,个神经网,络,络接受外,界,界输入模,式,式时，将,会,会分为不,同,同的对应,区,区域，各,区,区域对输,入,入模式具,有,有不同的,响,响应特征,，,，而且这,个,个过程是,自,自动完成,的,的。自组,织,织特征映,射,射正是根,据,据这一看,法,法提出来,的,的，其特,点,点与人脑,的,的自组织,特,特性相类,似,似。,SOM,网的生物,学,学基础,生物学研,究,究的事实,表,表明，在,人,人脑的感,觉,觉通道上,，,，神经元,的,的组织原,理,理是有序排列。因此当,人,人脑通过,感,感官接受,外,外界的特,定,定时空信,息,息时，大,脑,脑皮层的特定区域兴奋，而且类,似,似的外界,信,信息在对,应,应区域是连续映象的。,对于某一,图,图形或某,一,一频率的,特,特定兴奋,过,过程，神,经,经元的有,序,序排列以,及,及对外界,信,信息的连,续,续映象是,自,自组织特,征,征映射网,中,中竞争机,制,制的生物,学,学基础。,*,27,SOM,网的拓扑,结,结构,SOM,网共有两,层,层，输入,层,层模拟感,知,知外界输,入,入信息的,视,视网膜，,输,输出层模,拟,拟做出响,应,应的大脑,皮,皮层。,*,28,SOM,网的权值,调,调整域,SOM,网的获胜,神,神经元对,其,其邻近神,经,经元的影,响,响是由近,及,及远，由,兴,兴奋逐渐,转,转变为抑,制,制，因此其学习算,法,法中不仅,获,获胜神经,元,元本身要,调,调整权向,量,量，它周,围,围的神经,元,元在其影,响,响下也要,程,程度不同,地,地调整权,向,向量。这种调整,可,可用三种,函,函数表示,：,：,*,29,*,30,SOM,网的权值,调,调整域,以获胜神,经,经元为中,心,心设定一,个,个邻域半,径,径，该半,径,径圈定的,范,范围称为优胜邻域。在,SOM,网学习算,法,法中，优,胜,胜邻域内,的,的所有神,经,经元均按,其,其离开获,胜,胜神经元,的,的距离远,近,近不同程,度,度地调整,权,权值。,优胜邻域,开,开始定得,很,很大，但其大小,随,随着训练,次,次数的增,加,加不断收,缩,缩，最终,收,收缩到半,径,径为零。,*,31,SOM,网的运行,原,原理,训练阶段,*,32,w,1,w,2,w,3,w,4,w,5,SOM,网的运行,原,原理,工作阶段,*,33,SOM,网的学习,算,算法,Kohonen,学习算法,(1),初始化对输出层,各,各权向量,赋,赋小随机,数,数并进行,归,归一化处,理,理，得到,，,，,j=1,2,m,；建立初,始,始优胜邻,域,域,N,j*,(0),；学习率,赋初始值,。,。,(2),接受输入,从,从训练,集,集中随机,选,选取一个,输,输入模式,并,并进行归,一,一化处理,，,，得到,，,，,p,1,2,P,。,(3),寻找获,胜,胜节点,计,计算,与,与,的,的点,积,积，,j=1,2,m,，从中,选,选出点,积,积最大,的,的获胜,节,节点,j*,。,(4),定义优,胜,胜邻域,N,j*,(,t,),以,j,*,为中心,确,确定,t,时刻的,权,权值调,整,整域，,一,一般初,始,始邻域,N,j*,(0),较大，,训,训练过,程,程中,N,j*,(,t,),随训练,时,时间逐,渐,渐收缩,。,。,*,34,SOM,网的学,习,习算法,Kohonen,学习算,法,法,*,35,SOM,网的学,习,习算法,(5),调整权,值,值,对,对优胜,邻,邻域,N,j*,(,t,),内的所,有,有节点,调,调整权,值,值：,i=1,2,nj,N,j*,(,t,),式中，,是,是,训,训练时,间,间,t,和邻域,内,内第,j,个神经,元,元与获,胜,胜神经,元,元,j*,之间的,拓,拓扑距,离,离,N,的函数,，,，该函,数,数一般,有,有以下,规,规律：,*,36,Kohonen,学习算,法,法,SOM,网的学,习,习算法,(5),调整权,值,值,*,37,(6),结束检,查,查学习率,是,是否衰,减,减到零,或,或某个,预,预定的,正,正小数,？,？,Kohonen,学习算,法,法,*,38,Kohonen,学习算,法,法程序,流,流程,SOM,网络的,功,功能,SOM,网络的,功,功能特,点,点之一,是,是：保,序,序映射,，,，即能,将,将输入,空,空间的,样,样本模,式,式类有,序,序地映,射,射在输,出,出层上,。,。,例 动物属,性,性特征映射,1989,年,Kohonen,给出一个,SOM,网的著名应用,实,实例，即把不,同,同的动物按其,属,属性映射到二,维,维输出平面上,，,，使属性相似,的,的动物在,SOM,网输出平面上,的,的位置也相近,。,。,训练集选了,16,种动物，每种,动,动物用一个,29,维向量来表示,。,。前,16,个分量构成符,号,号向量（不同,的,的动物进行,16,取,1,编码），后,13,个分量构成属,性,性向量，描述,动,动物的,13,种属性的有或,无,无（用,1,或,0,表示）。,16,种动物的属性,向,向量（,29,维向量的后,13,个分量）,动物,属性,鸽子,母鸡,鸭,鹅,猫头鹰,隼,鹰,狐狸,狗,狼,猫,虎,狮,马,斑马,牛,小,1,1,1,1,1,1,0,0,0,0,1,0,0,0,0,0,中,0,0,0,0,0,0,1,1,1,1,0,0,0,0,0,0,大,0,0,0,0,0,0,0,0,0,0,0,1,1,1,1,1,2,只腿,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,4,只腿,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,毛,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,蹄,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,1,动物,属性,鸽子,母鸡,鸭,鹅,猫头鹰,隼,鹰,狐狸,狗,狼,猫,虎,狮,马,斑马,牛,鬃毛,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,0,羽毛,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,猎,0,0,0,0,1,1,1,1,0,1,1,1,1,0,0,0,跑,0,0,0,0,0,0,0,0,1,1,0,1,1,1,1,0,飞,1,0,0,1,1,1,1,0,0,0,0,0,0,0,0,0,泳,0,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0,SOM,网输出平面上,有,有,10,10,个神经元