自组织神经网络_SOM

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,第四章 自组织神经网络,4.1,竞争学习的概念与原理,4.2,自组织特征映射神经网络,自组织神经网络,的,的典型结构,第四章 自组织,神,神经网络,竞争层,输入层,第四章 自组织神经,网,网络,自组织学习,(self-organized learning),：,通过自动寻找样,本,本中的内在规律,和,和本质属性，自,组,组织、自适应地,改,改变网络参数与,结,结构。,自组织网络的自,组,组织功能是通过,竞,竞争学习（,competitive learning,）实现的。,4.1,竞争学习的概念,与,与原理,4.1.1,基本概念,分类,分类是在类别知,识,识等导师信号的,指,指导下，将待识,别,别的输入模式分,配,配到各自的模式,类,类中。,聚类,无导师指导的分,类,类称为聚类，聚,类,类的目的是将相,似,似的模式样本划,归,归一类，而将不,相,相似的分离开。,相似性测量,欧式距离法,4.1.1,基本概念,相似性测量,余弦法,4.1.1,基本概念,4.1.2,竞争学习原理,竞争学习规则,Winner-Take-All,网络的输出神经,元,元之间相互竞争,以,以求被激活，结,果,果在每一时刻只,有,有一个输出神经,元,元被激活。这个,被,被激活的神经元,称,称为竞争获胜神,经,经元，而其它神,经,经元的状态被抑,制,制，故称为,WinnerTake All,。,竞争学习规则,Winner-Take-All,1.,向量归一化首先将当前输入,模,模式向量,X,和竞争层中各神,经,经元对应的内星,向,向量,W,j,全部进行归一化,处,处理；,(j=1,2,m),向量归一化之,前,向量归一化之,后,竞争学习原理,竞争学习规则,Winner-Take-All,2.,寻找获胜神经元当网络得到一个,输,输入模式向量时,，,，竞争层的所有,神,神经元对应的内,星,星权向量均与其,进,进行相似性比较,，,，并将最相似的,内,内星权向量判为,竞,竞争获胜神经元,。,。,欲使两单位向量,最,最相似，须使其,点,点积最大。即：,从上式可以看出,，,，欲使两单位向,量,量的欧式距离最,小,小，须使两向量,的,的点积最大。即,：,：,竞争学习规则,Winner-Take-All,竞争学习规则,胜者为王,(Winner-Take-All),3.,网络输出与权值,调,调整,j,j*,步骤,3,完成后回到步骤,1,继续训练，直到,学,学习率衰减到,0,。,竞争学习的几何,意,意义,竞争学习的几何,意,意义,*,1,W,*,j,W,*,),(,),(,),(,),(,*,t,t,t,t,j,p,W,X,W,-,=,h,D,*,),(,*,1,t,j,+,W,),(,t,p,X,j,W,m,W,*,*,*,*,竞争学习游戏,将一维样本空间,的,的,12,个样本分为,3,类,竞争学习游戏,w,1,w,2,w,3,x,训练样本集,o,1,o,1,o,1,例,4.1,用竞争学习算法,将,将下列各模式分,为,为,2,类：,解：为作图方便,，,，将上述模式转,换,换成极坐标形式,：,：,竞争层设两个权,向,向量，随机初始,化,化为单位向量：,4.2,自组织特征映射,神,神经网络 （,Self-Organizing feature Map,）,1981,年芬兰,Helsink,大学的,T.Kohonen,教授提出一种自,组,组织特征映射网,，,，简称,SOM,网，又称,Kohonen,网。,Kohonen,认为：一个神经,网,网络接受外界输,入,入模式时，将会,分,分为不同的对应,区,区域，各区域对,输,输入模式具有不,同,同的响应特征，,而,而且这个过程是,自,自动完成的。自,组,组织特征映射正,是,是根据这一看法,提,提出来的，其特,点,点与人脑的自组,织,织特性相类似。,SOM,网的生物学基础,生物学研究的事,实,实表明，在人脑,的,的感觉通道上，,神,神经元的组织原,理,理是有序排列。因此当人脑通,过,过感官接受外界,的,的特定时空信息,时,时，大脑皮层的特定区域兴奋，而且类似的外,界,界信息在对应区,域,域是连续映象的。,对于某一图形或,某,某一频率的特定,兴,兴奋过程，神经,元,元的有序排列以,及,及对外界信息的,连,连续映象是自组,织,织特征映射网中,竞,竞争机制的生物,学,学基础。,SOM,网的拓扑结构,SOM,网共有两层，输,入,入层模拟感知外,界,界输入信息的视,网,网膜，输出层模,拟,拟做出响应的大,脑,脑皮层。,SOM,网的权值调整域,SOM,网的获胜神经元,对,对其邻近神经元,的,的影响是由近及,远,远，由兴奋逐渐,转,转变为抑制，因,此,此其学习算法中,不,不仅获胜神经元,本,本身要调整权向,量,量，它周围的神,经,经元在其影响下,也,也要程度不同地,调,调整权向量。这,种,种调整可用三种,函,函数表示：,SOM,网的权值调整域,以获,胜,胜神,经,经元,为,为中,心,心设,定,定一,个,个邻,域,域半,径,径，,该,该半,径,径圈,定,定的,范,范围,称,称为优胜,邻,邻域。在,SOM,网学,习,习算,法,法中,，,，优,胜,胜邻,域,域内,的,的所,有,有神,经,经元,均,均按,其,其离,开,开获,胜,胜神,经,经元,的,的距,离,离远,近,近不,同,同程,度,度地,调,调整,权,权值,。,。,优胜,邻,邻域,开,开始,定,定得,很,很大,，,，但,其,其大,小,小随,着,着训,练,练次,数,数的,增,增加,不,不断,收,收缩,，,，最,终,终收,缩,缩到,半,半径,为,为零,。,。,SOM,网的,运,运行,原,原理,训练,阶,阶段,w,1,w,2,w,3,w,4,w,5,SOM,网的,运,运行,原,原理,工作,阶,阶段,SOM,网的,学,学习,算,算法,(1),初始化,对输出层各权向量赋小随机数并进行归一化处理，得到,，,j=1,2,m,；,建立初始优胜邻域,N,j*,(0),；,学习率,赋初始值。,(2),接受输入,从训练集中随机选取一个输入模式并进行归一化处理，得到 ，,p,1,2,P,。,(3),寻找获胜节点,计算 与 的点积，,j=1,2,m,，从中选出点积最大的获胜节点,j*,。,(4),定义,优,优胜,邻,邻域,N,j*,(,t,),以,j*,为中,心,心确,定,定,t,时刻,的,的权,值,值调,整,整域,，,，一,般,般初,始,始邻,域,域,N,j*,(0),较大,，,，训,练,练过,程,程中,N,j*,(,t,),随训,练,练时,间,间逐,渐,渐收,缩,缩。,Kohonen,学习,算,算法,Kohonen,学习,算,算法,SOM,网的,学,学习,算,算法,(5),调整,权,权值对优,胜,胜邻,域,域,N,j*,(,t,),内的,所,所有,节,节点,调,调整,权,权值,：,：,i=1,2,nj,N,j*,(,t,),式中,，,，,是,是训,练,练时,间,间,t,和邻,域,域内,第,第,j,个神,经,经元,与,与获,胜,胜神,经,经元,j*,之间,的,的拓,扑,扑距,离,离,N,的函,数,数，,该,该函,数,数一,般,般有,以,以下,规,规律,：,：,Kohonen,学习,算,算法,SOM,网的,学,学习,算,算法,(5),调整,权,权值,(6),结束,检,检查学习,率,率是,否,否衰,减,减到,零,零或,某,某个,预,预定,的,的正,小,小数,？,？,Kohonen,学习,算,算法,SOM,网的,学,学习,算,算法,Kohonen,学,习,习,算,算,法,法,程,程,序,序,流,流,程,程,功,能,能,分,分,析,析,(1),保,序,序,映,映,射,射,将,输,输,入,入,空,空,间,间,的,的,样,样,本,本,模,模,式,式,类,类,有,有,序,序,地,地,映,映,射,射,在,在,输,输,出,出,层,层,上,上,。,。,例,1,：,动,动,物,物,属,属,性,性,特,特,征,征,映,映,射,射,。,。,功,能,能,分,分,析,析,(2),数,据,据,压,压,缩,缩,将,高,高,维,维,空,空,间,间,的,的,样,样,本,本,在,在,保,保,持,持,拓,拓,扑,扑,结,结,构,构,不,不,变,变,的,的,条,条,件,件,下,下,投,投,影,影,到,到,低,低,维,维,空,空,间,间,。,。,(3),特,征,征,抽,抽,取,取,高,维,维,空,空,间,间,的,的,向,向,量,量,经,经,过,过,特,特,征,征,抽,抽,取,取,后,后,可,可,以,以,在,在,低,低,维,维,特,特,征,征,空,空,间,间,更,更,加,加,清,清,晰,晰,地,地,表,表,达,达,。,。,例,2,：,SOM,网,用,用,于,于,字,字,符,符,排,排,序,序,。,。,功,能,能,分,分,析,析,SOM,网,在,在,皮,皮,革,革,配,配,皮,皮,中,中,的,的,应,应,用,用,要,生,生,产,产,出,出,优,优,质,质,皮,皮,衣,衣,，,，,必,必,须,须,保,保,证,证,每,每,件,件,皮,皮,衣,衣,所,所,用,用,皮,皮,料,料,在,在,颜,颜,色,色,和,和,纹,纹,理,理,方,方,面,面,的,的,相,相,似,似,性,性,。,。,在,在,生,生,产,产,中,中,，,，,通,通,常,常,由,由,有,有,经,经,验,验,的,的,工,工,人,人,根,根,据,据,皮,皮,料,料,颜,颜,色,色,、,、,纹,纹,理,理,的,的,相,相,近,近,程,程,度,度,进,进,行,行,分,分,类,类,。,。,这,这,道,道,称,称,为,为,“,“,配,配,皮,皮,”,”,的,的,工,工,序,序,，,，,因,因,光,光,照,照,条,条,件,件,、,、,工,工,人,人,经,经,验,验,不,不,同,同,以,以,及,及,情,情,绪,绪,、,、,体,体,力,力,等,等,因,因,素,素,变,变,化,化,的,的,影,影,响,响,，,，,质,质,量,量,难,难,于,于,保,保,证,证,。,。,计,算,算,机,机,皮,皮,革,革,检,检,测,测,与,与,分,分,类,类,系,系,统,统,可,可,对,对,成,成,批,批,皮,皮,革,革,的,的,颜,颜,色,色,及,及,纹,纹,理,理,进,进,行,行,在,在,线,线,检,检,测,测,、,、,特,特,征,征,值,值,提,提,取,取,及,及,快,快,速,速,分,分,类,类,，,，,从,从,而,而,代,代,替,替,了,了,传,传,统,统,的,的,手,手,工,工,操,操,作,作,，,，,取,取,得,得,了,了,良,良,好,好,的,的,效,效,果,果,。,。,系,统,统,硬,硬,件,件,组,组,成,成,CCD,彩 色,摄像机,解码器（,PAL),图 像,采集卡,及,帧 存,储 器,计算机,486/66,彩 色,监视器,打印机,标准灯箱,皮革,皮料传送带,D65,光源,基,于,于,SOM,神,经,经,网,网,络,络,的,的,皮,皮,革,革,聚,聚,类,类,1.,颜,色,色,纹,纹,理,理,特,特,征,征,提,提,取,取,颜,色,色,参,参,数,数,:CIE1996,均,匀,匀,颜,颜,色,色,空,空,间,间,值,值,l*,a*,b*,纹,理,理,参,参,数,数,:,梯,度,度,均,均,值,值,2,梯,度,度,标,标,差,差,2,及,梯,梯,度,度,墒,墒,T,8,。,皮,革,革,外,外,观,观,由,由,维,维,输,输,入,入,矢,矢,量,量,I,=,l*,a*,b*,2,2,T,8,描,述,述,2.SOM,神,经,经,网,网,络,络,的,的,设,设,计,计,网,络,络,结,结,构,构,:6,输,入,入,1,维,线,线,阵,阵,输,输,出,出,。,。,聚,类,类,时,时,每,每,批,批,100,张,皮,皮,，,，,平,平,均,均,每,每,件,件,皮,皮,衣,衣,需,需,要,要,5,6,张,皮,皮,，,，,因,因,此,此,将,将,输,输,出,出,层,层,设,设,置,置,20,个,神,神,经,经,元,元,。,。,每,每,个,个,神,神,经,经,元,元,代,代,表,表,一,一,类,类,外,外,观,观,效,效,果,果,相,相,似,似,的,的,皮,皮,料,料,，,，,如,如,果,果,聚,聚,为,为,一,一,类,类,的,的,皮,皮,料,料,不,不,够,够,做,做,一,一,件,件,皮,皮,衣,衣,，,，,可,可,以,以,和,和,相,相,邻,邻,类,类,归,归,并,并,使,使,用,用,。,。,基,于,于,SOM,神,经,经,网,网,络,络,的,的,皮,皮,革,革,聚,聚,类,类,3.,网络参数,设,设计,N,j*,(,t,),优胜邻域,在,在训练开,始,始时覆盖,整,整个输出,线,线阵，以,后,后训练次,数,数每增加,t =t,m,/P,，,Nj*,(,t,),邻域两端,各,各收缩一,个,个神经元,直,直至邻域,内,内只剩下,获,获胜神经,元,元。,对,(,t,),采用了以,下,下模拟退,火,火函数：,0,0.95,t,m,5000,t,p,1500,4.,皮革纹理,分,分类结果,基于,SOM,神经网络,的,的皮革聚,类,类,SOM,网用于物,流,流中心城,市,市分类评,价,价,(1),物流中心,城,城市评价,指,指标与数,据,据样本,简单选取,5,个评价指,标,标作为网,络,络输入：,x,1,人均,GDP(,元,),，,x,2,工业总产,值,值,(,亿元,),，,x,3,社会消费,品,品零售总,额,额,(,亿元,),，,x,4,批发零售,贸,贸易总额,(,亿元,),，,x,5,货运总量,(,万吨,),。,44,个物流中,心,心城市分,类,类评价样,本,本,SOM,网用于物,流,流中心城,市,市分类评,价,价,(2),物流中心,城,城市的分,类,类和评价,分,分析,物流中心,城,城市,全国性物,流,流中心城,市,市,区域性物,流,流中心城,市,市,地区性物,流,流中心城,市,市,综合型,货运型,SOM,网用于物,流,流中心城,市,市分类评,价,价,(2),物流中心,城,城市的分,类,类和评价,分,分析,按照,SOM,算法步骤,，,，取开始,的,的,1000,次迭代为,排,排序阶段,，,，学习率,=0.9,；,其后为收,敛,敛阶段，,学,学习率为,= 0.02,。,将,44,个数据样,本,本归一化,，,，输入网,络,络进行训,练,练。经过,试,试验比较,，,，最终取类别数为,8,，得到如,下,下表所示,的,的分类结,果,果。,物流中心,城,城市分类,结,结果,上机实验,说,说明,任务：用,平,平面网格,状,状样本训,练,练,SOM,网络,权值初始,化,化后的输,出,出平面,训练过程,中,中的输出,平,平面,训练过程,中,中的输出,平,平面,训练过程,中,中的输出,平,平面,训练过程,中,中的输出,平,平面,训练接近,尾,尾声的输,出,出平面,Sphere,球面,用球面状,样,样本训练,SOM,网络,Twist,扭转,用蝴蝶状,样,样本训练,SOM,网络,Parabola,抛物面,用抛物面,样,样本训练,SOM,网络,Cubic,三次曲线,用三次曲,线,线状样本,训,训练,SOM,网络,Cosine,余弦,用余旋状,样,样本训练,SOM,网络,