SOM自组织映射学习汇报

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2013/8/20,#,九逸作品,汇报人：,我学到了什么,我下一步要做什么,自组织神经网络,SOM,An Improved Neural Architecture for Gaze,Movement Control in Target Searching,自组织神经网络,自组织神经网络是一类无教师学习方式的神经网络,模型，它无需期望输出，知识根据数据样本进行学习，,并调整自身权重以达到学习的目的。自组织神经网络的,学习规则大都采用竞争型的学习规则。,竞争型神经网络的基本思想是网络竞争层的各神经,元通过竞争来获取对输入模式的响应机会。竞争结果会,存在获胜神经元，获胜神经元有关的各连接权值向着更,有利于其竞争的方向发展。,竞争层,输入层,W,j,权值,不同的输入归结到,1,个神经元上，几个输入就是一类，实现了分类。,竞争学习：,网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，称为,WTA,（,Winner-Take-All,）。,学习规则：,1.,向量归一化。首先将当前输入模式向量,X,和竞争层中各神经元对应的向量,Wj,全部进行归一化处理。,2.,寻找获胜神经元。当网络得到一个输入模式向量时，竞争层的所有神经元对应的权向量均与其进行相似性比较，并将最相似的内权向量判为竞争获胜神经元。,3.,网络输出与权值调整。,4.,重新向量归一化。,用竞争学习算法将下列各模式分为,2,类：,输入向量为：,学习率为,a=0.5,向量归一化,设置两个权向量,竞争学习,X,1,学习,d,1,=|X,1,-W,1,(0)|=136.89, d,2,=|X,1,-W,2,(0)|=1216.89,d,1,d,2,所以神经元,1,获胜，,W,1,调整,W,1,(1)=W,1,(0)+a(X,1,-W,1,(0)=,1,18.43,W,2,(1)=W,2,(0)=,1-180 ,X,2,学习,d,1,=|X,2,-W,1,(1)|=198.43 , d,2,=|X,2,-W,2,(1)|=1100 ,d,1,d,2,所以神经元,1,获胜，,W,1,调整,W,1,(2)=W,1,(1)+a(X,2,-W,1,(1)=,1-30.8 ,W,2,(2)=W,2,(1)=,1-180 ,d,1,=,1104,d,2,=,1100,我学到了什么,我下一步要做什么,自组织神经网络,SOM,An Improved Neural Architecture for Gaze,Movement Control in Target Searching,SOM,SOM,，,Self-Organizing Feature Maps,自组织神经网,络，是一种无导师学习的网络，主要用来对于输入向量进,行区域分类。,SOM,的算法思想：,某个输出节点能对某一类模式做出特别的反应以代表,该模式类。,输出层上相邻的节点能对实际模式分布中相近的模式,类做出特别的反应。,当某类数据模式输入时，对某以输出节点产生最大刺,激（获胜神经元），同时对获胜神经元节点周围的一些节,点产生较大的刺激。,SOM,网络中有两种链接权值，一种是神经元对外部输入反,应的连接权值，另外一种是神经元之间的特征权值。它的,大小控制着神经元之间交互作用的强弱。,SOM,拓扑结构图,SOM,算法是一种无导师的聚类法，他能将任意维输入模,在输出层映射成一维或者二维离散图形，并保持其拖布结构,不变，即在无导师的情况下，通过对输入模式的自组织学习，,在竞争层将分类结果表示出来。此外，网络通过对输入模式,的反复学习，可以使连接权值空间分布密度与输入模式的概,率分布趋于一致，即链接权向量空间分布能反应输入模式的,统计特征。,SOM,算法是一个竞争,-,合作的过程。,1.,竞争。对于输入模式，网络中的神经元计算他们各自,判别函数的值。这个判别函数对神经元之间的竞争提供基础，,具有判别函数最优值（在欧式距离中是最小值）的特定神经,元成为竞争的胜利者。,2.,合作。获胜神经元的的相邻神经元的是合作的基础。,神经元决定兴奋神经元的拓扑邻域的空间位置，从而提供这,样的相邻神经元的合作的基础。,3.,突出调节。最后的这个机制使神经元通过对他们突触,权值的调节以增加他们的关于该输入模式的判别的函数值。,所做的调节使获胜神经元对以后相似输入模式的响应增强了。,SOM,算法步骤,Step.1,网络初始化,用随机数设定输入层和映射层之间权值的初始值：,W,ij,。设定学习次数,T,，相关邻域,N,i,(d),。,W,ij,X,1,X,2, X,i,j,Step.2,输入向量,把输入向量输入给输入层：,X,i,。,SOM,算法步骤,Step.3,计算映射层的权值向量和输入向量的距离。,由欧式距离给出：,W,ij,X,1,X,2, X,i,j,SOM,算法步骤,Step.4,选择与权值向量的距离最小的神经元。,计算并选择使输入向量和权值向量距离最小的神经元，把其称为胜出神经元，标记为,j,*，并给出邻接神经元集合。,W,ij,X,1,X,2, X,i,j,SOM,算法在修正神经元的时候，同时要修正获胜神经元,的附近区域,N,i,(d),内所有的神经元。,N,i,(d)=j,d,ij,=d,1,2,5,4,3,6,7,10,9,8,11,12,15,14,13,16,17,20,19,18,21,22,25,24,23,N,13,(1),=8,，,12,，,13,，,14,，,18,N,13,(2),=3,，,7,，,8,，,9,，,11,，,12,，,13,，,14,，,15,，,17,，,18,，,19,，,23,SOM,算法步骤,Step.5,调整权值,胜出神经元和位于其邻接的神经元的权值通过下式调整。,W,ij,(t+1)=W,ij,(t)+a(t)h(j,j*)(X,i,-W,ij,),其中，,a(t),为学习率，随着,t,的增大而减小。,h,（,j,j*,）为邻域函数，随着学习程度逐渐减小。,Step.6,若,t=T,，则停止学习，否则继续执行,Step.2,。,解释：可以用两种方式来解释,SOM,算法。,首先，因为在训练阶段，整个邻域的权值向着相同的方向靠近，所以类似的项目趋向于刺激邻近的神经元。因此，,SOM,形成了一个使相同样本靠近，不同样本分离的语义映射。这样，,SOM,便实现了分类的过程。,其次，可以考虑神经元的权值作为输入空间的指针，形成了一个训练样本分布的离散近似值。更多的神经元指向了高度训练的样本集中的区域。,性质：输入空间的近似,对于,V,空间中的向量,v,，首先根据特征映射,确定在输出空间,A,中最佳的匹配单元,S,，,S,的权重向量,Ws,可视为,S,投影到输入空间的坐标。通过不断调整权重矩阵，是输出空间,A,近似的表示输入空间,V,。,SOM,实质上是从任意维离散或者连续空间,V,到一维或者二维离散空间,A,的一种保序映射。,SOM,功能分析,1.,保序映射：将输入空间的样本模式类有序地映射,在输出层上。,2.,数据压缩：将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。在,SOM,中，无论输入空间样本有多少维，都可以在,SOFM,输出层的某个区域得到响应。,3.,特征抽取：高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。,我学到了什么,我下一步要做什么,自组织神经网络,SOM,An Improved Neural Architecture for Gaze,Movement Control in Target Searching,An Improved Neural Architecture for Gaze,Movement Control in Target Searching,论文是对于原来的,Neural Architecture for Gaze Movement Control in Target Searching,的改进。,论文在第三层和第四层之间增加了一个新的,Movement Coding Neuron,以便更好地实现,gaze motion estimation and control,。,原来结构的缺点是，第三层所有的大反应神经元向第四层中运动控制神经元传输了权值响应，从而参与了凝视运动的合成 。然而，这些大反应神经元可能产生不同的运动估计量的分组。谈及分组链接权值时，要对这些神经元的运动估计进行分辨及分类，有必要在第四层把这些神经元对应着运动控制神经元组织起来。,我学到了什么,我下一步要做什么,自组织神经网络,SOM,An Improved Neural Architecture for Gaze,Movement Control in Target Searching,1.,对于,An Improved Neural Architecture for Gaze Movement Control in Target Searching,详细解读。,2.,对于,Self-Organizing Neural Population Coding for Improving Robotic Visuomotor Coordination,的理解学习。,3.,对于,SOM,算法的实现。,Thanks for your attention!,