自组织神经网络enwi

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第十章 自组织神经网络,常见的自组织网络,自组织竞争网络（,Kohonen,网络）,自组织特征映射网络（,SO,F,M,网络）,学习矢量量化神经网络（,LVQ,网络）,学习方法分类,有师学习（分类）,已知输入,已知期望输出（每个输入分别属于哪一类）,在特征空间中，各个类的核位置已知,无师学习（聚类）,已知输入,期望输出未知（但可能已知分为几类）,在特征空间中，各个类的核位置待确定,自组织竞争网络神经元功能分析,权值,W,：,R,维向量（与输入向量维数相同）,处理函数：求权值向量,W,与输入向量,I,之间的距离的负值,-d,输出：阈值,b,与,-d,的和,n=b-dist(p,w),自组织竞争神经网络的结构,自组织竞争神经网络结构分析,输入：,R,维列向量，表示待分类的特征空间是,R,维的。（每个样本有,R,个分量）,输入层：有,S,个神经元，分别通过学习确定,S,个类的核心（在特征空间的）位置,竞争层（输出层）：输出一个,S,维列向量，若输入的第,i,个分量最大，则输出向量中的第,i,个分量为,1,，其它分量为,0,基本竞争型神经网络结构,自组织竞争神经网络的学习过程,根据一个输入向量与初始状态下各个核心的距离判断它属于哪个类,根据确定分类的输入向量对相应的核心位置进行修订,对所有训练样本都进行上述处理,反复将训练样本进行多次处理，直到不再发生分类改变为止，学习过程完成,修正神经元权值的规则,内星学习规则,外星学习规则,Kohonen,学习规则,阈值学习规则,内星学习规则,instar,学习规则,:,w,ij,=lr (p,j,w,ij,)a,i,例一：内星学习规则函数,learnis(),外星学习规则,Outstar,学习规则：,w,ij,=lr (a,j,w,ij,)p,j,例二：外星学习规则函数,learnos(),Kohonen,学习规则,对,instar,规则的改进,将,a,i,取值为,1,Kohonen,学习规则：,w,ij,=lr (p,j,w,ij,),例三：科荷伦学习规则函数,learnk(),阈值学习规则,阈值的作用：,调整的是某个神经元响应的半径,为什么除了调整权值以外还要调整阈值：,某些神经元的初始位置离样本区域太远,先将这些“死”神经元的响应半径增大,当有样本能够吸引到该神经元后再缩小半径,阈值学习函数,learncon(),自组织竞争神经网络的创建,创建自组织竞争神经网络的函数,NET=NEWC(PR,S,KLR,CLR),PR,：,Rx2,维矩阵，确定输入范围,S,：神经元个数（分类个数）,KLR,：,Kohonen,学习规则的学习率，默认为,0.01,CLR,：阈值学习率，默认为,0.001,例四：自组织竞争神经网络的创建（注意初始状态）,例五：自组织竞争神经网络的设计,设置初始训练向量,创建初始态的自组织竞争神经网络,设置训练参数,训练,观察训练后网络的状态,检验网络功能,例六：自组织竞争神经网络用于模式识别,通过语句生成待分类点集，,8,组，每组,10,个,创建一个有,8,个神经元的网络,观察训练前网络的状态,对网络进行训练,观察网络训练后的状态,用新的输入向量进行测试,自组织特征映射神经网络,Self-Organizing,Feature,Maps,，简称,SOFM,设计来源：,模拟大脑的“不同感知路径”（拓扑结构）,引入神经元所处位置的空间信息,每个神经元受到的激励除了外部输入信息之外还有来自周围神经元的反馈信号,特点：,神经元只有权值，没有阈值,神经元之间有相互联系,自组织学习,SOFM,模型（二维）,输入信号：,n,维,输出：,2,维,SOFM,网络学习方法,Kohonen,学习规则,起作用范围是竞争胜出神经元,及其周围邻域中的所有神经元,，但是修正率不同,邻域,距离中心神经元距离小于指定半径,d,的所有神经元的集合,拓扑结构,矩形拓扑结构：,gridtop(),（例一）,六（三？）角型拓扑结构：,hextop(),（例二）,随机拓扑结构：,randtop(),（例三）,注意：指的是神经元组织拓扑结构，而不是特征向量空间的拓扑结构,几种距离定义,SOFM,结构,SOFM,的构建函数,NET=NEWSOM(PR,D1,D2,.,TFCN,DFCN,OLR,OSTEPS,TLR,TNS),PR -Rx2,矩阵确定输入范围,Di -,第,i,层神经元个数,缺省为,5 8,TFCN -,拓扑函数，缺省为,hextop.,DFCN -,距离函数，缺省为,linkdist.,OLR -,排序阶段学习率，缺省为,0.9.,OSTEPS-,排序阶段最大学习步骤，缺省为,1000.,TLR -,调整阶段学习率，缺省为,0.02;,TND -,调整阶段最大学习步骤，缺省为,1,例八：,SOFM,网络的构建和训练,构建网络,设置训练样本（待聚类样本）,观察训练前网络的状态,根据样本进行训练,排序阶段（粗调）,调整阶段（细调）,观察训练后网络的状态,例九：一维,SOFM,网络设计,输入为二维向量，神经元分布为一维,将二维空间的特征映射到一维拓扑结构,步骤,设置输入向量,构建网络,根据输入向量进行训练,显示训练结果并进行测试,例十：二维,SOFM,网络设计,输入为二维向量，神经元分布为二维,将二维空间的特征映射到二维拓扑结构,步骤,设置输入向量,构建网络,根据输入向量进行训练,显示训练结果并进行测试,学习矢量量化神经网络,Learning Vector Quantization Network,简称,LVQ,两层网络：,竞争层：同自组织竞争网络,线性层：对竞争结果进行量化组合,可以进行,子类合并,LVQ,的网络结构,LVQ,的学习规则,LVQ,的网络构建函数,NET=NEWLVQ(PR,S1,PC,LR,LF),PR-Rx2,矩阵确定输入范围,S1,竞争层神经元个数,PC,大样本情况下各种分类所占比例,LR,学习率缺省为,0.01.,LF,学习函数，缺省为,learnlv1,例：,LVQ,网络的设计,设定输入样本和期望输出,构建并设置网络参数,根据训练样本对网络进行训练,用训练样本测试网络,用新样本测试网络,讨论比例的影响,小结,何谓自组织：没有答案的学习,自组织竞争神经网络的基本概念,神经元：输入与权值的负距离加上阈值,网络结构：竞争网络,学习方法：,Kohonen,和阈值学习规则,用途：聚类,小结,SOFM,：特征映射的含义,竞争层有拓扑结构,可以形成中枢,可以体现拓扑结构,LVQ,：矢量量化的含义,增加线性层,可以合并子类,