《自适应神经网络》PPT课件.ppt

自组织神经网络 （ SONN） 石伟 SONN 目录 1.SONN概述 2.竞争学习的概念 3.竞争学习的原理 4.自组织特征映射（ SOM）神经网络 SONN概述 在人类的认识过程中，除了从教师那里得到知识外， 还有一种不需要通过教师，自动向环境学习的能力，这种 仅依靠环境刺激的“无师自通”的功能称为自组织学习方 法。 通过自动寻找样本中的内在规律和本质属性，自组织 、自适应地改变网络参数与结构。 自组织网络的自组织功能是通过竞争学习（ competitive learning）实现的。 自组织神经网络的典型结 构具有一个输入层和一个竞争 层 输入层负责接受外界信息 并将输入模式向竞争层传递， 起观察作用。 竞争层负责对该模式进行 分析比较”，找出规律以正确 分类。 这种功能是通过下面要介 绍的竞争机制实现的。 输入模式 输出模式 竞争层 SONN概述 竞争学习的概念 竞争学习是自组织网络中最常用的一种学习策略，首 先说明与之相关的几个基本概念。 模式：一般当网络涉及识别、分类问题时，常用输入 模式（而不称输入样本）； 分类：将待识别的输入模式划分为各自的模式类中去； 聚类：无导师指导的分类称为聚类，聚类的目的是将 相似的模式样本划归一类； 相似性：输入模式的聚类依据。 竞争学习的概念 相似性测量 神经网络的输入模式用向量表示，比较不同模式的相 似性可转化为比较两个向量的距离，因而可用模式向量间 的距离作为聚类判据。 模式识别中常用到的两种聚类判据是欧式最小距离法 和余弦法。 竞争学习的概念 （ 1）欧式距离法 X和 Xi 两向量欧式距离 : 两个模式向量的欧式距离越小，两个模式越相似，当 两个模式完全相同时，其欧式距离为零。如果对同一类 内各个模式向量间的欧式距离作出规定，不允许超过某 一最大值 T，则最大欧式距离 T 就成为一种聚类判据。 )()( iTii XXXXXX 竞争学习的概念 （ 2）余弦法 计算两个模式向量夹角的余弦： 两个模式向量越接近，其类角越小，余弦越大。当两 个模式向量完全相同时，其夹角余弦为 1。 若同类内各模式向量间的夹角规定不大于 T ，则 成 为一种聚类判据。余弦法适合模式向量长度相同或模式特 征只与向量方向相关的相似性测量。 i i T XX XXcos 竞争学习原理（规则） 实验表明，人眼的视网膜、脊髓和海马中存一种侧 抑制现象，即，当一个神经细胞兴奋后，会对其周围的 神经细胞产生抑制作用。 最强的抑制关系是竞争获胜者“惟我独兴”，不允 许其它神经元兴奋，这种抑制方式也称为胜者为王。 竞争学习采用的规则是胜者为王，该算法可分为 3个 步骤。 竞争学习原理（规则） (1)向量归一化 将自组织网络中的当前输入模式向量 X和竞争层中各神经元 对应的内星权向量 Wj(j=1,2,m) 全部进行归一化处理。 得到 ： X ),2,1( mjW j 竞争学习原理（规则） 向量归一化之 前 向量归一化之 后 * * * * * * * * * 竞争学习原理（规则） （ 2） 寻找获胜神经元 当网络得到一个输入模式向量时， 竞争层的所有神经元对应的内星权向量均与其进行相似性 比较，并将最相似的内星权向量判为竞争获胜神经元。 欲使两单位向量最相似，须两单位向量的欧式距离 最小，即其点积最大。即： 因此，求最小欧式距离的问题就转化为按此式求最大点积 的问题，而且权向量与输入向量的点积正是竞争层神经元 的净输入。 )(m a x ,.,2,1* XWXW Tj mj T j 竞争学习原理（规则） 3.网络输出与权值调整 胜者为王竞争学习算法规定，获胜神经元输出为 1，其余 输出为零。即 只有获胜神经元才有权调整其权向量，调整后权向量为 应注意，归一化后的权向量经过调整后得到的新向量不 再是单位向量，需要重新归一化。步骤（ 3）完成后回到 步骤（ 1）继续训练，直到学习率 衰减到零。 * * 0 1)1( jj jjto j )()1( )()()()1( * tWtW WXtWWtWtW jj Jjjjj * * jj jj 竞争学习原理（规则） 例 4.1 用竞争学习算法将下列各模式分为 2类： 解：为作图方便，将上述模式转换成极坐标形式 ： 归一化的初始权值为 设 为 0.5,输入 x1后 ,权值变化为 : 6.0 8.01X 9 8 4 8.0 1 7 3 6.02X 7 07.0 7 07.03X 9 3 9 7.0 3 4 2.04X 8.0 6.05X 89.3611 X 8012 X 5.4413 X 7014 X 13.5315 X 0 1)0( w 01)0( 21w 0 1)1( w 3 1 6.0 9 4 8.0)1( 21w 竞争学习原理（规则） x 5 x 3 x 1 w 2 w 1 x 2 x 4 训练 次数 W 1 W 2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 18.43 - 30.8 7 - 32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5 - 180 - 180 - 180 - 180 - 180 - 180 - 130 - 130 - 100 - 100 - 100 - 9 0 - 90 - 81 - 81 - 81 - 80.5 - 80.5 - 75 - 75 竞争学习原理（规则） x 5 x 3 x 1 w 2 x 2 x 4 w 1 训练 次数 W 1 W 2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 18.43 - 30.8 7 - 32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5 - 180 - 180 - 180 - 180 - 180 - 180 - 130 - 130 - 100 - 100 - 100 - 9 0 - 90 - 81 - 81 - 81 - 80.5 - 80.5 - 75 - 75 竞争学习原理（规则） x 5 x 3 x 1 w 2 x 2 x 4 w 1 训练 次数 W 1 W 2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 18.43 - 30.8 7 - 32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5 - 180 - 180 - 180 - 180 - 180 - 180 - 130 - 130 - 100 - 100 - 100 - 9 0 - 90 - 81 - 81 - 81 - 80.5 - 80.5 - 75 - 75 竞争学习原理（规则） x 5 x 3 x 1 w 2 x 2 x 4 w 1 训练 次数 W 1 W 2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 18.43 - 30.8 7 - 32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5 - 180 - 180 - 180 - 180 - 180 - 180 - 130 - 130 - 100 - 100 - 100 - 9 0 - 90 - 81 - 81 - 81 - 80.5 - 80.5 - 75 - 75 竞争学习原理（规则） x 5 x 3 x 1 w 2 x 2 x 4 w 1 训练 次数 W 1 W 2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 18.43 - 30.8 7 - 32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5 - 180 - 180 - 180 - 180 - 180 - 180 - 130 - 130 - 100 - 100 - 100 - 9 0 - 90 - 81 - 81 - 81 - 80.5 - 80.5 - 75 - 75 竞争学习原理（规则） x 5 x 3 x 1 x 2 x 4 w 1 w 2 训练 次数 W 1 W 2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 18.43 - 30.8 7 - 32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5 - 180 - 180 - 180 - 180 - 180 - 180 - 130 - 130 - 100 - 100 - 100 - 9 0 - 90 - 81 - 81 - 81 - 80.5 - 80.5 - 75 - 75 自组织特征映射（ SOM）神经网络 1981年芬兰 Helsink大学的 T.Kohonen教授提出一种自组织 特征映射网，简称 SOM网，又称 Kohonen网。 Kohonen认为：一个神经网络接受外界输入模式时，将 会分为不同的对应区域，各区域对输入模式具有不同的响 应特征，而且这个过程是自动完成的。自组织特征映射正 是根据这一看法提出来的，其特点与人脑的自组织特性相 类似。 自组织特征映射（ SOM）神经网络 4.2.1SOM网络的生物学基础 生物学研究表明：人的大脑皮层中，存在许多不同功能的 神经网络区域，每个功能区域完成各自的特定功能，如视 觉、听觉、语言理解和运动控制等等。 当人脑通过感官接受外界的特定时空信息时，将 引起大脑皮层的特定区域兴奋。每个区域有若干神经元组 成，当该区域兴奋时，总是以某一个神经元（细胞）为兴 奋中心，呈现出墨西哥帽（ Mexican Hat）式兴奋分布。 自组织特征映射（ SOM）神经网络 SOM网的拓扑结构 SOM网络共有两层，输入层模拟感知外界输入信息的视网 膜。输出层模拟做出响应的大脑皮层。输出层也是竞争层， 网络拓扑结构形式常见有一维线阵和二维平面阵。 ( a ) 一维线阵 ( b ) 二维平面线阵 自组织特征映射（ SOM）神经网络 SOM网络的运行原理 SOM网络表现为：网络随机输入模式时，对某个特定的输 入模式，输出层会有某个节点产生最大响应而获胜。按生 物区域神经兴奋机制，获胜神经元对其邻近神经元存在一 种侧抑制（竞争）机制。 SOM网络的侧抑制方式是：以获胜神经元为中心权值调整 量最强，且由近及远地逐渐递减程度不同的调整权向量直 到抑制。 以获胜神经元为中心设定一个邻域 优胜域。优胜邻域 内的所有神经元均按其离开获胜神经元的距离远近不同程 度地调整权值。优胜邻域开始可定义得较大，但其大小随 着训练次数的增加不断收缩，最终收缩到半径为零。 自组织特征映射（ SOM）神经网络 SOM网络的学习算法 SOM网络采用的学习算法称 Kohonen算法，是在胜者为王 算法基础上加以改进而成。其主要区别在于调整权向量的 侧抑制方式不同。胜者为王算法中，获胜神经元对周围神 经元的抑制是“封杀”式的（只获胜神经调整权向量，周 围其它无权调整） 。 Kohonen算法采用优胜域思想，模拟生物区域神经兴奋竞 争机制。 自组织特征映射（ SOM）神经网络 Kohonen学习算 法程序流程 初始化、归一化权向量 W ： j W ， j= 1 ,2 ,m ； 建立初始优胜邻域 N j* ( 0 ) 学习率 ( t ) 赋初始值 输入归一化样本 p X ， p 1 ,2 , ,P 计算点积 pT j XW ， j= 1 ,2 , m 选出点积最大的获胜节点 j* 定义优胜邻域 N j* ( t ) 对优胜邻域 N j* ( t ) 内节点调整权值： )()()()( twxN,ttw1tw ij p iijij i= 1 ,2 ,n j N j* ( t ) N )( t m i n Y 结束 自组织特征映射（ SOM）神经网络 SOM网络的功能 (1)保序映射 将输入空间的样本模式类有序地映射在输 出层上。 2)数据压缩 将高维空间的样本在保持拓扑结构不变 的条件下投影到低维空间。如：输入样本空间为 29维， 通过 SOM网后压缩为二维平面的数据。 (3)特征抽取 高维空间的向量经过特征抽取后可以在 低维特征空间更加清晰地表达。 T H A N K S