人工神经网络第7章-竞争神经网络课件

第7章 竞争神经网络n概述nHamming网络n自组织映射网络n学习矢量量化n主分量分析n仿真实例第7章 竞争神经网络概述 概 述人脑神经系统：1.学习的自主性2.信息存储的自组织性3.学习和记忆的弹性4.脑神经元的侧抑制性5.Bottom-Up&Top-Down（视觉、听觉）概 述人脑神经系统：概 述神经网络的结构：1.前向网络（BP、RBF、PNN）2.反馈网络（Hopfield、Boltzmann）3.竞争网络（SOM、ART、PCA、SNN）前向网络 反馈网络 竞争网络结论：结构上均能反映神经元之间的连接特点结论：结构上均能反映神经元之间的连接特点 但竞争网络更能体现对环境的自适应性但竞争网络更能体现对环境的自适应性 概 述神经网络的结构：结论：概 述竞争网络的特点：1.网络结构：输入与输出之间采用前向连接，输出层各单元之间采用侧向连接；2.学习机制：采用自组织学习模型，即在无导师指导下寻找输入数据空间中的重要模式或特征。实现方法：利用不同的竞争学习算法，使得输实现方法：利用不同的竞争学习算法，使得输出神经元之间相互竞争，以确定最能代表输入出神经元之间相互竞争，以确定最能代表输入模式的竞争获胜者。模式的竞争获胜者。概 述竞争网络的特点：实现方Hamming网络n网络结构：Hamming网络网络结构：Hamming网络n网络参数：前向子网输入：前向子网输出：前向子网激励：其中：为阈值，为饱和值Hamming网络网络参数：Hamming网络竞争子网权值：其中：竞争子网输出：其中：Hamming网络Hamming网络n网络的学习算法：Step1 设置变量和参量 输入样本：X(n)=x1(n),x2(n),xN(n)T 前向子网权值：实际输出：Y(n)=y1(n),y2(n),yM(n)T 学习速率：迭代步数：n代表网络的第n次训练，n1代表竞争子网的迭代步数，N为总的训练次数。Hamming网络网络的学习算法：Hamming网络 Step 2 初始化 随机初始化前向权值 并满足条件：，i=1，2，M 按前式初始化 ，、均选取前述的分段线性函数。Hamming网络 Step 2 初始化Hamming网络Step 3 选取训练样本X。Step 4 计算竞争子网的初始输入 ，i=1，2，M Step 5 进行竞争子网的迭代 ，k=1，2，M Hamming网络Step 3 选取训练样本X。Hamming网络 Step 6 观察竞争子网的输出，当输出达到要求（只有一个输出为正，其余为零）则转到Step 7,否则n1等于n1+1,转到Step 5继续迭代。Step 7 将输出最大的神经元c定为获胜神经元，并将其输出yc(n)置为1，其他神经元的输出置为0。Step 8 更新获胜神经元c的权值向量Hamming网络 Step 6 观察竞争子网的输出，当Hamming网络 Step 9 判断网络当前的训练次数n是否大于N，如果小于，则n等于n+1，回到Step 3进行新的一次训练，否则结束网络训练过程。注意事项：n权值更新规则中的p表示输入向量X（限制为二进制输入）中元素为1的个数，以满足权值约束条件；n实际的输入可不限制为二进制；n只有获胜神经元对应的权值得到调整；Hamming网络 Step 9 判断网络当前的训练次数Hamming网络n网络受初始化的影响较大，易产生“死”神经元；n网络分类的稳定性较差；nHamming网是最简单的竞争网络，体现了竞争网络的基本思想。Hamming网络网络受初始化的影响较大，易产生“死”神经元自组织映射网络n自组织现象“加强中心而抑制周围”，即生物神经元不仅加强自身，而且加强周围邻近的神经元，同时抑制离它距离较远的神经元；n模型函数“墨西哥草帽”函数；自组织映射网络自组织现象“加强中心而抑制周围”，即生物神经自组织映射网络nKohonen于1982年引入了网格状的拓扑结构，并引入变化邻域概念，从微观上模拟生物神经元之间的侧抑制特性，从而提出自组织映射网络模型。n自组织映射网络模型：自组织映射网络Kohonen于1982年引入了网格状的拓扑结自组织映射网络n网络参数：输入层：X=x1,x2,xNT；网络权值：（i=1,2,M；j=1,2,N）；输出层：，其中：为线性激励函数自组织映射网络网络参数：自组织映射网络n网络的学习算法：竞争 合作 更新Step 1 设置变量和参量输入样本：X(n)=x1(n),x2(n),xN(n)T;权值向量：Wi(n)=wi1(n),wi2(n),wiN(n)T i=1,M;迭代步数：N;自组织映射网络网络的学习算法：自组织映射网络Step 2 初始化初始学习速率：;初始权值：Wi(0);归一化：，其中：，自组织映射网络Step 2 初始化自组织映射网络 Step 3 输入训练样本 ;Step 4 竞争（获胜神经元为c）：,i=1,2,M Step 5 合作与更新：对获胜神经元拓扑邻域Nc(n)内的兴奋神经元，采用Hebb更新规则自组织映射网络 Step 3 输入训练样本 ;自组织映射网络 Step 6 修改学习速率 、拓扑邻域Nc(n)以及归一化权值：自组织映射网络 Step 6 修改学习速率 自组织映射网络 Step 7 判断迭代次数n是否超过N,如果n=N就转到step 3，否则结束迭代过程。注意事项：n采用欧式距离测度实现竞争；n学习速率和拓扑邻域修改规则的选取；n对输入空间的近似；n拓扑排序；n非线性特征选择。自组织映射网络 Step 7 判断迭代次数n是否超过N,学习矢量量化 Kohonen在1989年提出学习矢量量化，实现竞争网络结构的有监督学习。学习矢量量化竞争学习有监督学习学习矢量量化竞争学习有监督学习n网络模型：学习矢量量化 Kohonen在1989年提出学习矢量量化学习矢量量化n学习算法：Step 1 设置变量和参量训练样本：X(n)=x1(n),x2(n),xN(n)T；权值矢量：Wi(n)=wi1(n),wi2(n),wiN(n)T i=1,2,M；学习速率：；迭代步数：n为迭代次数，N为迭代总次数。学习矢量量化学习算法：学习矢量量化 Step 2 随机初始化权值向量Wi(0)及学习速率 ；Step 3 输入训练样本X；Step 4 计算距离，求获胜神经元c：，i=1,2,M Step 5 根据分类的正确性调整权值：用 代表与获胜神经元权值向量相联系的类，用 代表与输入向量相联系的类 学习矢量量化 Step 2 随机初始化权值向量Wi(0)学习矢量量化 Step 5 如果 =，则 否则，当 ，有 其他神经元保持权值向量不变；Step 6 学习速率调整：学习矢量量化 Step 5 如果 =，学习矢量量化 Step 7 判断迭代次数n是否超过N，如果n=N就转到Step 3，否则结束迭代过程。注意事项：n网络中加入分类信息指导学习；n随机初始化的权值导致学习的不稳定；n作为自组织映射系统的性能提升方法。学习矢量量化 Step 7 判断迭代次数n是否超过N，如主分量分析特征提取 线性关系 二阶矩 PCA可以提取数据中的二阶线性关系，通过主分量的形式表现；利用主分量提取网络降低主分量提取中矩阵运算的复杂度。n主分量分析方法（PCA、K-L变换）：在均方误差最优意义下：原数据空间 特征空间可逆变换T逆变换T-1主分量分析特征提取 线性关系 二阶矩可逆主分量分析 对m维随机矢量X=x1,x2,xmT求协方差CX 当EX=0时，计算CX的特征值和对应的归一化特征向量U1,U2,Um：由特征向量U1,U2,Um 构成特征空间（m维）主分量分析 对m维随机矢量X=x1,x2,x主分量分析设特征值n输入空间 特征空间（投影）：yi=UiTX(i=1,2,m)，yi即为X的第i个主分量；n特征空间 输入空间（重构）：主分量分析设特征值主分量分析 特征向量所对应的特征值越大，它在重构时的贡献就越大，而特征值越小，该特征向量在重构时的贡献就越小。重构时只考虑前L个最大的特征值，则 实际上，由前L个特征向量构成的空间是一个低维空间（），大大降低了数据维数主分量分析 特征向量所对应的特征值越大，它在主分量分析矩阵运算的复杂度？+神经网络解决的优势？nOja网络模型：主分量分析矩阵运算的复杂度？+神经网络解决的优势？主分量分析n网络参数：网络输出：权值更新规则：主分量分析网络参数：主分量分析n网络收敛后的性质：1.；2.W位于CX的最大特征向量的方向上；3.输出方差最大：当W位于CX的最大特征向量的方向上时，方差Ey2将达到最大值。主分量分析网络收敛后的性质：主分量分析n预期效果：网络实现对输入集合的第1主分量的提取，而训练后的权值向量W就是输入数据分布的自相关矩阵CX的具有最大特征值的特征矢量。n基于Sanger算法的网络模型：主分量分析预期效果：主分量分析n网络参数：网络输出：（i=1,2,M）权值更新规则：（i=1,2,M）主分量分析网络参数：主分量分析n预期效果：网络收敛后M个输出神经元对应的权值向量将位于CX的前M个主分量方向上，而网络的输出对应于输入向量X的前M个主分量，即网络实现了对输入数据分布的前M个主分量的提取。主分量分析预期效果：