hopfield神经网络ppt课件

Hopfield网络及其运用郑洪英重庆大学信息平安系一、反响网络二、Hopfield网络简介三、DHNN网络四、TSP问题求解五、内容小结内容安排1.1 反响网络简介1.2 网络稳定性一、反响网络1.1 反响网络简介反响网络(Recurrent Network)，又称自联想记忆网络其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络经过自行运转而最终收敛到这个设计的平衡点上。反响网络能表现出非线性动力学系统动态特性网络系统具有假设干个稳定形状。当网络从某一初始形状开场运动，网络系统总可以收敛到某一个稳定的平衡形状；系统稳定的平衡形状可以经过设计网络的权值而被存储到网络中前馈型与反响型神经网络的比较 (1)前馈型神经网络只表达输入输出之间前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反响型神经网的映射关系，实现非线性映射；反响型神经网络思索输入输出之间在时间上的延迟，需求用络思索输入输出之间在时间上的延迟，需求用动态方程来描画，反响型神经网络是一个非线动态方程来描画，反响型神经网络是一个非线性动力学系统。性动力学系统。(2)前馈型神经网络学习训练的目的是快前馈型神经网络学习训练的目的是快速收敛，普通用误差函数来断定其收敛程度；速收敛，普通用误差函数来断定其收敛程度；反响型神经网络的学习目的是快速寻觅到稳定反响型神经网络的学习目的是快速寻觅到稳定点，普通用能量函数来判别能否趋于稳定点。点，普通用能量函数来判别能否趋于稳定点。(3)两者都有部分极小问题。两者都有部分极小问题。1.1 反响网络简介反响网络分类假设激活函数f()是一个二值型的函数，即aisgn(ni)，il,2,r，那么称此网络为离散型反响网络；假设f()为一个延续单调上升的有界函数，这类网络被称为延续型反响网络该网络为单层全反响网络，其中的每个神经元的输出都是与其他神经元的输入相连的。所以其输入数目与输出层神经元的数目是相等的，有rs。1.2 网络稳定性形状轨迹对于一个由r个神经元组成的反响网络，在某一时辰t，分别用N(t)和A(t)来表示加权和矢量和输出矢量。在下一时辰t+1，可得到N(t+1)，而N(t+1)又引起A(t+1)的变化，这种反响演化的过程，使网络形状随时间发生变化。在一个r维形状空间上，可以用一条轨迹来描画形状变化情况。从初始值A(t0)出发，A(t0+t)A(t0+2t)A(t0+mt)，这些在空间上的点组成确实定轨迹，是演化过程中一切能够形状的集合，我们称这个形状空间为相空间1.2 网络稳定性形状轨迹离散与延续轨迹在一个r维形状空间上，可以用一条轨迹来描画形状变化情况.1.2 网络稳定性形状轨迹分类：对于不同的衔接权值wij和输入Pj(i,j=1,2,r)，反响网络能够出现不同性质的形状轨迹轨迹为稳定点轨迹为极限环轨迹为混沌景象轨迹发散1.2 网络稳定性稳定轨迹反响网络从任一初始态P(0)开场运动，假设存在某一有限时辰t，从t以后的网络形状不再发生变化P(t+t)=P(t)，t0那么称网络是稳定的 处于稳定时的网络形状叫做稳定形状，又称为定吸引子1.2 网络稳定性稳定点分类在一个反响网络中，存在很多稳定点稳定点收敛域渐近稳定点：在稳定点Ae周围的A()区域内，从任一个初始形状A(t0)出发，当t时都收敛于Ae，那么称Ae为渐近稳定点不稳定平衡点Aen：在某些特定的轨迹演化过程中，网络可以到达稳定点Aen，但对其它方向上恣意小的区域A()，不论A()取多么小，其轨迹在时间t以后总是偏离Aen；期望解网络的解：假设网络最后稳定到设计人员期望的稳定点，且该稳定点又是渐近稳定点，那么这个点称为网络的解；网络的伪稳定点：网络最终稳定到一个渐近稳定点上，但这个稳定点不是网络设计所要求的解1.2 网络稳定性形状轨迹为极限环在某些参数的情况下，形状A(t)的轨迹是一个圆，或一个环形状A(t)沿着环反复旋转，永不停顿，此时的输出A(t)也出现周期变化即出现振荡假设在r种形状下循环变化，称其极限环为r对于离散反响网络，轨迹变化能够在两种形状下来回跳动，其极限环为21.2 网络稳定性形状轨迹为混沌假设形状A(t)的轨迹在某个确定的范围内运动，但既不反复，又不能停下来形状变化为无穷多个，而轨迹也不能发散到无穷远，这种景象称为混沌(chaos)出现混沌的情况下，系统输出变化为无穷多个，并且随时间推移不能趋向稳定，但又不发散1.2 网络稳定性形状轨迹发散形状A(t)的轨迹随时间不断延伸到无穷远。此时形状发散，系统的输出也发散普通非线性人工神经网络中发散景象是不会发生的.1.2网络稳定性目前的反响神经网络是利用稳定的特定轨迹来处理某些问题假设视系统的稳定点为一个记忆，那么从初始形状朝此稳定点挪动的过程即为寻觅该记忆的过程形状的初始值可以以为是给定的有关该记忆的部分信息，形状A(t)挪动的过程，是从部分信息去寻觅全部信息，这就是联想记忆的过程将系统的稳定点思索为一个能量函数的极小点。在形状空间中，从初始形状A(t0)，最后到达A*。假设A*为稳定点，那么可以看作是A*把A(t0)吸引了过去，在A(t0)时能量比较大，而吸引到A*时能量已为极小了1.2网络稳定性思索详细运用，可以将能量的极小点作为一个优化目的函数的极小点，把形状变化的过程看成是优化某一个目的函数的过程因此反响网络的形状挪动的过程实践上是一种计算联想记忆或优化的过程。它的解并不需求真的去计算，只需求构成一类反响神经网络，适当地设计网络权值wij，使其初始输入A(t0)向稳定吸引子形状挪动就可以到达目的二、Hopfield网络简介2.1 网络模型2.2 DHNN2.3 CHNN2.4 联想记忆与优化计算概述 Hopfield Hopfield网络是神经网络开展历史上的一个重要的里网络是神经网络开展历史上的一个重要的里程碑。由美国加州理工学院物理学家程碑。由美国加州理工学院物理学家J.J.HopfieldJ.J.Hopfield教授于教授于19821982年提出，是一种单层反响神经网络。年提出，是一种单层反响神经网络。HopfieldHopfield网络是一种由非线性元件构成的反响系统，其稳网络是一种由非线性元件构成的反响系统，其稳定形状的分析比前向神经网络要复杂得多。定形状的分析比前向神经网络要复杂得多。19841984年，年，HopfieldHopfield设计并研制了网络模型的电路，并胜利地处理了设计并研制了网络模型的电路，并胜利地处理了游览商游览商(TSP)(TSP)计算难题计算难题(优化问题优化问题)。Hopfield Hopfield网络分为离散型和延续型两种网络模型，分网络分为离散型和延续型两种网络模型，分别记作别记作DHNN(Discrete Hopfield Neural Network)DHNN(Discrete Hopfield Neural Network)和和CHNN(Continues Hopfield Neural Network)CHNN(Continues Hopfield Neural Network)。Hello,Im John Hopfield反响神经网络由于其输出端有反响到其反响神经网络由于其输出端有反响到其输入端；所以，输入端；所以，HopfieldHopfield网络在输入的网络在输入的鼓励下，会产生不断的形状变化。鼓励下，会产生不断的形状变化。当有输入之后，可以求出当有输入之后，可以求出HopfieldHopfield的输的输出，这个输出反响到输入从而产生新的出，这个输出反响到输入从而产生新的输出，这个反响过程不断进展下去。假输出，这个反响过程不断进展下去。假设设HopfieldHopfield网络是一个能收敛的稳定网网络是一个能收敛的稳定网络，那么这个反响与迭代的计算过程所络，那么这个反响与迭代的计算过程所产生的变化越来越小，一旦到达了稳定产生的变化越来越小，一旦到达了稳定平衡形状；那么平衡形状；那么HopfieldHopfield网络就会输出网络就会输出一个稳定的恒值。一个稳定的恒值。2.1 网络模型分类分类离散离散HopfieldHopfield网络网络DHNNDHNN延续延续HopfieldHopfield网络网络CHNNCHNN DHNN中的激活函数 CHNN中的激活函数 2.1 网络模型2.2 DHNNHopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。在离散Hopfield网络中，所采用的神经元是二值神经元；故而，所输出的离散值1和0分别表示神经元处于激活和抑制形状。2.2 DHNN对于一个离散的Hopfield网络，其网络形状是输出神经元信息的集合。对于一个输出层是n个神经元的网络，那么其t时辰的形状为一个n维向量：Aa1，a2，anT 故而，网络形状有2n个形状；由于Aj(t)(j1n)可以取值为1或0；故n维向量A(t)有2n种形状，即是网络形状。2.2 DHNN对于三个神经元的离散Hopfield网络，它的输出层就是三位二进制数；每一个三位二进制数就是一种网络形状，从而共有8个网络形状。这些网络形状如下图。在图中，立方体的每一个顶角表示一种网络形状。同理，对于n个神经元的输出层，它有2n个网络形状，也和一个n维超立方体的顶角相对应。2.2 DHNN假设Hopfield网络是一个稳定网络，那么在网络的输入端参与一个输入向量，那么网络的形状会产生变化，也就是从超立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。2.2 DHNNDHNN取b0，wii0权矩阵中有wijwji2.2 DHNNDHNN网络构造可以用一个加权向量图表示稳定形状稳定形状假设网络从某一时辰以后，形状不再发生假设网络从某一时辰以后，形状不再发生变化，那么称网络处于稳定形状变化，那么称网络处于稳定形状网络为对称衔接，即；神经元本身无衔接网络为对称衔接，即；神经元本身无衔接 能量函数在网络运转中不断降低，最后能量函数在网络运转中不断降低，最后到达稳定到达稳定nnn1111E2ijijiiijiijjiwv vb v ()()0v ttv tt 网络中神经元能量函数变化量网络中神经元能量函数变化量n11E2iijijiiiijw vvbv nn11n1EE(1)E()11(1)(1)()()221(1)()2iiiijijiiijijiiiiijijiiijjiiijttw v tvbv tw v t vbv tv tv tw vb E0iHopfield网络形状向着能量函数减网络形状向着能量函数减小的方向演化。由于能量函数有界，小的方向演化。由于能量函数有界，所以系统必然会趋于稳定形状所以系统必然会趋于稳定形状。2.3 CHNN将霍普菲尔德网络推行到输入和输出都取延续数值的情形网络的根本构造不变，形状输出方程方式上也一样。那么网络的形状转移方程可写为2.3 CHNN神经元的激活函数f为S型的函数(或线性饱和函数2.3 CHNN神经元的激活函数f为S型的函数(或线性饱和函数2.4 联想记忆与优化计算联想记忆问题稳定形状知并且经过学习和设计算法寻求适宜的权值矩阵将稳定形状存储到网络中优化计算权值矩阵W知，目的为寻觅具有最小能量E的稳定形状主要任务为设计相应的W和能量函数公式三、DHNN3.1 神经元形状更新方式3.2 网络学习3.3 网络记忆容量3.4 权值设计3.1 形状更新由-1变为1；由1变为-1；形状坚持不变串行异步方式恣意时辰随机地或确定性地选择网络中的一个神经元进展形状更新，而其他神经元的形状坚持不变 3.1 形状更新串行异步方式任一时辰，网络中只需一个神经元被选择进展形状更新或坚持，所以异步形状更新的网络从某一初态开场需经过多次更新形状后才可以到达某种稳态。实现上容易，每个神经元有本人的形状更新时辰，不需求同步机制；异步形状更新更接近实践的生物神经系统的表现并行同步方式恣意时辰网络中部分神经元(比好像一层的神经元)的形状同时更新。假设恣意时辰网络中全部神经元同时进展形状更新，那么称之为全并行同步方式 3.2 网络学习联想记忆联想记忆功能是DHNN的一个重要运用范围。反响网络实现联想记忆必需具备的两个根本条件网络能收敛到稳定的平衡形状，并以其作为样本的记忆信息；具有回想才干，可以从某一残缺的信息回想起所属的完好的记忆信息学习目的具有q个不同的输入样本组PrqP1,P2 Pq经过学习方式调理计算有限的权值矩阵W以每一组输入样本Pk，k=1，2，q 作为系统的初始值经过网络任务运转后，系统能收敛到各自输入样本矢量本身3.2 网络学习DHNN中运用海布调理规那么(hebb)海布法那么是一种无指点的死记式学习算法当神经元输入与输出节点的形状一样(即同时兴奋或抑制)时，从第j个到第i个神经元之间的衔接强度那么加强，否那么减弱当k1时，对于第i个神经元，由海布学习规那么可得网络权值对输入矢量的学习关系式为其中，0，i1，2，r；j=1，2，r。在实践学习规那么的运用中，普通取1或1/r3.2 网络学习当k由1添加到2，直至q时，是在原有己设计出的权值的根底上，添加一个新量pjkpik，k2,q对网络一切输入样本记忆权值的设计公式为其中，0，i1，2，r；j=1，2，r。在实践学习规那么的运用中，普通取1或1/r3.2 网络学习向量方式表示1时神经网络工具箱中采用海布公式求解网络权矩阵变化的函数为learnh.m和learnhd.m。后者为带有衰减学习速率的函数dW1earnh(P，A，lr)dWlearnhd(W，P，A，lr，dr)；对于简单的情况，lr可以选择1；对于复杂的运用，可取lr0.10.5，drlr33.2 网络学习简单验证q1，l求出的权值wij能否可以保证aipi？对于第i个输出节点，有3.3 记忆容量设计DHNN网络的目的，是希望经过所设计的权值矩阵W储存多个期望方式当网络只记忆一个稳定方式时，该方式一定被网络准确无误地记忆住，即所设计的W值一定可以满足正比于输入和输出矢量的乘积关系但当需求记忆的方式增多时，网络记忆能够出现问题权值挪动交叉干扰3.3 记忆容量在网络的学习过程中，网络对记忆样本输入T1，T2，Tq的权值学习记忆实践上是逐个实现的。即对权值W，有程序：W=0for k=l qW=W+Tk(Tk)T-Iend 3.3 记忆容量由此过程可知：当k=1时，有 此时，网络准确的记住了样本T1 3.3 记忆容量权值挪动当k2时，为了记忆样本T2，需求在记忆了样本Tl的权值上加上对样本T2的记忆项T2(T2)T-I，将权值在原来值的根底上产生了挪动由于在学习样本T2时，权矩阵W是在已学习了T1的根底上进展修正的，W起始值不再为零，所以由此调整得出的新的W值，对记忆样本T2来说，也未必对一切的s个输出同时满足符号函数的条件，即难以保证网络对T2的准确的记忆3.3 记忆容量权值挪动随着学习样本数k的添加，权值挪动景象将进一步发生，当学习了第q个样本Tq后，权值又在前q-1个样本修正的根底上产生了挪动，这也是网络在准确的学习了第一个样本后的第q-1次挪动对已记忆的样本发生遗忘，这种景象被称为“疲劳3.3 记忆容量在此情况下，所求出的新的W为：wij=tj1ti1+tj2ti2，对于样本T1来说，网络的输出为：此输出有能够不再对一切的s个输出均满足加权输入和与输出符号一致的条件。网络有能够部分地遗忘了以前已记忆住的方式。3.3 记忆容量交叉干扰交叉干扰设输入矢量设输入矢量P P维数为维数为r rq q，取，取=1/r=1/r。Pk-1Pk-1，11，所，所以以pjkpjk*pjkpjk1 1。当网络某个矢量。当网络某个矢量PlPl，l1,ql1,q，作为，作为网络的输入矢量时，可得网络的加权输入和网络的输入矢量时，可得网络的加权输入和nilnil为为上式右边中第一项为期望记忆的样本，而第二项那么上式右边中第一项为期望记忆的样本，而第二项那么是当网络学习多个样本时，在回想阶段即验证该记忆是当网络学习多个样本时，在回想阶段即验证该记忆样本时，所产生的相互关扰，称为交叉干扰项样本时，所产生的相互关扰，称为交叉干扰项3.3 记忆容量有效容量有效容量从对网络的记忆容量产生影响的权值挪动和交从对网络的记忆容量产生影响的权值挪动和交叉干扰上看，采用海布学习法那么对网络记忆叉干扰上看，采用海布学习法那么对网络记忆样本的数量是有限制的样本的数量是有限制的经过上面的分析曾经很清楚地得知，当交叉干经过上面的分析曾经很清楚地得知，当交叉干扰项值大于正确记忆值时，将产生错误输出扰项值大于正确记忆值时，将产生错误输出在什么情况下，可以保证记忆住一切样本在什么情况下，可以保证记忆住一切样本?当所期望记忆的样本是两两正交时，可以准确当所期望记忆的样本是两两正交时，可以准确得到一个可记忆数量的上限值得到一个可记忆数量的上限值 3.3 记忆容量有效容量的上界有效容量的上界正交特性正交特性神经元为二值输出的情况下，即神经元为二值输出的情况下，即Pj-1Pj-1，11，当两个，当两个r r维样本矢量的各个分量中，维样本矢量的各个分量中，有有r/2r/2是一样，是一样，r/2r/2是相反。对于恣意一是相反。对于恣意一个数个数l l，l1l1，qq，有，有Pl(Pk)TPl(Pk)T0 0，lklk；而有；而有Pl(Pl)TPl(Pl)Tr r，l lk k 3.3 记忆容量用外积和公式所得到的权矩阵进展迭代计用外积和公式所得到的权矩阵进展迭代计算，在输入样本算，在输入样本PkPk，k=1k=1，2,q2,q中任取中任取PlPl为初始输入，求网络加权输出和为初始输入，求网络加权输出和Nl Nl 只需满足，只需满足，r rq q，那么有那么有sgn(Nl)sgn(Nl)PlPl保证保证PlPl为网络的稳为网络的稳定解定解 3.4 权值设计的其它方法学习规那么：经过计算每个神经元节点的实践激活值A(t)，与期望形状T(t)进展比较，假设不满足要求，那么将二者的误差的一部分作为调整量，假设满足要求，那么相应的权值坚持不变 3.4 权值设计的其它方法伪逆法对于输入样本PP1 P2 Pq，设网络输出可以写成一个与输入样本相对应的矩阵A，输入和输出之间可用一个权矩阵W来映射，即有：W*PN，Asgn(N)，由此可得WN*P*其中P*为P的伪逆，有P*(PTP)-1PT假设样本之间是线性无关的，那么PTP满秩，其逆存在，那么可求出权矩阵W但当记忆样本之间是线性相关的，由海布法所设计出的网络存在的问题，伪逆法也处理不了，甚至无法求解，相比之下，由于存在求逆等运算，伪逆法较为繁琐，而海布法那么要容易求得多四、TSP问题求解所谓TSP(Traveling Salesman Problem)问题，即“游览商问题是一个非常有名的难以求解的优化问题，其要求很简单：在n个城市的集合中，找出一条经过每个城市各一次，最终回到起点的最短途径问题描画假设知城市A，B，C，D，之间的间隔为dAB，dBC，dCD；那么总的间隔ddAB+dBC+dCD+，对于这种动态规化问题，要去求其min(d)的解对于n个城市的全陈列共有n!种，而TSP并没有限定途径的方向，即为全组合，所以对于固定的城市数n的条件下，其途径总数Sn为Snn!2n(n4)4.3 TSP问题TSP的解是假设干城市的有序陈列，任何一个城市在最终途径上的位置可用一个n维的0、1矢量表示，对于一切n个城市，那么需求一个nn维矩阵。以5个城市为例，一种能够的陈列矩阵为4.3 TSP问题假设用dxy表示从城市x到城市y的间隔，那么上面途径的总长度为：dxydCA+dAD+dDB+dBE+dECTSP的最优解是求长度dxy为最短的一条有效的途径 采用延续时间的霍普菲尔德网络模型来求解TSP，开辟了一条处理这一问题的新途径。其根本思想是把TSP映射到CHNN上，经过网络形状的动态演化逐渐趋向稳态而自动地搜索出优化解4.3 TSP问题目的函数f(V)(游览道路长度)约束条件g(V)约束条件要保证关联矩阵的每一行每一列中只需一个值为1，其他值均为零，用三项表示为总的能量函数EHopfield 神经网络的MATLAB实现例2-8 设印刷体数字由10 10点阵构成，就是将数字分成很多小方块，每个方块就对应数字的一部分，构成数字本部分的方块用1表示，空白处用-1表示。试设计一个Hopfield网络，可以正确识别印刷体的数字。由点阵构成由点阵构成的数字的数字1由点阵构成由点阵构成的数字的数字2选择离散Hopfield 神经网络,设网络由10 个初始稳态值1、2、3、4、5、6、7、8、9 和0 构成,即可以记忆10 种数字。每一个稳态由10*10 的矩阵构成,模拟阿拉伯数字点阵,其中,有点处用1 表示,空白处用-1 表示。例2-8程序%数字1的点阵表示one=-1-1-1 1 1 1 1-1-1-1-1-1-1 1 1 1 1-1-1-1 -1-1-1 1 1 1 1-1-1-1-1-1-1 1 1 1 1-1-1-1-1-1-1 1 1 1 1-1-1-1-1-1-1 1 1 1 1-1-1-1-1-1-1 1 1 1 1-1-1-1-1-1-1 1 1 1 1-1-1-1-1-1-1 1 1 1 1-1-1-1-1-1-1 1 1 1 1-1-1-1;%数字2的点阵表示two=1 1 1 1 1 1 1 1-1-1 1 1 1 1 1 1 1 1-1-1-1-1-1-1-1-1 1 1-1-1-1-1-1-1-1-1 1 1-1-1 1 1 1 1 1 1 1 1-1-1 1 1 1 1 1 1 1 1-1-1 1 1-1-1-1-1-1-1-1-1 1 1-1-1-1-1-1-1-1-1 1 1 1 1 1 1 1 1-1-1 1 1 1 1 1 1 1 1-1-1;%设定网络的目标向量T=one;two;