Hopfield神经网络模型与学习算法

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,Hopfield神经网络模型与学习算法,11/15/2024,1,概述,Hopfield网络是神经网络开展历史上的一个重要的里程碑。由美国加州理工学院物理学家教授于1982年提出，是一种单层反响神经网络。,Hopfield网络是一种由非线性元件构成的反响系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。,Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(Discrete Hopfield Neural Network)和CHNN(Continues Hopfield Neural Network)。,Hello,Im John Hopfield,11/15/2024,2,离散Hopfield 神经网络,网络模型表示法一,11/15/2024,3,离散Hopfield 神经网络,网络模型表示法二,11/15/2024,4,离散Hopfield 神经网络,相关参数说明,任意神经元 与 间的突触权值 为，神经元之间连接是对称的，神经元自身无连接.,每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反响给自己,设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出 用表示，它们都是时间的函数，其中 也称为神经元在时刻 的状态。,11/15/2024,5,离散Hopfield 神经网络,鼓励函数,11/15/2024,6,离散Hopfield 神经网络,离散Hopfield网络的运行规那么,(1)串行(异步)工作方式,在任时刻，只有某神经元(随机的或确定的选择)依上式变化，而其他神经元的状态不变。,(2)并行(同步)工作方式,在任一时刻，局部神经元或全部神经元的状态同时改变。,11/15/2024,7,离散Hopfield 神经网络,串行(异步)工作方式运行步骤,第一步 对网络进行初始化；,第二步 从网络中随机选取一个神经元；,第三步 按式(2-5)求出该神经元i的输出；,第四步 按式(2-6)求出该神经元经激活函数处理后的输出，此时网络中的其他神经元的输出保持不变；,第五步 判断网络是否到达稳定状态，假设到达稳定状态或满足给定条件那么结束；否那么转到第二步继续运行。,11/15/2024,8,离散Hopfield 神经网络,稳定状态,假设网络从某一时刻以后，状态不再发生变化，那么称网络处于稳定状态,网络为对称连接，即；神经元自身无连接,能量函数在网络运行中不断降低，最后到达稳定,11/15/2024,9,离散Hopfield 神经网络,网络中神经元能量函数变化量,Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界，所以系统必然会趋于稳定状态。,11/15/2024,10,2.9.2 连续Hopfield 神经网络,网络模型,11/15/2024,11,2.9.2 连续Hopfield 神经网络,稳定性分析,将下式代入得：,因为,连续Hopfield网络模型是稳定的,11/15/2024,12,2.9.2 连续Hopfield 神经网络,连续Hopfield网络模型的主要特性,1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有Sigmoid特性；,2)具有时空整合作用；,3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反响来实现。,4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保存了动态和非线性两个最重要的计算特性。,Hopfield神经网络设计的目标就是使得网络存储一些特定的平衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来,11/15/2024,13,2.9.3 Hopfield 神经网络的MATLAB实现,函 数 名,功 能,satlin(),饱和线性传递函数,satlins(),对称饱和线性传递函数,newhop(),生成一个Hopfield回归网络,nnt2hop(),更新NNT 2.0 Hopfield回归网络,MATLAB中Hopfield网络的重要函数和功能,11/15/2024,14,2.9.3 Hopfield 神经网络的MATLAB实现,MATLAB中与Hopfield网络有关的重要函数和功能,newhop(),功能 生成一个Hopfield回归网络。,格式 net=newhop(T),说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵元素必须为-1或1。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins()函数，层中的神经元有来自它自身的连接权和阈值。,11/15/2024,15,2.9.3 Hopfield 神经网络的MATLAB实现,MATLAB中与Hopfield网络有关的重要函数和功能,satlins(),功能 对称饱和线性传递函数,格式 A=satlins(N),A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间0，1内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。,11/15/2024,16,2.9.3 Hopfield 神经网络的MATLAB实现,例2-8 设印刷体数字由10 10点阵构成，就是将数字分成很多小方块，每个方块就对应数字的一局部，构成数字本局部的方块用1表示，空白处用-1表示。试设计一个Hopfield网络，能够正确识别印刷体的数字。,由点阵构成的数字1,由点阵构成的数字2,11/15/2024,17,例2-8程序,11/15/2024,18,小结,概述,离散Hopfield神经网络及工作过程,连续Hopfield神经网络,稳定性分析,Hopfield神经网络的MATLAB实现,实例分析,11/15/2024,19,谢谢！,11/15/2024,20,