《神经网络优化计算》ppt.ppt

神经网络优化计算 智能优化计算 教学重点掌握BP神经网络的结构掌握BP神经网络的算法原理理解Hopfield网络的原理教学难点BP神经网络的算法原理Hopfield网络的原理另外 算法的实现请参阅程序文件 3 1人工神经网络的基本概念3 1 1发展历史3 1 2McCulloch Pitts神经元3 1 3网络结构的确定3 1 4关联权值的确定3 1 5工作阶段3 2多层前向神经网络3 2 1一般结构3 2 2反向传播算法3 3反馈型神经网络3 3 1离散Hopfield神经网络3 3 2连续Hopfield神经网络3 3 3Hopfield神经网络在TSP中的应用 智能优化计算 3 1人工神经网络的基本概念 智能优化计算 神经网络 与 人工神经网络 1943年 WarrenMcCulloch和WalterPitts建立了第一个人工神经网络模型 1969年 Minsky和Papert发表Perceptrons 20世纪80年代 Hopfield将人工神经网络成功应用在组合优化问题 3 1 1发展历史 3 1人工神经网络的基本概念 智能优化计算 重要意义现代的神经网络开始于McCulloch Pitts 1943 的先驱工作 他们的神经元模型假定遵循有 无模型律 如果如此简单的神经元数目足够多和适当设置连接权值并且同步操作 McCulloch Pitts证明这样构成的网络原则上可以计算任何可计算函数 标志着神经网络和人工智能的诞生 3 1 2McCulloch Pitts神经元 3 1人工神经网络的基本概念 智能优化计算 结构McCulloch Pitts输出函数定义为 3 1 2McCulloch Pitts神经元 3 1人工神经网络的基本概念 智能优化计算 网络的构建Y F X 3 1 2McCulloch Pitts神经元 网络的拓扑结构前向型 反馈型等神经元激活函数阶跃函数线性函数Sigmoid函数 3 1人工神经网络的基本概念 智能优化计算 3 1 3网络结构的确定 确定的内容权值wi和 确定的方式学习 训练 有指导的学习 已知一组正确的输入输出结果的条件下 神经网络依据这些数据 调整并确定权值 无指导的学习 只有输入数据 没有正确的输出结果情况下 确定权值 3 1人工神经网络的基本概念 智能优化计算 3 1 4关联权值的确定 学习与工作的关系先学习 再工作 3 1人工神经网络的基本概念 智能优化计算 3 1 5工作阶段 3 2多层前向神经网络 智能优化计算 多层两层以上前向无反馈 3 2 1一般结构 3 2多层前向神经网络 智能优化计算 目的确定权值方法反向推导 3 2 2反向传播算法 3 3反馈型神经网络 智能优化计算 一般结构各神经元之间存在相互联系分类连续系统 激活函数为连续函数离散系统 激活函数为阶跃函数 3 3反馈型神经网络 智能优化计算 Hopfield神经网络1982年提出Hopfield反馈神经网络 HNN 证明在高强度连接下的神经网络依靠集体协同作用能自发产生计算行为 是典型的全连接网络 通过引入能量函数 使网络的平衡态与能量函数极小值解相对应 3 3反馈型神经网络 智能优化计算 网络结构N为网络节点总数 3 3 1离散Hopfield神经网络 3 3反馈型神经网络 智能优化计算 网络结构一般认为vj t 0时神经元保持不变sj t 1 sj t 一般情况下网络是对称的 wij wji 且无自反馈 wjj 0 整个网络的状态可用向量s表示 3 3 1离散Hopfield神经网络 3 3反馈型神经网络 智能优化计算 工作方式串行 异步 asynchronous 任一时刻只有一个单元改变状态 其余单元保持不变 并行 同步 synchronous 某一时刻所有神经元同时改变状态 稳定状态如果从t 0的任一初始态s 0 开始变化 存在某一有限时刻t 从此以后网络状态不再变化 即s t 1 s t 则称网络达到稳定状态 3 3 1离散Hopfield神经网络 3 3反馈型神经网络 智能优化计算 能量函数的定义异步方式 同步方式 3 3 1离散Hopfield神经网络 3 3反馈型神经网络 智能优化计算 能量函数能量是有界的 从任一初始状态开始 若在每次迭代时都满足 E 0 则网络的能量将越来越小 最后趋向于稳定状态 E 0 3 3 1离散Hopfield神经网络 3 3反馈型神经网络 智能优化计算 能量函数分析异步 且网络对称wij wji 情况下 假设只有神经元i改变状态 3 3 1离散Hopfield神经网络 3 3反馈型神经网络 智能优化计算 能量函数分析异步 且网络对称wij wji 情况下 假设只有神经元i改变状态 3 3 1离散Hopfield神经网络 3 3反馈型神经网络 智能优化计算 能量函数分析同步 且网络对称wij wji 情况下 3 3 1离散Hopfield神经网络 3 3反馈型神经网络 智能优化计算 网络结构与电子线路对应 放大器 神经元电阻 电容 神经元的时间常数电导 权系数 3 3 2连续Hopfield神经网络 3 3反馈型神经网络 智能优化计算 网络的微分方程能量函数可证明 若g 1为单调增且连续 Cj 0 Tji Tij 则有dE dt 0 当且仅当dvi dt 0时dE dt 0 3 3 2连续Hopfield神经网络 3 3反馈型神经网络 智能优化计算 能量函数随着时间的增长 神经网络在状态空间中的解轨迹总是向能量函数减小的方向变化 且网络的稳定点就是能量函数的极小点 3 3 2连续Hopfield神经网络 3 3反馈型神经网络 智能优化计算 能量函数将动力系统方程简单记为 如果 则称ve是动力系统的平衡点 也称ve为吸引子 3 3 2连续Hopfield神经网络 3 3反馈型神经网络 智能优化计算 能量函数当从某一初始状态变化时 网络的演变是使E下降 达到某一局部极小时就停止变化 这些能量的局部极小点就是网络的稳定点或称吸引子 3 3 2连续Hopfield神经网络 3 3反馈型神经网络 智能优化计算 Hopfield网络设计当Hopfield用于优化计算时 网络的权值是确定的 应将目标函数与能量函数相对应 通过网络的运行使能量函数不断下降并最终达到最小 从而得到问题对应的极小解 3 3 3Hopfield神经网络在TSP中的应用 3 3反馈型神经网络 智能优化计算 Hopfield网络设计通常需要以下几方面的工作 1 选择合适的问题表示方法 使神经网络的输出与问题的解相对应 2 构造合适的能量函数 使其最小值对应问题的最优解 3 3 3Hopfield神经网络在TSP中的应用 3 3反馈型神经网络 智能优化计算 Hopfield网络设计通常需要以下几方面的工作 3 由能量函数和稳定条件设计网络参数 如连接权值和偏置参数等 4 构造相应的神经网络和动态方程 5 用硬件实现或软件模拟 3 3 3Hopfield神经网络在TSP中的应用 3 3反馈型神经网络 智能优化计算 TSP问题的表示将TSP问题用一个n n矩阵表示 矩阵的每个元素代表一个神经元 代表商人行走顺序为 3 1 2 4每一行 每一列的和各为1 3 3 3Hopfield神经网络在TSP中的应用 能量函数的构建每个神经元接收到的值为zij 其输出值为yij 激活函数采用Sigmoid函数 记两个城市x和y的距离是dxy 1 希望每一行的和为1 即最小 每一行最多有一个1时 E1 0 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 能量函数的构建2 希望每一列的和为1 即最小 每一列最多有一个1时 E2 0 3 希望每一行每一列正好有一个1 则为零 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 能量函数的构建4 E1 E2 E3只能保证TSP的一个可行解 为了得到TSP的最小路径 当duv dvu时 希望最小 其中 yu0 yun yu n 1 yu1 duvyuiyv i 1 表示城市u和v之间的距离 i代表行走顺序 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 能量函数的构建5 根据连续Hopfield神经网络能量函数 最后 能量函数表示为 A B C D 为非负常数 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 能量函数的构建由动力学方程 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 能量函数的构建整理后得到 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 10城市TSP问题 d 2 691 0 40 4439 0 24390 1463 0 17070 2293 0 22930 761 0 51710 9414 0 87320 6536 0 68780 5219 0 84880 3609 0 66830 2536 0 61950 2634 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 10城市TSP问题 d 2 691 流程图 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 10城市TSP问题 d 2 691 初始参数 1A B D 500 C 200激励函数为Sigmoid其中 0 0 02 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 10城市TSP问题 d 2 691 初始参数 初始的yui初始的zui 0 00001 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 10城市TSP问题 d 2 691 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 10城市TSP问题 d 2 691 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 10城市TSP问题 d 2 691 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 10城市TSP问题 d 2 691 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 10城市TSP问题 d 2 691 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 10城市TSP问题 d 2 691 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 10城市TSP问题 d 2 691 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 基于Hopfield网络优化的缺陷用Hopfield网络优化的出发点建立在 1 神经网络是稳定的 网络势必收敛到渐进平衡点 2 神经网络的渐进平衡点恰好是能量函数的极小值 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用 基于Hopfield网络优化的缺陷用Hopfield网络优化会导致 1 网络最终收敛到局部极小解 而非全局最优解 2 网络可能会收敛到问题的不可行解 3 网络优化的最终结果很大程度上依赖于网络的参数 3 3反馈型神经网络 智能优化计算 3 3 3Hopfield神经网络在TSP中的应用