资源描述
2016诺贝尔生理学或医学奖细胞自噬日本科学家大隅良典（Yoshinori Ohsumi）最后折桂，理由是发现细胞自噬的原理机制自噬反应（autophagy）精品人工神人工神经网网络及其及其应用用第四第四讲 反反馈网网络主主讲人：方涛人：方涛精品第四第四讲 反反馈网网络主主讲内容内容 4.1 4.1 绪论 4.2 4.2 离散型离散型Hopfield神神经网网络 4.34.3 连续时间的的Hopfield神神经网网络模型模型 4.4 4.4 联想想记忆网网络 4.5 Hopfield网网络的的应用用精品4.1 4.1 绪论(前前馈网网络与反与反馈网网络)4.1.1 前前馈网网络4.1.2 反反馈网网络4.1.3 Hopfield网网络及其及其应用用Hopfield模型是霍普菲尔德分别于1982年及1984提出的两个神经网络模型。1982年提出的是离散型，1984年提出的是连续型，但它们都是反馈网络结构。精品4.1 4.1 绪论(前前馈网网络与反与反馈网网络)4.1.1 4.1.1 前前馈网网络I/O只是一种没有时延的映射关系,且注重考虑离散型网络；图论观点加权的有向图；学习观点具有强的学习能力，系统结构简单、易于编程，主要为误差修正，收敛速度慢；系统观点经由简单的非线性计算单元的复合映射，得到复 杂的非线性处理能力，是静态的非线性映射；计算观点一个学习网络，不具有丰富的动力学行为。大部分前馈网络的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、BP 网络等。精品4.1 4.1 绪论(前前馈网网络与反与反馈网网络)4.1.2 4.1.2 反反馈网网络连续、离散型网络，以微分/差分方程描述神经元和系统的数 学模型，I/O间有时延；图论观点加权的完备无向图，所有节点之间都可互连；学习观点主要Hebb规则学习，收敛速度快；系统观点具有一般非线性动力学系统性质，是一个非线性 动力学系统，不过作定量分析比较复杂和困难；(反馈动力学系统)系统的动力学行为：研究系统的稳定态，各类奇异吸引子、馄饨现象等。因此稳定性是反馈网络的重要特征之一。计算观点计算能力比前馈网络强，经由网络中神经元的状 态变迁最终趋于状态空间中不动点吸引子（定态），以获得 联联想存想存想存想存储储或神或神或神或神经计经计算算算算的结果。精品4.1 4.1 绪论(前前馈网网络与反与反馈网网络)神神经动力学力学（Neurodynamics）1989年Hirsch把神经网络看成是一种非线性动力学系统，是神经网络与动力系统交叉结合的一门新型学科，称为神经动力学确定性神确定性神经动力学力学将神经网络作为确定性行为，在数学上用非线性微分方程的集合来描述系统的行为，方程解为确定的解。统计性神性神经动力学力学将神经网络看成被噪声所扰动，在数学上采用随机性的非线性微分方程来描述系统的行为，方程的解用概率表示。精品4.1 4.1 绪论(前前馈网网络与反与反馈网网络)4.1.3 4.1.3 Hopfield网网络及其及其应用用 系统的动力学行为：研究系统的稳定态，各类奇异吸引子、馄饨现象等。因此稳定性是反馈网络的重要特征之一。对HP网络，有输入时，状态不断变化，并产生HP的输出，输出再反馈到输入，产生新的输出，这样一旦达到一个稳定的平衡态时，Hopfield网络输出一个稳定的恒值。研究研究Hopfield网网络的关的关键是：是：如何确定达到如何确定达到稳定状定状态的的连接接权？如何判定是否如何判定是否为稳定定态？依据是什么？依据是什么？优化化计算（最算（最优化化问题）具有全局渐进稳定的唯一平衡点；（全局最优解）绝对稳定；（保证外部输入都是全局渐进稳定的）精品4.4.离散型离散型Hopfield神神经网网络4.4.1.1 与状与状态空空间中有关的状中有关的状态变迁基本概念迁基本概念4 4.2.2 离散离散Hopfield网网络拓扑拓扑结构构4 4.3.3 离散离散Hopfield网网络的不同工作方式的不同工作方式4 4.4.4 离散离散Hopfield网网络的性能及有关定理的性能及有关定理4 4.5.5 学学习规则精品4.4.1.1 与状与状态空空间中有关的状中有关的状态变迁基本概念迁基本概念4.4.网网络的的稳定性定性 从一初态 开始，经有限时间后，网络的状态满足则网络是是是是稳稳定的定的定的定的。4.4.2.2 网网络的吸引子的吸引子 如果在时刻t以及以后，网络是稳定的，则网络的状态 称为稳稳定的吸引子定的吸引子定的吸引子定的吸引子(稳稳定的平衡状定的平衡状定的平衡状定的平衡状态态或者网或者网或者网或者网络络能量函数的极能量函数的极能量函数的极能量函数的极值值点点点点)，否则为非非非非稳稳定的吸引子定的吸引子定的吸引子定的吸引子。4.离散型离散型Hopfield神神经网网络精品4.离散型离散型Hopfield神神经网网络 吸引域吸引域吸引域吸引域:能够稳定该吸引子的所有初始状态的集合，或在稳定点（吸引子）周围区域内，任一初始状态出发都能收敛于此稳定点，此区域即吸引域。吸引域的大小用吸引半径来描述。吸引域是衡量网络容错性的指标，吸引域越大网络的容错性能越好，或者说网络的联想能力就越强。吸引半径吸引半径吸引半径吸引半径:吸引域中所含所有状态之间的最大距离或吸引子所能吸引状态的最大距离 一个网络的稳定点数目愈多，网络的联想和识别能力就愈强。稳定点分布愈均匀，吸引域愈大，网络容错和自适应能力愈强。4.4.3.3 吸引子的吸引域及其吸引半径吸引子的吸引域及其吸引半径 联想记忆网络的能量函数精品4.4.4.4 网网络的收的收敛时间 从一初始状态进入稳定点状态所需要的时间。4.4.5.5 能量函数能量函数 Hopfield网络引入的一个重要概念，使网络的运行稳定性判断有了可靠而简便的依据.(给出了网络稳定性的判据)Hopf ield 根据自旋材料中的一种Hamilton 能量，成功地构造出一种能量函数用于判别Hopf ield 神经网络的稳定性，并通过能量函数研究优化问题,获得了很大成就。.随着网络的工作方式不同，该能量函数定义的形式有所不同。网络从某一初始态出发，经过Hopfield网络的多次演变，使能量函数达到局部极小点，这些极小点就是网络的稳定点或吸引子。4.离散型离散型Hopfield神神经网网络精品能量函数的能量函数的变化曲化曲线:曲曲线含有全局最小点和局部最小点。将含有全局最小点和局部最小点。将这些极些极值点作点作为记忆状状态，可将，可将Hopfield 网网络用于用于联想想记忆；将能量函数作；将能量函数作为代价代价函数，全局最小点看成最函数，全局最小点看成最优解，解，则Hopfield网网络可用于最可用于最优化化计算。算。4.离散型离散型Hopfield神神经网网络全局最小局部最小局部最小精品网络达到稳定,能量函数满足条件:(1)能量函数沿着网络的解是下降的;(2)能量函数的导数为零的点是网络的平衡态;(3)能量函数有下界.(必然会趋于稳定状态)人人们普遍普遍认为:只要能量函数沿着网只要能量函数沿着网络的解是下降的的解是下降的,能量能量函数的函数的导数数为零的点是网零的点是网络的平衡的平衡态,能量函数有下界能量函数有下界,则网网络是是稳定的且网定的且网络的平衡的平衡态为能量函数的极小点能量函数的极小点从网络的平衡态与能量函数的极小点的关系来看，网络稳定不能保证网络的平衡态就是能量函数的极小点。能量函数的情况下网络稳定的充要条件是网络的解有界。4.离散型离散型Hopfield神神经网网络 Hopfield 用能量函数的思想形成了一种新的计算方法，阐明了神经网络与动力学的关系，并用非线性动力学的方法来研究这种神经网络的特性，建立了神经网络稳定性判据，并指出信息存储在网络中神经元之间的连接上，形成了所谓的离散Hopfield网络。精品4.4.2.2 离散离散Hopfield网网络拓扑拓扑结构构 一种循环神经网络，由相同神经元组成的单层网络。从输出到输入有反馈连接。在输入的激励下，要不断产生状态变化。对于稳定的网络，有输入时，产生Hopfield输出，该输出反馈到输入并产生新的输出，此反馈过程一直进行，此反馈与迭代计算过程所产生的变化越来越小，一旦达到稳定平衡状态，Hopfield就输出一个稳定的恒定值。因此对Hopfield网络的关键是确定稳定条件下的连接权。反馈网络有稳定的，也有不稳定的，对Hopfield网络存在如何判定为稳定网络的问题，如何确定判别依据的问题。4.离散型离散型Hopfield神神经网网络由于在反馈网络中，网络的输出要反复地作为输入再送入网络中，这就使得网络具有了动态性，网络的状态在不断的改变之中，因而就提出了网络的稳定性问题。所谓一个网络是稳定的是指从某一时刻开始，网络的状态不再改变。精品4.离散型离散型Hopfield神神经网网络外部输入不是神经元层由由n个神个神经元元元元组成的成的Hopfield网网络拓扑拓扑结构构单层全互连含有对称突触连接的反馈网络,是最典型的反馈网络模型。精品 Hopfield网络为单层网络，每个单元既是输入也是输出，n个单元其激励函数或转移特性函数分别为 ，对应阈值 。二进制的离散Hopfield网络：阈值 输入 输出 网络在t时刻状态4.离散型离散型Hopfield神神经网网络精品 对称的Hopfield网络连接权 注意：网络的当前输出即为下次输入，这样循环迭代直到达到稳定状态。从离散的Hopfield网络可以看出，多输入、含有阈值的二值非线性动力学系统。在动力学系统中，平衡状态可认为是系统运动过程中，能量函数不断减少，最终处于最小值。4.离散型离散型Hopfield神神经网网络精品4.4.3.3 离散离散Hopfield的工作方式的工作方式 串行（异步）方式 时刻t，仅一个神经元j的状态更新，其余n-1个神经元状态保持不变。并行（同步）方式 任意时刻t，所有的神经元的状态都发生了变化。4.离散型离散型Hopfield神神经网网络精品4.4.4.4 离散离散Hopfield的性能及有关定理的性能及有关定理 4.4.4.1.4.1 衡量Hopfield网络性能的重要指标 稳定性 吸引域半径 收敛时间 这些指标与网络的工作方式、连接权矩阵和阈值都有关。4.4.4.2.4.2 Hopfield网络的几个重要定理 如果连接权矩阵为对称阵，且对角线元素为非负（包括为零的情况），则这样的网络在异步方式下，一定收敛于某个稳定态。4.离散型离散型Hopfield神神经网网络精品4.离散型离散型Hopfield神神经网网络精品4.离散型离散型Hopfield神神经网网络精品 如果连接权矩阵为对称阵，网络在同步工作方式下一定收敛于一个稳定态或周期为2的极限环。稳定分析中，同步工作方式的神经元网络可等价于另一异步工作方式的神经元网络。4.离散型离散型Hopfield神神经网网络 有关离散的Hopfield网络的稳定性问题，已于1983年由Cohen和Grossberg给于了证明。而Hopfield等人又进一步证明，只要连接权构成的矩阵是非负对角元的对称矩阵，则该网络就具有串行稳定性。精品4.离散型离散型Hopfield神神经网网络精品4.离散型离散型Hopfield神神经网网络精品4.4.5.5 学学习规则 常用Hebb学习规则：对互连的n个神经元，在学习过程中，两个神经元i和j同时处于兴奋状态时，连接权增强，两个神经元的激活状态。4.离散型离散型Hopfield神神经网网络精品4.3.1 非非线性性连续时间Hopfield神神经网网络4.3.2 稳定性分析定性分析4.3 连续时间的的Hopfield神神经网网络模型模型 1984年，Hopfield设计与研制了Hopfield网络模型的电路，指出神经元可以用运算放大器来实现，所有神经元的连接可用电子线路来模拟，网络的激励函数是连续的，称之为连续Hopfield网络。Hopfield网络是一种非线性的动力网络，可通过反复的网络动态迭代来求解问题，这是符号逻辑方法所不具有的特性。在求解某些问题时，其求解问题的方法与人类求解问题的方法很相似，虽然所求得的解不是最佳解，但其求解速度快，更符合人们日常解决问题的策略 精品4.3.1 4.3.1 非非线性性连续时间Hopfield神神经网网络4.3.1.1 4.3.1.1 生物型存生物型存储器的特性器的特性 并行性（并行I/O）；联想性（从一个记忆中获得相关的记忆，善于概括、类比等）；分布式存储，并有强壮的鲁棒性；模拟实时性；大规模协同作用，即在给定的状态空间中，神经元是大量的、高度藕合的，单个结构又是相同的、简单的。4.3 连续时间的的Hopfield神神经网网络模型模型精品4.3.1.2 4.3.1.2 非非线性微分方程描述性微分方程描述连续型型Hopfield网网络 工作方式：同步；异步 4.3 连续时间的的Hopfield神神经网网络模型模型基尔霍夫电流定律精品4.3.2 4.3.2 稳定性分析定性分析 从能量函数出发来分析网络的稳定性。Lyapunov 函数的能量公式：能量函数E是单调下降的，连续Hopfield网络模型是稳定的4.3 连续时间的的Hopfield神神经网网络模型模型精品 定理定理 对于具有N个神经元互连的连续Hopfield网络，其中第i个神经元模型：4.3 连续时间的的Hopfield神神经网网络模型模型精品 证明明 4.3 连续时间的的Hopfield神神经网网络模型模型精品这个定理表明：网络的解轨道在状态空间中总是随时间朝能量E减小的方向运动，E的极小点即为稳定平衡点；不对称的网络结构，无法保证网络的稳定性，要么为极限环状态，要么为混沌状态。4.3 连续时间的的Hopfield神神经网网络模型模型精品推论 的稳定平衡点就是能量函数E的极小点，反之亦然。连续Hopfield网络与离散Hopfield网络的稳定性都要求要求要求要求连连接接接接 权权矩矩矩矩阵阵是是是是对对称的称的称的称的，不同之处：离散型：激励函数是阶跃函数；连续型：激励函数是S形函数，在时间上是连续的，各神经元都处于同步工作方式。4.3 连续时间的的Hopfield神神经网网络模型模型精品4.4 4.4 联想想记忆网网络4.4.1 联想想记忆原理原理4.4.2 双双联想想记忆网网络的拓扑的拓扑结构和工作原理构和工作原理4.4.3 学学习规则4.4.4 网网络的的稳定性定性精品4.4 4.4 联想想记忆网网络4.4.1 4.4.1 联想想记忆原理原理 Hopfield网络可以作为联想记忆(联想存储器)；反馈网络选择合理的权系数,可使网络的稳定态成为联想存储的一组状态；网络的初态是联想存储中的一组状态,则网络状态不跃迁，否则网络要达到稳定态。“联想想”概念是什么？概念是什么？:“触景生情”精品5.5 5.5 联想想记忆网网络联想想记忆(Associative Memory(Associative Memory，AM)AM)是神是神经网网络理理论的一个重要的一个重要组成部分，也是神成部分，也是神经网网络用于智用于智能控制、模式能控制、模式识别与人工智能等与人工智能等领域的一个重要功能。域的一个重要功能。它主要利用神经网络的良好容错性，能使不完整的、污损的、畸变的输入样本恢复成完整的原型，适于识别、分类等用途。Hopfield网络模拟了生物神经网络的记忆功能，也常常被称为联想记忆网络。人类具有联想的功能，可以从一种事物联系到与其相关的事物或其它事物。人工神经网络的联想就是指系系统在在给定一定一组刺激信号的作刺激信号的作用下，用下，该系系统能能联系出与之相系出与之相对应的信号。的信号。联想是以记忆为前提的，即首先信息存储起来，再按某种方式或规则将相关信息取出。联想记忆的过程就是信息的存取过程。精品4.4 4.4 联想想记忆网网络所所谓的的联想想记忆也称也称为基于内容的存取（基于内容的存取（Content-addressed memory），信息被分布于生物），信息被分布于生物记忆的内容之中，而不是某个确的内容之中，而不是某个确定的地址。定的地址。信息的存贮是按内容存贮记忆的(content addressable memory CAM)而传统的计算机是基于地址存贮的（Addressable Memory）即一组信息对应着一定的存储单元。信息的存贮是分布的，而不是集中的。精品4.4 4.4 联想想记忆网网络4.4.1.1 4.4.1.1 4.4.1.1 4.4.1.1 自自自自联联想想想想记忆记忆Auto-AMAuto-AM 从某事物中提取的主要特征来回忆联想该事物。Hopfield网络属于自联想 精品4.4 4.4 联想想记忆网网络4.4.2 4.4.2 双双联想想记忆网网络的拓扑的拓扑结构和工作原理构和工作原理 12n12m精品4.4 4.4 联想想记忆网网络精品4.4 4.4 联想想记忆网网络4.4.3 4.4.3 学学习规则 精品4.4 4.4 联想想记忆网网络4.4.4 4.4.4 网网络的的稳定性定性 精品4.5.1 Hopfield网网络应用用应考考虑的的问题4.5.2 旅行商旅行商问题（TSP）4.5 Hopfield网网络的的应用用-最最优化化计算算不同不同应用的基本思想可以用的基本思想可以归纳如下：如下：对于特定的于特定的问题，选择一种合适的表示方法，使得神一种合适的表示方法，使得神经网网络的的输出出与与问题的解的解对应起来起来 构造神构造神经网网络的能量函数，使其最小的能量函数，使其最小值对应于于问题的最佳解的最佳解 由能量函数反推出神由能量函数反推出神经网网络的的结构构 由网由网络结构构造网构构造网络，让其运行，其运行，则稳定状定状态在一定条件下就是在一定条件下就是问题的解的解精品4.5.1 4.5.1 Hopfield网网络应用用应考考虑的的问题 可用于优化计算：具体用于图像、语音、信号处理，模式识别等。Hopfield用于优化计算的基本原理：串行工作方式下，将2n个初始状态映射到一组稳定状态集合上去，此时能量函数达到极大值具有这样形式的问题求解都可以采用Hopfield网络来求解。4.5 Hopfield网网络的的应用用 组合优化就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合 将Hopfield神经网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态，当网络的能量函数收敛于极小值时，网络的状态就对应于问题的最优解。精品4.5.2 4.5.2 旅行商旅行商问题（TSPTSP）4.5 Hopfield网网络的的应用用精品4.5.2.1 4.5.2.1 几种几种经典的求解方法典的求解方法 穷举搜索法（Exhaustive Search Method）路径总数 可得到全局最优解，但是计算量巨大。贪心法（Greedy Method）从某城市出发选出与此城市距离为最短的下一个城市，再从所选的城市出发，继续选择直到最后一个城市为止，并且每个城市只被访问一次。可得局部最优解，其结果与从哪个城市出发以及城市布局有关。动态规划法（Dynamic Programming Method）求解TSP问题的时间/全局复杂度：4.5 Hopfield网网络的的应用用精品4.5.2.2 4.5.2.2 利用利用Hopfield神神经网网络的求解的求解TSPTSP问题 如何构造适合于Hopfield网络求解TSP问题？以A、B、C、D、E（N=5）5个城市为例。对于N=5城市情况，需要NN个神经元来构造换位矩阵，以此来表示一条访问路线，比如BDCEAB，换位矩阵要求：每行和每列都分别只有一个1；换位矩阵元素之和为N；换位矩阵所构造的函数极小值对应于最短路径。4.5 Hopfield网网络的的应用用101000E00010D00100C00001B0000A54321次序城市换位矩阵精品将Hopfield神经网络用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态，当网络的能量函数收敛于极小值时，网络的状态就对应于问题的最优解对应于置换矩阵为把问题的约束条件和最优化条件的要求分解出来，置换矩阵必须满足上述条件。然后把问题的目标函数转化为能量函数。用Hopfield网络来求解最佳设计问题，必须要：（1）构造电路的一个合适的能量函数；（2）提供一个解释策略来解释输出状态如何表示问题解的4.5 Hopfield网网络的的应用用精品4.5.2.2 4.5.2.2 利用利用Hopfield神神经网网络的求解的求解TSPTSP问题目目标函数函数转化化为能量函数能量函数?构造与TSP对应的计算能量函数约束条件 目标函数转化为能量函数 4.5 Hopfield网网络的的应用用精品4.5 Hopfield网网络的的应用用精品4.5 Hopfield网网络的的应用用精品
展开阅读全文