《计算智能》PPT课件

1,4 计算智能,4.1概述 4.2神经计算,2,4.1概述,人工智能分成两大类：一类是符号智能，一类是计算智能。 符号智能是以知识为基础，通过推理进行问题求解。也即所谓的传统人工智能。 计算智能是以数据为基础，通过训练建立联系，进行问题求解。人工神经网络、遗传算法、模糊系统、进化程序设计、人工生命等都可以包括在计算智能。,3,4.1概述（续）,定义 贝兹德克（Bezdek，1992）：计算智能取决于制造者提供的数据，而不依赖于知识；另一方面，传统人工智能则应用知识精品（knowledge tidbits）。,4,4.1概述（续）,计算智能与传统人工智能的区别 贝兹德克提出了模式识别（PR）与生物神经网络（BNN）、人工神经网络（ANN）和计算神经网络（CNN）的关系，以及模式识别与其它智能的关系。 贝兹德克对这些相关术语给予一定的符号和简要说明或定义。,5,4.1概述（续）,ABC理论： AArtificial， 表示人工的（非生物的），即人造的 BBiological， 表示物理的化学的（？）生物的 CComputational， 表示数学计算机,6,4.1概述（续）,下图表示ABC及其与神经网络（NN）、模式识别（PR）和智能（I）之间的关系（贝兹德克1994）。,7,4.1概述（续）,图中中间部分共有9个节点，表示9个研究领域或学科。节点之间的距离衡量领域间的差异，如CNN与CPR间的差异要比BNN与BPR之间的差异小的多。 图中符号表示“适当的子集”。如中层ANNARP AI，对于右列有：CIAI BI等 在定义时，任何计算机系统都是人工系统，但反命题不能成立。,8,4.1概述（续）,ABC及其相关领域的定义,9,4.1概述（续）,计算智能是一种智力方式的低层认知，与传统人工智能的区别知识认知层次从中层下降至低层。中层系统含有知识，低层系统则没有。 当一个系统只涉及数值（低层）数据，含有模式识别部分，不应用传统人工智能意义上的知识，而且能够呈现出： （1）计算适应性； （2）计算容错性； （3）接近人的速度； （4）误差率与人相近， 则该系统就是计算智能系统。 当一个计算智能系统以非数值方式加上知识（精品）值，即成为人工智能系统。,10,4.2神经计算,神经计算：以神经网络为基础的计算 人工神经网络的定义： （1）HechtNielsen（1988年） ANN是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PEProcessing Element）具有内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。,11,4.2神经计算（续）,处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。 强调： 并行、分布处理结构； 一个处理单元的输出可以被任意分枝，且大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作,12,4.2神经计算（续）,（2）Rumellhart，McClelland，Hinton的并行分布处理 （PDP） 1）一组处理单元（PE或AN）； 2）处理单元的激活状态（ai）； 3）每个处理单元的输出函数（fi）； 4）处理单元之间的联接模式； 5）传递规则（wijoi）； 6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）； 7）通过经验修改联接强度的学习规则； 8）系统运行的环境（样本集合）。,13,4.2神经计算（续）,（3）Simpson（1987年） ANN是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,14,4.2.1 人工神经网络的研究与发展,40年代初，美国McCulloch和Pitts从信息处理的角度，研究神经细胞行为的数学模型表达，提出了二值神经元模型。MP模型的提出开始了对神经网络的研究进程。1949年心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实现神经学习的方法。虽然Hebb学习规则在人们研究神经网络的初期就已提出，但是其基本思想至今在神经网络的研究中仍发挥着重要作用。,15,4.2.1 人工神经网络的研究与发展（续）,50年代末期，Rosenblatt提出感知机模型(Perceptron)，首先从工程角度出发，研究了用于信息处理的神经网络模型。这是一种学习和自组织的心理学模型，它基本符合神经生理学的原理。感知机虽然比较简单，却已具有神经网络的一些基本性质，如分布式存贮、并行处理、可学习性、连续计算等。这些神经网络的特性与当时流行串行的、离散的、符号处理的电子计算机及其相应的人工智能技术有本质上的不同，由此引起许多研究者的兴趣，在60代掀起了神经网络研究的第一次高潮。 但是，当时人们对神经网络研究过于乐观，认为只要将这种神经元互连成一个网络，就可以解决人脑思维的模拟问题，然而，后来的研究结果却又使人们走到另一个极端上。,16,4.2.1 人工神经网络的研究与发展（续）,在60年代末，Minsky和Papert对Rosenblatt的工作进行了深人研究，出版了有较大影响的(Perceptron)一书，指出感知机的功能和处理能力的局限性，甚至连XOR(异或)这样的问题也不能解决，同时也指出如果在感知器中引入隐含神经元，增加神经网络的层次，可以提高神经网络的处理能力，但是却无法给出相应的网络学习算法。因此Minsky的结论是悲观的。 另一方面，由于60年代以来集成电路和微电子技术日新月异的发展，使得电子计算机的计算速度飞速提高，加上那时以功能模拟为目标、以知识信息处理为基础的知识工程等研究成果，给人工智能从实验室走向实用带来了希望，这些技术进步给人们造成这样的认识：以为串行信息处理及以它为基础的传统人工智能技术的潜力是无穷的，这就暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。另外，当时对大脑的计算原理、对神经网络计算的优点、缺点、可能性及其局限性等还很不清楚。总之，认识上的局限性使对神经网络的研究进入了低潮。,17,4.2.1 人工神经网络的研究与发展（续）,在这一低潮时期，仍有一些学者扎扎实实地继续着神经网络模型和学习算法的基础理论研究，提出了许多有意义的理论和方法。其中，主要有自适应共振理论，自组织映射，认知机网络模型理论，BSB模型等等，为神经网络的发展奠定了理论基础。 进入80年代，首先是基于“知识库”的专家系统的研究和运用，在许多方面取得了较大成功。但在一段时间以后，实际情况表明专家系统并不像人们所希望的那样高明，特别是在处理视觉、听觉、形象思维、联想记忆以及运动控制等方面，传统的计算机和人工智能技术面临着重重困难。模拟人脑的智能信息处理过程，如果仅靠串行逻辑和符号处理等传统的方法来济决复杂的问题，会产生计算量的组合爆炸。因此，具有并行分布处理模式的神经网络理论又重新受到人们的重视。对神经网络的研究又开始复兴，掀起了第二次研究高潮。,18,4.2.1 人工神经网络的研究与发展（续）,1982年，美国加州理工学院物理学家Hopfield提出了一种新的神经网络HNN。引入了“能量函数”的概念，使得网络稳定性研究有了明确的判据。 HNN的电子电路物理实现为神经计算机的研究奠定了基础，并将其应用于目前电子计算机尚难解决的计算复杂度为NP完全型的问题，例如著名的“旅行商问题”(TSP)，取得很好的效果。 从事并行分布处理研究的学者，于1985年对Hopfield模型引入随机机制，提出了Boltzmann机。1986年Rumelhart等人在多层神经网络模型的基础上，提出了多层神经网络模型的反向传播学习算法(BP算法)，解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。 1987年在美国召开了第一届世界神经网络大会1000人参加。从此神经网络的研究正式成为世界范围内的一个研究领域，被人类科学的各个领域的科学家关注。,19,4.2.1 人工神经网络的研究与发展（续）,目前的研究： 1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度； 2）充分发挥传统人工智能与ANN络技术各自的优势是一个有效方法； 3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法； 4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识；,20,4.2.2 人工神经网络的特征,（1）可以充分逼近任意复杂的非线性关系 （2）所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性 （3）采用并行分布处理方法，使得快速进行大量运算成为可能 （4）可学习和自适应不知道或不确定的系统 （5）能够同时处理定量、定性知识。,21,4.2.2 人工神经网络的特征（续）,局限性 （1）ANN研究受到脑科学研究成果的限制。 （2）ANN缺少一个完整、成熟的理论体系。 （3）ANN研究带有浓厚的策略和经验色彩。 （4）ANN与传统技术的接口不成熟。,22,4.2.2 人工神经网络的特征（续）,一般而言, ANN与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。 对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。 ANN对处理大量原始数据而不能用规则或公式描述的问题, 表现出极大的灵活性和自适应性。,23,4.2.3 人工神经网络的结构,ANN的结构是由基本处理单元（人工神经元）及其互连方法决定的。 人工神经元： 神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应该具有生物神经元的四个基本特性。,24,4.2.3 人工神经网络的结构（续）,四个基本特征： 1）神经元是一个多输入（一个神经元的多个树突与多个其他神经元的神经键相联系）、单输出（一个神经元只有一个轴索作为输出通道）元件； 2）神经元是一个具有非线性输入输出特性的元件。表现在只有当来自各个神经键的活动电位脉冲达到一定强度之后，该神经元的神经键才能被激活，释放出神经化学物质，发出本身的活动电位脉冲； 3）神经元具有可塑性，表现在其活动电位脉冲的传递强度依靠神经传递化学物质的释放量及神经键间隙的变化是可调节的； 4）神经元的输出响应是各个输入综合作用的结果，即所有输入的累加作用，输入分为兴奋型（正值）和抑制型（负值）两种。,25,4.2.3 人工神经网络的结构（续）,人工神经元是ANN的基本处理单元，它一般是一个多输入/多输出的非线性元件。神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏置（bais），有时也称为阀值或门限值。,26,4.2.3 人工神经网络的结构（续）,典型人工神经元模型 该神经元由多个输入xi，和一个输出y组成，中间状态由输入信号的权和表示，输出可以表示为：,27,4.2.3 人工神经网络的结构（续）,激励函数的作用 1、控制输入对输出的激活作用； 2、对输入、输出进行函数转换； 3、将可能无限域的输入变换成指定的有限范围内的输出。,28,4.2.3 人工神经网络的结构（续）,几种常用激励函数 1、阀值型 2、分段线性型 3、高斯函数 4、S型函数,29,4.2.3 人工神经网络的结构（续）,常用神经网络结构 1、前向网络（前馈网络） 神经元分层排列，分别组成输入层、中间层（又称隐层，可有多层）和输出层。每一层神经元只接收来自前一层神经元的输入。输入信息经各层变换后，最终在输出层输出,30,4.2.3 人工神经网络的结构（续）,特点： 1. 神经元分层排列，可又多层 2. 层间无连接 3. 方向由入到出，每一层神经元只接受来自前一层神经元的输出，前向网络也叫前馈网络 应用最为广泛,31,4.2.3 人工神经网络的结构（续）,从输出层到输入层有反馈的网络 特点： 1. 内部前向 2. 输出反馈到输入,32,4.2.3 人工神经网络的结构（续）,互连网络 不但每一层上的神经元相互连接，而且同一层上的神经元也相互连接，甚至任意两个神经元都可以有连接。这种网络还可以细分，仅同一层上神经元相互连的网络称为层内互连网络，任意两个神经元都相互连接的网络叫完全互连网络。 层内互连网络的一个显著特点是利用神经元横向控制作用对层内其它神经元进行抑制或激发。完全互连网络则一直处于状态的动态变化中。,33,4.2.3 人工神经网络的主要学习算法,ANN最具有吸引力的特点是它的学习能力。 通过向环境学习获取知识并改进自身性能是 ANN 的一个重要特点，在一般情况下，性能的改善是按某种预定的度量通过调节自身参数（如权值）随时间逐步达到的。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。,34,4.2.3 人工神经网络的主要学习算法（续）,（1）监督学习（有导师学习）这种学习方式需要外界存在一个“导师”，他可对一组给定输入提供应有的输出结果（正确答案）。这组已知的输入输出数据称为训练样本集。学习系统可根据已知输出与实际输出之间的差值（误差信号）来调节系统参数。,35,4.2.3 人工神经网络的主要学习算法（续）,学习算法的主要步骤 1）从样本集合中取一个样本（Ai，Bi）； 2）计算出网络的实际输出Y； 3）求D=Bi-Y； 4）根据D调整权矩阵W； 5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。 主要有规则、广义规则以及LVQ算法等,36,4.2.3 人工神经网络的主要学习算法（续）,（2）非监督学习（无导师学习）非监督学习时不存在外部导师，学习系统完全按照环境所提供数据的某些统计规律来调节自身参数或结构（这是一种自组织过程），以表示外部输入的某种固有特征（ 如聚类，或某种统计上的分布特征）。,37,4.2.3 人工神经网络的主要学习算法（续）,Hebb学习律、竞争与协同（Competitive and Cooperative）学习、随机联接系统（Randomly Connected Learning）等。 Hebb算法的核心：当两个神经元同时处于激发状态时被加强，否则被减弱。,38,4.2.3 人工神经网络的主要学习算法（续）,（3）再励学习（或强化学习）这种学习介于上述两种情况之间，外部环境对系统输出结果只给出评价（奖或惩）而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自身性能。,39,4.2.4 人工神经网络的典型模型,(1) 自适应共振(ART)由Grossberg提出，是根据可选参数对输入数据进行粗分类的网络，ART用于二值输入，ART用于连续值输入。缺点是太敏感，输入有小的变化，输出变化很大。 (2) 双向联想存储器(BAM)，由Kosko提出是一种单状态互联想网，具有学习功能。缺点是存储密度较低，且易振荡。 (3) Boltzmann机由Hinton等提出。建立在Hopfield网络基础上具有学习能力，能够通过一个模拟退火过程寻求解答，缺点是训练时间较BP网要长。 (4) 反向传递(BP)网是一种反向传递并修正误差的多层映射网，在参数适当时，能收敛到较小的均方误差，是当前应用最广的一种网络。缺点是训练时间长，易陷入局部极小。,40,4.2.4 人工神经网络的典型模型（续）,(5) BSB模型亦称盒中脑模型，是具有最小均方误差的单层自联想网络，可用于从数据库中提取知识。缺点是仅有单步决策能力。 (6) CPN(Counter Propagation Network)由Hecht和Nielsen于1987年提出，亦称对流网，通常是5层，在第1、5两层加载向量样本对X、Y，并在网络中反向流动，在2、4两层输出近似的Y、X向量。可用于联想存储。缺点是一般应用均要求很多的处理单元。 (7) Hopfield网由Hopfield于1982年提出，是一类不带有学习功能的单层自联想网，缺点是要对称连接，内存开销较大。 (8) MadaLine是AdaLine的发展，是一组具有最小均方差线性网络的组合，学习能力较强，但I/O间需满足线性关系。,41,4.2.4 人工神经网络的典型模型（续）,(9) 认知机(Neocognitron)由Fukushima于1972年提出，是迄今为止结构最复杂的多层网，通过无导师学习，具有选择性注意的能力，对样品的平移、旋转不敏感。缺点是耗用结点及互连多，参数多且难选。 (10) 感知器(Perceptron)是最“古老”的网络(Rosenblatt，于1975年提出)，是一组可训练的线性分类器，目前已很少使用。 (11) 自组织映射网(SOM)由Kohonen于1972年提出。能形成簇与簇之间的连续映射，起矢量量化器的作用。,42,4.2.5 人工神经网络示例及其算法,1、感知器 Rosenblatt于1957年提出的感知器模型把神经网络的研究从纯理论探讨引向了工程上的实现，在神经网络的发展史上占有重要的地位。 尽管它有较大的局限性，甚至连简单的异或（XOR）逻辑运算都不能实现，但它毕竟是最先提出来的网络模型，而且它提出的自组织、自学习思想及收敛算法对后来发展起来的网络模型都产生了重要的影响，甚至可以说，后来发展的网络模型都是对它的改进与推广。 最初的感知器是一个只有单层计算单元的前向神经网络，由线性阈值单元组成，称为单层感知器。后来针对其局限性进行了改进，提出了多层感知器。,43,4.2.5 人工神经网络示例及其算法,单层感知器 单层感知器只有一个计算层，它以信号模板作为输入，经计算后汇总输出，层内无互连，从输出至输入无反馈，是一种典型的前向网络， 在单层感知器中，当输入的加权和大于等于阈值时，输出为1，否则为0或1。它假定神经元间的连接强度（即连接权值 wij）是可变的，这样它就可以进行学习。,44,4.2.5 人工神经网络示例及其算法,单层感知器学习算法 学习的目的是调整连接权值，以使网络对任何输入都能得到所期望的输出。在算法描述中，只考虑仅有一个输出节点的情况，其中，xi是该输出节点的输入；wi是相应的连接权值(i=1,2,n)；y(t)是时刻t的输出；d是所期望的输出，它或者为1，或者为1 学习算法步骤： （1）给 wi (0) (i=1,2,n)及阈值分别赋予一个较小的非零随机数作为初值。这里wi (0)表示在时刻t=0时第i个输入的连接权值。,45,4.2.5 人工神经网络示例及其算法,（2）输入一个样例 X=x1,x2,xn 和一个所期望的输出d。 （3）计算网络的实际输出： （4）调整连接权值： wi(t+1)=wi(t)+d-y(t)xi ，i=1,2,n 此处0 1，它是一个增益因子，用于控制调整速度，通常不能太大，否则会影响 wi(t)的稳定；也不能太小，否则 wi(t)的收敛速度太慢。如果实际输出与已知的输出一致，表示网络已经作出了正确的决策，此时就无需改变wi(t)的值。 （5）转到第（2）步，直到连接权值wi对一切样例均稳定不变时为止。,46,4.2.5 人工神经网络示例及其算法,Rosenblatt还证明了如果取自两类模式 A，B 中的输入是线性可分的，即它们可以分别落在某个超平面的两边，那么单层感知器的上述算法就一定会最终收敛于将这两类模式分开的那个超平面，并且该超平面能将 A，B 类中的所有模式都分开。但是，当输入不是线性可分并且还部分重叠时，在单层感知器的收敛过程中决策界面将不断地振荡。 单层感知器不能解决 XOR问题,47,4.2.5 人工神经网络示例及其算法,多层感知器 只要在输入层与输出层之间增加一层或多层隐层，就可得到多层感知器，下图是一个具有两个隐层的三层感知器， 多层感知器克服了单层感知器的许多弱点。例如，应用二层感知器就可实现异或逻辑运算。,48,4.2.5 人工神经网络示例及其算法,2、自适应谐振理论（ART）网络 自适应共振理论（Adaptive Resonance Theory）由葛劳斯伯格和卡彭特于1986年提出。这一理论包括 ART1，ART2和 ART3三种模型，它们可以对任意多个和任意复杂的二维模式进行自组织、自稳定和大规模并行处理。其中ART1用于二进制输入，ART2用于连续信号输入，而 ART3用模拟化学神经传导动态行为的方程来描述，它们主要用于模式识别。,49,4.2.5 人工神经网络示例及其算法（续）,基本原理 ART网络实际上是一个模式分类器，用于对模式进行分类。每当网络接收外界的一个输入向量时，它就对该向量所表示的模式进行识别，并将它归入与某已知类别的模式匹配的类中去；如果它不与任何已知类别的模式匹配，则就为它建立一个新的类。如果一个新输入的模式与某一个已知类别的模式近似匹配，则在把它归入该类的同时，还要对那个已知类别的模式向量进行调整，以使它与新模式更相似。这里所说的近似匹配是指两个向量的差异落在允许的警戒值（Vigilance）范围之内。,50,4.2.5 人工神经网络示例及其算法（续）,ART网络结构 网络含有两层，一个输入层，一个输出层，这两层完全互连，该连接沿着正向（自底向上）和反馈（自顶向下）两个方向进行,51,4.2.5 人工神经网络示例及其算法（续）,学习算法 ART的学习分类过程，目前已有多种实现 分 类 的 方 法，下面给出一种基于李普曼（Lippman）1987年提出的方法，它分为以下几步： （1）初始化。在开始训练及分类前，要对自上而下的权值向量 Wj、自下而上的权值向量 Bj以及警戒值进行初始化。一般Bj应设置为相同的较小值， 如：bij(0)=1/(1+n) 其中n为输入向量的元素个数。 Wj的元素初值为1，即wij(0)=1相应的警戒值 为0 1，通过调节的值可调整分类的类数，当 大时，类别就多；当小时，类别就少。因此在训练时，可通过调节 的值，使分类逐步由粗变细。,52,4.2.5 人工神经网络示例及其算法（续）,（2）给出一个新的输入样例，即输入一个新的样例向量。 （3）计算输出节点j的输出 其中，j是输出节点j的输出，xi是输入节点i的输入，取值为0或1。 （4） 选择最佳匹配 这可通过输出节点的扩展抑制权达到。,53,4.2.5 人工神经网络示例及其算法（续）,（5）警戒值检测 如果s ,则转（7），否则转（6）。 （6）重新匹配。当相似率低于时，这就需要另外寻找已有的其它模式，即寻找一个更接近于输入向量的类。为此，首先初始化搜索状态，把原激活的神经元置为0，并标志该神经元取消竞争资格，然后转（3），重复上述过程，直到相似率大于而转入（7），结束分类过程，或者全部已有的模式均被测试过，无一匹配，此时将输入信息作为新的一类存储。,54,4.2.5 人工神经网络示例及其算法（续）,（7）调整网络权值 （8）转向（2），进行新的向量学习分类。 这是一种快速学习算法，并且是边学习边运行的，输出节点中每次最多只有一个为1。每个输出节点可以看作一类相似模式的代表性概念。一个输入节点的所有权值对应于一个模式，只有当输入模式距某一个这样的模式较近时，代表它的输出节点才响应。,55,4.2.5 人工神经网络示例及其算法（续）,ART学习算法有下列特性： （1）它是一种无导师的学习算法。 （2）训练稳定后，任一已用于训练的输入向量都将不再需要搜索就能正确地激活约定的神经元，并作出正确的分类。同时又能迅速适应未经训练的新对象。 （3）搜索过程和训练过程是稳定的。 （4）训练过程会自行终止。在对有限数量的输入向量训练后，将产生一组确定的权值。,56,4.2.5 人工神经网络示例及其算法,3、Hopfield网络 Hopfield模型是霍普菲尔特分别于1982年及1984年提出的两个神经网络模型，一个是离散的，一个是连续的，但它们都属于反馈网络，即它们从输入层至输出层都有反馈存在。下图是一个单层反馈神经网络。,57,4.2.5 人工神经网络示例及其算法,在反馈网络中，由于网络的输出要反复地作为输入送入网络中，这就使得网络的状态在不断地改变，因而就提出了网络的稳定性问题。 所谓一个网络是稳定的，是指从某一时刻开始，网络的状态不再改 变。设 用X(t)表示网络在时刻t的状态，如果从t=0的任一初态 X(0)开始，存在一个有限的时刻t，使得从此时刻开始神经网络的状态不再发生变化，即X(t+t)=X(t) , t0 就称该网络是稳定的,58,4.2.5 人工神经网络示例及其算法,Hopfield提出的离散网络模型是一个离散时间系统，每个神经元只有两种状态，可用1和-1，或者1和0表示，由连接权值 wij所构成的矩阵是一个零对角的对称矩阵，即 在该网络中，每当有信息进入输入层时，在输入层不做任何计算，直接将输入信息分布地传递给下一层各有关节点。若用 Xj(t)表示节点j 在时刻t 的状态，则该节点在下一时刻（即t+1）的状态由下式决定：,59,4.2.5 人工神经网络示例及其算法,整个网络的状态用 X(t)表示，它是由各节点的状态所构成的向量。若假设输出层只有两个节点，并用1和0分别表示每个节点的状态，则整个网络共有四种状态，分别为：00,01,10,11。 一般来说，如果在输出层有n 个神经元，则网络就有2n个状态，它可以与一个n 维超立体的顶角相联系。当有一个输入向量输入到网络后，网络的迭代过程就不断地从一个顶角转向另一个顶角，直至稳定于一个顶角为止。如果网络的输入不完全或只有部分正确，则网络将稳定于所期望顶角附近的一个顶角那里。,60,4.2.5 人工神经网络示例及其算法,Hopfield的离散网络模型有两种工作方式，即串行（异步）方式及并行（同步）方式。 串行方式，是指在任一时刻t只有一个神经元j发生状态变化，而其余n-1个神经元保持状态不变，并行方式，是指在任一时刻t，都有部分或全体神经元同时改变状态。,61,4.2.5 人工神经网络示例及其算法,离散Hopfield网络的稳定性:早在1983年就由科恩(Cojen)与葛劳斯伯格（Grossberg）给出了稳定性的证明。 Hopfield等又进一步证明，只要连接权值构成的矩阵是具有非负对角元的对称矩阵，则该网络就具有串行稳定性；若该矩阵为非负定矩阵，则该网络就具有并行稳定性。 离散Hopfield网络中的神经元与生物神经元的差别较大，因为生物神经元的输入输出是连续的，而且生物神经元存在时延。于是Hopfield于1984年又提出了连续时间的神经网络，在这种网络中，节点的状态可取0至1间任一实数值。,62,4.2.5 人工神经网络示例及其算法,Hopfield网络是一种非线性的动力学网络，它通过反复运算这一动态过程求解问题，这是符号逻辑方法所不具有的特性。在求解某些问题时，它与人们求解的方法很相似。 例如对于“旅行商问题”就是这样。对该问题，若用穷尽搜索的方法来求解，则运算量将随城市数 N的增加呈指数性增长，但若用Hopfield网络求解这个问题，就会把最短路径问题化为一个网络能量（ Hopfield认为网络行为是受网络能量支配的，对于离散及连续的Hopfield网络均有相应的能量函数来表示网络的能量）求极小的问题，这个动态系统的最后运行结果就是问题的解。当然，用这种方法求得的解不一定是最优的，即不一定是最短路径，而是某个较短路径，但这正好与人们凭直觉求解问题的效果是一致的。人们遇到问题时，经常能直观地很快作出决策，但它却不一定是最优的。,63,4.2.5 人工神经网络示例及其算法,Hopfield网络算法步骤： （1）设置互连权值 （2）未知类别样本初始化 yi(0)=xi 其中，yi(t)为节点i在t时刻的输出，当t=0时，yi(0)就是节点i的初始值，xi为输入样本的第i个分量。 （3）迭代直到收敛,该过程将一直重复进行，直到进一步的迭代不再改变节点的输出为止。,64,4.2.5 人工神经网络示例及其算法,（3）转（2）继续。 Hopfield网络的主要不足之处： （1）很难精确分析网络的性能。 （2）其动力学行为比较简单。,65,4.2.6 基于神经网络的知识表示与推理,1、知识表示 在基于神经网络的系统中，知识的表示方法与传统AI系统中所用的方法（如谓词、框架、语义网络等）完全不同。 传统AI系统中所用的方法是知识的显式表示，而神经网络中的知识表示是一种隐式的表示方法。在这里，知识并不像在产生系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。 例如在有些神经网络系统中，知识是用神经网络所对应的有向带权图的邻接矩阵及阈值向量表示的。,66,4.2.6 基于神经网络的知识表示与推理,例：如图所示的表示异或逻辑的神经网络来说，其邻接矩阵（权矩阵）为： 如以产生式规则来描述，则该网络代表了四条规则 IF x1=0 AND x2=0 THEN y=0 IF x1=0 AND x2=1 THEN y=1 IF x1=1 AND x2=0 THEN y=1 IF x1=1 AND x2=1 THEN y=0,67,4.2.6 基于神经网络的知识表示与推理,2、基于神经网络的推理 采用神经网络进行推理实际上也是通过网络权值的计算完成的。用户提供的数据作为输入数据送到网络的输入端，网络按某种规则对样本进行训练，最终给出期望的输出值。网络的权值由开始的随机数趋于稳定值，网络也就基本固定不变了。 对正向推理，其推理步骤为： （1）根据已知问题设计神经网络，并对权值进行初始化； （2）把已知数据送到网络的输入端的各个节点； （3）利用特性函数逐层计算各层的输出； （4）用阈值函数对输出层的计算结果进行判别，给出最终结果。,68,4.2.6 基于神经网络的知识表示与推理,特征： （1）同一层的处理单元是完全并行的，但层间的信息传递是串行的。由于层中处理单元的数目要比网络的层数多得多，因此它是一种并行推理； （2）在网络推理中不会出现传统AI系统中推理的冲突问题； （3）网络推理只与输入及网络自身的参数有关，而这些参数又是通过使用学习算法对网络训练得到的，因此它是一种自适应推理。,