人工神经网络理论与应用

人工神经网络理论与应用人工神经网络理论与应用第七章第七章 神经网络基础知识神经网络基础知识神经网络基础知识神经网络基础知识7.1 生物神经元及人工神经元的组成生物神经元及人工神经元的组成7.2 人工神经网络的模型人工神经网络的模型 7.2.1 人工神经元的模型人工神经元的模型 7.2.2 常用的激活转移函数常用的激活转移函数 7.2.3 MP模型神经元模型神经元2.1 2.1 生物神经元及人工神经元的组成生物神经元及人工神经元的组成 神经元也称神经细胞，它是生物神经系神经元也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分：细胞能。每个神经元都包括三个主要部分：细胞体、树突和轴突，见图（体、树突和轴突，见图（a a）。）。(a)简单神经元网络图简单神经元网络图 (b)简化后的网络示意图简化后的网络示意图(1)细胞体；细胞体；(2)树突；树突；(3)轴突；轴突；(4)突触突触图图7.1 简单神经元网络及其简化结构图简单神经元网络及其简化结构图神经元结构与功能 细胞体由细胞核、细胞质和细胞膜等组成，其直径大约为，大小不等。细胞体是神经元的主体，用于处理由树突接受的其它神经元传来的信号；轴突是由细胞体向外延伸出的所有纤维中最长的一条分枝，用来向外传递神经元产生的输出电信号。每个神经元都有一条轴突，其最大长度可达1m以上。在轴突的末端形成了许多很细的分枝，这些分支叫神经末梢。每一条神经末梢可以与其它神经元形成功能性接触，该接触部位称为突触。所谓功能性接触，是指非永久性的接触，这正是神经元之间传递信息的奥秘之处。神经元结构与功能 树突是指由细胞体向外延伸的除轴突以外的其它所有分支。树突的长度一般较短，但数量很多，它是神经元的输入端，用于接受从其它神经元的突触传来的信号。神经元中的细胞体相当于一个初等处理器，它对来自其它各个神经元的信号进行总体求和，并产生一个神经输出信号。细胞膜内外的电位之差被称为膜电位。在无信号输入时的膜电位称为静止膜电位。当一个神经元的所有输入总效应达到某个阈值电位时，该细胞变为活性细胞。生物神经元的功能与特征(1)时空整合功能 神经元对不同时间通过同一突触传入的神经冲动，具有时间整合功能。对于同一时间通过不同突触传入的神经冲动，具有空间整合功能。两种功能相互结合，使生物神经元对由突触传入的神经冲动具有时空整合的功能。(2)兴奋与抑制状态 神经元具有兴奋和抑制两种常规的工作状态。当传入冲动的时空整合结果使细胞膜电位升高，超过动作电位的阈值时，细胞进入兴奋状态，产生神经冲动。相反，当传入冲动的时空整合结果使细胞膜电位低于动作电位的阈值时，细胞进入抑制状态，无神经冲动输出。生物神经元的功能与特征(3)脉冲与电位转换 突触界面具有脉冲/电位信号转化功能。沿神经纤维传递的信号为离散的电脉冲信号，而细胞膜电位的变化为连续的电位信号。这种在突触接口处进行的“数/模”转换，是通过神经介质以量子化学方式实现的如下过程：电脉冲-神经化学物质-膜电位 (4)神经纤维传导速率 神经冲动沿神经纤维传导的速度在1-150m/s之间。其速度差异与纤维的粗细、髓鞘的有无有关。一般来说，有髓鞘的纤维，其传导速度在100m/s以上，无髓鞘的纤维，其传导速度可低至每秒数米。(5)突触延时和不应期 突触对相邻两次神经冲动的响应需要有一定的时间间隔，在这个时间间隔内不响应激励，也不传递神经冲动，这个时间间隔称为不应期。人脑神经系统的结构与特征神经生理学的研究结果表明，人脑的神经系统是一个由大量生物神经元并行互连所形成的一个网络系统。每个人的大脑大约有1011-1012个神经元，每个神经元大约有103-104个突触，即与其它103-104个神经元相连。(1)记忆和存储功能人脑神经系统的记忆和处理功能是有机的结合在一起的。神经元既有存储功能，又有处理功能，它在进行回忆时不仅不需要先找到存储地址再调出所存内容，而且还可以由一部分内容恢复全部内容。尤其是当一部分神经元受到损坏（例如脑部受伤等）时，它只会丢失损坏最严重部分的那些信息，而不会丢失全部存储信息。(2)高度并行性（为什么计算机无法模拟更多的神经元，如果有100个神经元，两两互连，则会出现10099/2=5000个N元一次方程。如何计算如此复杂的方程组？）提供了非常巨大的存储容量和并行度。例如，人可以非常迅速地识别出一幅十分复杂的图像。人脑神经系统的结构与特征(3)分布式功能 人们通过对脑损坏病人所做的神经心理学研究，没有发现大脑中的哪一部分可以决定其余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整个智能处理过程的任何中央控制部分。人类大脑的各个部分是协同工作、相互影响的，并没有哪一部分神经元能对智能活动的整个过程负有特别重要的责任。可见，在大脑中，不仅知识的存储是分散的，而且其控制和决策也是分散的。因此，大脑是一种分布式系统。(4)容错功能 容错性是指根据不完全的、有错误的信息仍能做出正确、完整结论的能力。大脑的容错性是非常强的。例如，我们往往能够仅由某个人的一双眼睛、一个背影、一个动作或一句话的音调，就能辨认出来这个人是谁。人脑神经系统的结构与特征(5)联想功能 人脑不仅具有很强的容错功能，还有联想功能。善于将不同领域的知识结合起来灵活运用，善于概括、类比和推理。例如，一个人能很快认出多年不见、面貌变化较大的老朋友。(6)自组织和自学习功能 人脑能够通过内部自组织、自学习能力不断适应外界环境，从而可以有效地处理各种模拟的、模糊的或随机的问题。人工神经元的主要结构单元是信号的输入、综合处理和输出人工神经元的主要结构单元是信号的输入、综合处理和输出 输出信号强度大小反映了该神经元对相邻神经元影响的强弱输出信号强度大小反映了该神经元对相邻神经元影响的强弱 人工神经元之间通过互相联接形成网络，称为人工神经网络人工神经元之间通过互相联接形成网络，称为人工神经网络 神经元之间相互联接的方式称为联接模式神经元之间相互联接的方式称为联接模式 相互之间的联接强度由联接权值体现。相互之间的联接强度由联接权值体现。v 在人工神经网络中，改变信息处理及能在人工神经网络中，改变信息处理及能力的过程，就是修改网络权值的过程。力的过程，就是修改网络权值的过程。目前多数目前多数人工神经网络的构造人工神经网络的构造大体上大体上都采用如下的一些都采用如下的一些原则原则：v 由一定数量的基本神经元分层联接；由一定数量的基本神经元分层联接；v 每个神经元的输入、输出信号以及综每个神经元的输入、输出信号以及综 合处理内容都比较简单；合处理内容都比较简单；v 网络的学习和知识存储体现在各神经网络的学习和知识存储体现在各神经元之间的联接强度上。元之间的联接强度上。7.2 人工神经网络的模型人工神经网络的模型 7.2.1 人工神经元的模型人工神经元的模型 神经元是人工神经网络的基本处理单元，神经元是人工神经网络的基本处理单元，它一般是一个它一般是一个多输入多输入/单输出的非线性元件单输出的非线性元件。神经元输出除受输入信号的影响外，同时也神经元输出除受输入信号的影响外，同时也受到神经元内部因素的影响，所以在人工神受到神经元内部因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信经元的建模中，常常还加有一个额外输入信号，称为偏差，有时也称为阈值或门限值。号，称为偏差，有时也称为阈值或门限值。神经元的输出矢量可以表示为：神经元的输出矢量可以表示为：A=f(W*P+b)=f(wj pj+b)(7.2)可以看出偏差被简单地加在可以看出偏差被简单地加在W*P上作为激活函数的另一个输上作为激活函数的另一个输入分量。实际上偏差也是一个权值，只是它具有固定常数为入分量。实际上偏差也是一个权值，只是它具有固定常数为1的输的输入。入。在网络的设计中，偏差起着重要的作用，它使得激活函数的在网络的设计中，偏差起着重要的作用，它使得激活函数的图形可以左右移动，从而增加了解决问题的可能性。图形可以左右移动，从而增加了解决问题的可能性。7.2.2 激活转移函数激活转移函数 激活转移函数（激活转移函数（Activation transfer function）简称激活函数，它是一个神经元）简称激活函数，它是一个神经元及神经网络的核心之一。及神经网络的核心之一。神经网络解决问题神经网络解决问题的能力与功效除了与网络结构有关外，在很的能力与功效除了与网络结构有关外，在很大程度上取决于网络激活函数。大程度上取决于网络激活函数。激活函数的基本作用是：激活函数的基本作用是：控制输入对输出的激活作用；控制输入对输出的激活作用；对输入、输出进行函数转换；对输入、输出进行函数转换；将可能无限域的输入变换成指定的将可能无限域的输入变换成指定的有限范围内的输出。有限范围内的输出。下面是几种常用的激活函数：下面是几种常用的激活函数：（l l）阀值型（硬限制型）阀值型（硬限制型）具有此激活函数的神经元的输入具有此激活函数的神经元的输入/输出关系为：输出关系为：(a)没有偏差的阈值型激活函数没有偏差的阈值型激活函数 (b)带有偏差的阈值型激活函数带有偏差的阈值型激活函数 图图7.3 阈值型激活函数阈值型激活函数 0001bPWbPWbPWfA(7.3)（2 2）线性型）线性型 具有此激活函数的神经元的输入具有此激活函数的神经元的输入/输出关系为：输出关系为：(a)没有偏差的线性激活函数没有偏差的线性激活函数 (b)带有偏差的线性激活函数带有偏差的线性激活函数 图图7.4 线性型激活函数线性型激活函数A=f(W*P+b)=W*P+b (7.4)（3）S型型(Sigmoid)对数对数S型激活函数型激活函数 见图见图7.5(a)，其神经元的输入，其神经元的输入/输出关系为：输出关系为：(a)带有偏差的对数带有偏差的对数S型激活函数型激活函数 (b)带有偏差的双曲正切带有偏差的双曲正切S型激活函数型激活函数 图图7.5 S型激活函数型激活函数 bnnfexp11(7.5)（3）S型型(Sigmoid)双曲正切双曲正切S型激活函数型激活函数 见图见图7.5(b)，其神经元的输入，其神经元的输入/输出关系为：输出关系为：(a)带有偏差的对数带有偏差的对数S型激活函数型激活函数 (b)带有偏差的双曲正切带有偏差的双曲正切S型激活函数型激活函数图图7.5 S型激活函数型激活函数(7.6)bnbnnf2exp12exp1 一般地，称一个神一般地，称一个神经网络是线性或非线性经网络是线性或非线性是由网络神经元中所具是由网络神经元中所具有的激活函数的线性或有的激活函数的线性或非线性来决定的。非线性来决定的。人工神经网络人工神经网络 人工神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。基于对人类生物系统的这一认识，人们也试图通过对人工神经元的广泛互连来模拟生物神经系统的结构和功能。人工神经元之间通过互连形成的网络称为人工神经网络。在人工神经网络中，神经元之间互连的方式称为连接模式或连接模型。它不仅决定了神经元网络的互连结构，同时也决定了神经网络的信号处理方式。人工神经网络的分类人工神经网络的分类 目前，已有的人工神经网络模型至少有几十种，其分类方法也有多种。例如，若按网络拓扑结构，可分为无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络。人工神经网络的局限性 人工神经网络是一个新兴学科，因此还存在许多问题。其主要表现有：(1)受到脑科学研究的限制：由于生理实验的困难性，因此目前人类对思维和记忆机制的认识还很肤浅，还有很多问题需要解决；(2)还没有完整成熟的理论体系；(3)还带有浓厚的策略和经验色彩；(4)与传统技术的接口不成熟。上述问题的存在，制约了人工神经网络研究的发展。7.2.3 MP神经元模型神经元模型 M P 神 经 元 模 型 是 由 美 国 心 理 学 家神 经 元 模 型 是 由 美 国 心 理 学 家McClloch和数学家和数学家Pitts共同提出的，因此，常共同提出的，因此，常称为称为MP模型。模型。MP神经元模型是典型的阈值型神经元模型是典型的阈值型神经元，见图，它相当于一个多输入单输出的神经元，见图，它相当于一个多输入单输出的阈值器件。阈值器件。w1w2wrp1p2pr briiibpwfA1 图图7.6 MP模型神经元模型神经元 如图如图(7.6)所示，假定所示，假定p1，p2，pn表示神经表示神经元的元的n个输入；个输入；wi表示神经元的突触连接强度，其值表示神经元的突触连接强度，其值称为权值；称为权值；n 表示表示神经元的输入总和神经元的输入总和，f(n)即为即为激激活函数活函数；a 表示神经元的输出，表示神经元的输出，b 表示神经元的阈值，表示神经元的阈值，那么那么MP模型神经元的输出可描述为模型神经元的输出可描述为(7.7)式所示：式所示：w1w2wrp1p2pr briiibpwfa1图图7.6 MP模型神经元模型神经元riiibpwnnfa1(7.7)MP模型神经元是二值型神经元，其输出状态取值模型神经元是二值型神经元，其输出状态取值为为1或或0，分别代表神经元的兴奋和抑制状态。如果，分别代表神经元的兴奋和抑制状态。如果 n 0，即神经元输入加权总和超过某个阈值，那么该神，即神经元输入加权总和超过某个阈值，那么该神经元兴奋，状态为经元兴奋，状态为1；如果；如果n 0，那么该神经元受到抑，那么该神经元受到抑制，状态为制，状态为0。通常，将这个规定称为。通常，将这个规定称为MP模型神经元模型神经元的的点火规则点火规则。用一数学表达式表示为：。用一数学表达式表示为：对于对于 MP模型神经元，权值模型神经元，权值w在（在（1，1）区间）区间连续取值。取负值表示抑制两神经元间的连接强度，正连续取值。取负值表示抑制两神经元间的连接强度，正值表示加强。值表示加强。0001nnnfA(7.8)M PM P 模 型 神 经 元模 型 神 经 元具 有 什 么 特 性？具 有 什 么 特 性？能完成什么功能？能完成什么功能？为了回答这个问题，我们以简单的逻为了回答这个问题，我们以简单的逻辑代数运算为例来说明。辑代数运算为例来说明。例例1 假设一个假设一个MP模型神经元有模型神经元有2个输入：个输入：p1和和p2，其目，其目标输出记为标输出记为t，试问它能否完成下列真值表功能？，试问它能否完成下列真值表功能？解：根据要求，神经元的权值和阈值必须满足如下不解：根据要求，神经元的权值和阈值必须满足如下不 等式组：等式组：若取若取b值为值为0.5,W1和和W2取。可以验证用这组权值和阈值构取。可以验证用这组权值和阈值构成的成的2输入输入MP模型神经元能够完成该逻辑模型神经元能够完成该逻辑“或或”运运 算。算。00201021WWWW00201021bbWbWbWW(1)(2)(3)(4)不不 等等 式式 组组真真 值值 表表 p1 p2 t 1 1 1 1 0 1 0 1 1 0 0 0 如同许多代数方程一样，由如同许多代数方程一样，由MP模型激活函数得出的不等模型激活函数得出的不等式具有一定的几何意义，所有输入样本构成样本输入空间。对式具有一定的几何意义，所有输入样本构成样本输入空间。对于任意特定于任意特定W和和P的值都规定了一个超平面（决策平面），其的值都规定了一个超平面（决策平面），其方程为：方程为：它把超平面它把超平面Rn（XRn）分成了两部分：）分成了两部分：WX-b0 部分和部分和 WX-b0 部分。部分。bXW 一般地，一般地，N N输入的输入的MPMP模型神经元有模型神经元有2 2n n个输个输入样本，几何上分别位入样本，几何上分别位于于N N维超立方体的各顶维超立方体的各顶点处。点处。7.3 人工神经网络的结构与学习人工神经网络的结构与学习 7.3.1 人工神经网络的结构人工神经网络的结构 如果将大量功能简单的形式神经元通如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并过一定的拓扑结构组织起来，构成群体并行分布式处理的行分布式处理的计算结构计算结构，那么这种结构，那么这种结构就是就是人工神经网络人工神经网络，在不引起混淆的情况，在不引起混淆的情况下，统称为神经网络。下，统称为神经网络。根据神经元之间连接的拓根据神经元之间连接的拓扑结构上的不同，可将神经网扑结构上的不同，可将神经网络结构分为两大类：络结构分为两大类：分层网络分层网络 相互连接型网络相互连接型网络 1分层结构分层结构 分层网络将一个分层网络将一个神经网络模型中的所有神经网络模型中的所有神经元按功能分成若干神经元按功能分成若干层，一般有输入层、隐层，一般有输入层、隐层（又称中间层）和输层（又称中间层）和输出层各层顺序连接，如出层各层顺序连接，如图图7.7所示。所示。输输 出出 层层 中中 间间 层层 输输 入入 层层输入输入输出输出图图 7.77.7分层网络的功能层次分层网络的功能层次 简单的前向网络；简单的前向网络；具有反馈的前向网络；具有反馈的前向网络；层内有相互连接的前向网络。层内有相互连接的前向网络。分层网络可以细分为三种分层网络可以细分为三种互连形式：互连形式：图图7.8（a）简单的前向网络形状；）简单的前向网络形状；图图7.8（b）输出层到输入层具有反馈的前向网络；）输出层到输入层具有反馈的前向网络；图图7.8（c）层内有相互连接的前向网络。层内有相互连接的前向网络。所谓相互连接型网络是指网络中任意两个神所谓相互连接型网络是指网络中任意两个神经元之间是可达的，即存在连接路径，如图（经元之间是可达的，即存在连接路径，如图（d）所示。所示。2相互连接型结构相互连接型结构 权值修正学派认为：神权值修正学派认为：神经网络的学习过程就是不断经网络的学习过程就是不断调整网络的连接权，以获得调整网络的连接权，以获得期望的输出的过程。期望的输出的过程。7.3.2 人工神经网络的学习人工神经网络的学习v 相关学习法相关学习法v 误差修正学习法误差修正学习法 典型的权值修正方法有两类典型的权值修正方法有两类 式中，式中，wji(t+1)表示修正一次后的某一权值；表示修正一次后的某一权值；称为学称为学习因子，决定每次权值的修正量，习因子，决定每次权值的修正量，x i（t）、xj（t）分分别表示别表示 t 时刻第时刻第i、第、第j个神经元的状态。个神经元的状态。相关学习法相关学习法 如果神经网络中某一神经元与另一直接与其相连如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的的神经元同时处于兴奋状态，那么这两个神经元间的连接强度应该加强。相关学习法是根据连接间的激活连接强度应该加强。相关学习法是根据连接间的激活水平改变权值的，相关学习法也称水平改变权值的，相关学习法也称Hebb学习规则，可学习规则，可用一数学表达式表示为：用一数学表达式表示为：txtxtwtwjijiji,1(7.9)（1）选择一组初始权值和偏差值；）选择一组初始权值和偏差值；（2）计算某一输入模式对应的实际输出与期望输出的误差）计算某一输入模式对应的实际输出与期望输出的误差 （3）更新权值）更新权值（偏差值可视为输入恒为（偏差值可视为输入恒为-1的一个权值）的一个权值）式中，式中，为学习因子；为学习因子；y je(t)、yj(t)分别表示第分别表示第j个神经个神经 元元 的期望输出与实际输出；的期望输出与实际输出；x i为第为第i个神经元的输入；个神经元的输入；（4）返回步骤（）返回步骤（2），直到对所有训练模式，网络输出均），直到对所有训练模式，网络输出均 能满足要求能满足要求。误差修正学习法误差修正学习法 根据期望输出与实际输出之间的误差大小来修正权根据期望输出与实际输出之间的误差大小来修正权值。误差修正学习法也称值。误差修正学习法也称学习规则，可由如下四步来学习规则，可由如下四步来描述；描述；txtytytwtwijejjiji)(1(7.10)例例2考虑一个考虑一个2输入输入MP模型神经元的模型神经元的学习。假设初始参数为：学习。假设初始参数为：w1，w2，b=0.1 要求该神经元能实现下列逻辑真值表：要求该神经元能实现下列逻辑真值表：逻辑真值表逻辑真值表 x1：0 0 1 1 x2：0 1 0 1ye：1 1 0 0 解：神经元输入和的表达式为：解：神经元输入和的表达式为：n=w 1 x 1+w 2 x 2 -b满足所给逻辑真值表的激活函数不等式组为：满足所给逻辑真值表的激活函数不等式组为：x1 x2 ye 不等式组不等式组 0 0 1 -b 0 b 0 0 1 1 w 2 -b 0 b w 2 1 0 0 w 1 -b 0 b w 1 1 1 0 w 1+w 2 -b 0 b w 1+w 2 在初始参数设置下，神经元的实际输出为：在初始参数设置下，神经元的实际输出为：n1 0 y1=0 n2 0 y2=0 n3 0 y 3=1 n4 0 y4=0可见，有可见，有3个输入模式相应的输出都与期望输出不符，个输入模式相应的输出都与期望输出不符，即有误差。下面我们看如何使用即有误差。下面我们看如何使用学习规则进行学习。学习规则进行学习。首先，确定学习因子首先，确定学习因子，即确定每次，即确定每次误差修正量的多少。假如学习因子误差修正量的多少。假如学习因子采用采用下式确定：下式确定：式中式中,为一个正的常数，通常在为一个正的常数，通常在0-10-1之间取值。为简便起见，这里取值为。之间取值。为简便起见，这里取值为。)11)()()(21itbtixtiw (7.11)1.当输入当输入x1x2=00时：时：要使实际输出要使实际输出 y=1，必须满足激活函数大于，必须满足激活函数大于0，即：，即：n1=-b0 b0 阈值阈值b需取负值需取负值 根据（）式得学习因子根据（）式得学习因子的值为：的值为：修正后的权、阈值为：修正后的权、阈值为：由于由于x1=x2=0，所以权值不变。，所以权值不变。第一次学习结束后，第一次学习结束后，MP模型神经元的参数为：模型神经元的参数为：w1，w2，b(1)=0。b(1)0。1.01.01.00211.0)0(021b 5.00011.05.0202122.00011.02.01011101011.01.0)1(01xyeywwxyeywwyeybb 对权阈值进行修正如下：对权阈值进行修正如下：第二次学习结束后，第二次学习结束后，MP模型神经元的参数为：模型神经元的参数为：w1，w2，。，。b(2)w 2(2)，b(2)0。2.01013.05.0212222.00013.02.0111213.01013.00)1(123.01.005.0211.0)1()1(221xyeywwxyeywwyeybbbw当输入当输入x1=0，x2=1 时，要使实际输出时，要使实际输出 y=1，必须满，必须满足激活函数大于足激活函数大于0，即：，即：w 2 -b 0 b w 2 b还要满足前面的条件还要满足前面的条件 b0学习结果为：学习结果为：w1，w2，。，。满足条件：满足条件：b(7)0 w 1(7)b(7)w 2(7)b(7)w 1(7)+w 2(7)能够实现要求真值表功能。能够实现要求真值表功能。依次类推，表给出了一个学习的结果。依次类推，表给出了一个学习的结果。表2.1 一个二输入MP模型神经元学习过程x1x2w1w2图2.11000.1-0(b)010.3-0.2-0.3(c)110.20-0.4-0.1(d)100.1-0.1-0(e)010.25-0.15-0.25(f)100.125-0.225-0.125(g)010.0625-0.0875-0.1875(h)学习过程中决策直线在样本平面的位置变化，如图。学习过程中决策直线在样本平面的位置变化，如图。2.3.2.2.3.2.学习技术分类学习技术分类 根据学习时是否需要外部指导信息，通根据学习时是否需要外部指导信息，通常将神经网络的学习分为三种类型，即常将神经网络的学习分为三种类型，即:v 有导师学习有导师学习v 强化学习强化学习v 无导师学习无导师学习 有导师学习有导师学习 必须预先知道学习的期望结果必须预先知道学习的期望结果教师信教师信 息，并依此按照某一学习规则来修正权值。息，并依此按照某一学习规则来修正权值。s 强化学习强化学习 利用某一表示利用某一表示“奖惩奖惩”的全局信号，衡的全局信号，衡量与强化输入相关的局部决策如何。量与强化输入相关的局部决策如何。s 无导师学习无导师学习 不需要教师信息或强化信号，只要给定不需要教师信息或强化信号，只要给定输入信息，网络通过自组织调整，自学习并给输入信息，网络通过自组织调整，自学习并给出一定意义下出一定意义下 的输出响应。的输出响应。权值修正权值修正 拓扑变化、拓扑变化、权值与拓扑修正权值与拓扑修正 从神经网络结构变化的角度从神经网络结构变化的角度来分，学习技术还可分为三种来分，学习技术还可分为三种:确定性学习确定性学习随机性学习随机性学习学习技术又还可分为：学习技术又还可分为：