人工神经网络算法基础精讲

人工神经网络算法基础精讲目目 录录2一、人工神一、人工神经网网络的的 根根本概念本概念3一、人工神经网络的一、人工神经网络的 根本概念根本概念 人工神经网络人工神经网络Artificial Neural NetworkArtificial Neural Network，即，即ANNANN可以概可以概括的定义为：括的定义为：由大量具有适应性的处理元素神经元组成的广泛并行互联由大量具有适应性的处理元素神经元组成的广泛并行互联网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反响，是模拟人工智能的一条重要途径。人工神经网络与人脑相互反响，是模拟人工智能的一条重要途径。人工神经网络与人脑相似性主要表现在：似性主要表现在：神经网络获取的知识是从外界环境学习得来的；神经网络获取的知识是从外界环境学习得来的；各神经元的连接权，即突触权值，用于储存获取的知识。各神经元的连接权，即突触权值，用于储存获取的知识。神经元是神经网络的根本处理单元，它是神经网络的设计根底。神经元是神经网络的根本处理单元，它是神经网络的设计根底。神经元是以生物的神经系统的神经细胞为根底的生物模型。在人们神经元是以生物的神经系统的神经细胞为根底的生物模型。在人们对生物神经系统进展研究，以探讨人工智能的机制时，把神经元数对生物神经系统进展研究，以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。因此，要了解人工神经模型就学化，从而产生了神经元数学模型。因此，要了解人工神经模型就必须先了解生物神经元模型。必须先了解生物神经元模型。4人工神经网络开展简史人工神经网络开展简史 最早的研究可以追溯到最早的研究可以追溯到2020世纪世纪4040年代。年代。19431943年，心理学家年，心理学家McCullochMcCulloch和数学家和数学家PittsPitts合作提出了形式神经元的数学模型。这一合作提出了形式神经元的数学模型。这一模型一般被简称模型一般被简称M-PM-P神经网络模型，至今仍在应用，可以说，人工神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开场了。神经网络的研究时代，就由此开场了。19491949年，心理学家年，心理学家HebbHebb提出神经系统的学习规那么，为神经网络的提出神经系统的学习规那么，为神经网络的学习算法奠定了根底。现在，这个规那么被称为学习算法奠定了根底。现在，这个规那么被称为HebbHebb规那么，许多规那么，许多人工神经网络的学习还遵循这一规那么。人工神经网络的学习还遵循这一规那么。19571957年，提出年，提出“感知器感知器(Perceptron)(Perceptron)模型，第一次把神经网络的模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。一次高潮。5人工神经网络开展简史人工神经网络开展简史2020世纪世纪6060年代以后，数字计算机的开展到达全盛时期，人们误以为年代以后，数字计算机的开展到达全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对了对“感知器的研究。于是，从感知器的研究。于是，从2020世纪世纪6060年代末期起，人工神经年代末期起，人工神经网络的研究进入了低潮。网络的研究进入了低潮。19821982年，美国加州工学院物理学家年，美国加州工学院物理学家HopfieldHopfield提出了离散的神经网络提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。模型，标志着神经网络的研究又进入了一个新高潮。19841984年，年，HopfieldHopfield又提出连续神经网络模型，开拓了计算机应用神经网络的又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。新途径。19861986年，年，RumelhartRumelhart和和MeclellandMeclelland提出多层网络的误差反传提出多层网络的误差反传(back(back propagation)propagation)学习算法，简称学习算法，简称BPBP算法。算法。BPBP算法是目前最为重要、应算法是目前最为重要、应用最广的人工神经网络算法之一。用最广的人工神经网络算法之一。6生物神经元构造生物神经元构造生物神经元构造生物神经元构造1 1细胞体细胞体:细胞核、细胞质和细胞膜。细胞核、细胞质和细胞膜。2 2树突：胞体短而多分枝的突起。相当于神经元的输树突：胞体短而多分枝的突起。相当于神经元的输入端。入端。3 3轴突：胞体上最长枝的突起，也称神经纤维。端部轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经冲动。有很多神经末稍传出神经冲动。7生物神经元构造生物神经元构造 4 4突触：神经元间的连接接口，每个神经元约有突触：神经元间的连接接口，每个神经元约有1 1万万1010万个突万个突触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为构造的可塑性。神经元间联接的柔性，称为构造的可塑性。突触构造示意图突触构造示意图生物神经元的信息处理机理生物神经元的信息处理机理神经元的兴奋与抑制神经元的兴奋与抑制 当传入神经元冲动，经整和使细胞膜电位升高，超过动作电位当传入神经元冲动，经整和使细胞膜电位升高，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲动。为抑制状态，不产生神经冲动。9延时性传递延时性传递生物神经元的特点生物神经元的特点单向性传递单向性传递阈值特性阈值特性生物神经元的特点：生物神经元的特点：生物神经元的特点生物神经元的特点人工神经元模型人工神经元模型 神经元模型神经元模型 从神经元的特性和功能可以知道，神经元相当于一个从神经元的特性和功能可以知道，神经元相当于一个多输入单输出的信息处理单元，而且，它对信息的处理是多输入单输出的信息处理单元，而且，它对信息的处理是非线性的，人工神经元的模型如下图：非线性的，人工神经元的模型如下图：神经元的神经元的n n个输入个输入对应的连接权值对应的连接权值net=net=阈值阈值输出输出激活函数激活函数11 上面的神经元模型可以用一个数学表达式进展抽象与概括，从上面的神经元模型可以用一个数学表达式进展抽象与概括，从而得到神经元的数学模型：而得到神经元的数学模型：人工神经元模型人工神经元模型神经元的网络输入记为神经元的网络输入记为netnet，即，即 net=net=12 有时为了方便起见，常把有时为了方便起见，常把-也看成是恒等于也看成是恒等于1 1的输入的输入X X0 0 的权值，的权值，这时上面的数学模型可以写成：这时上面的数学模型可以写成：人工神经元模型人工神经元模型其中，其中，W W0 0=-=-；x x0 0=1=1 13神经元的模型具有以下特点：神经元的模型具有以下特点：神经元是一个多输入、单输出单元。神经元是一个多输入、单输出单元。它具有非线性的输入、输出特性。它具有非线性的输入、输出特性。它具有可塑性，反响在新突触的产生和现有的神经突触它具有可塑性，反响在新突触的产生和现有的神经突触的调整上，其塑性变化的局部主要是权值的调整上，其塑性变化的局部主要是权值w w的变化，这相的变化，这相当于生物神经元的突出局部的变化，对于激发状态，当于生物神经元的突出局部的变化，对于激发状态，w w取取正直，对于抑制状态，正直，对于抑制状态，w w取负值。取负值。神经元的输出和响应是个输入值的综合作用的结果。神经元的输出和响应是个输入值的综合作用的结果。兴奋和抑制状态，当细胞膜电位升高超过阈值时，细胞兴奋和抑制状态，当细胞膜电位升高超过阈值时，细胞进入兴奋状态，产生神经冲动；当膜电位低于阈值时，细进入兴奋状态，产生神经冲动；当膜电位低于阈值时，细胞进入抑制状态。胞进入抑制状态。人工神经元模型人工神经元模型14激活函数激活函数 神经元的描述有多种，其区别在于采用了不同的激活函数，不神经元的描述有多种，其区别在于采用了不同的激活函数，不同的激活函数决定神经元的不同输出特性，常用的激活函数有如下同的激活函数决定神经元的不同输出特性，常用的激活函数有如下几种类型：几种类型：15 阈值型激活函数是最简单的，前面提到的阈值型激活函数是最简单的，前面提到的M-PM-P模型就模型就属于这一类。其输出状态取二值属于这一类。其输出状态取二值1 1、0 0或或+1+1、-1-1，分别，分别代表神经元的兴奋和抑制。代表神经元的兴奋和抑制。激活函数激活函数当当f fx x取取0 0或或1 1时，时，16当当f f（x x）取）取1 1或或-1-1时，时，f f（x x）为下图所示的）为下图所示的sgnsgn（符号）函数（符号）函数sgnsgn（x x）=激活函数激活函数17激活函数激活函数型激活函数型激活函数 神经元的状态与输入级之间的关系是在神经元的状态与输入级之间的关系是在0,10,1内连内连续取值的单调可微函数，称为续取值的单调可微函数，称为S S型函数。型函数。双极性双极性S S型函数：型函数：单极性单极性S S型函数：型函数：183.3.分段线性激活函数分段线性激活函数分段线性激活函数的定义为：分段线性激活函数的定义为：激活函数激活函数19 概率型激活函数的神经元模型输入和输出的关系是不概率型激活函数的神经元模型输入和输出的关系是不确定的，需要一种随机函数来描述输出状态为确定的，需要一种随机函数来描述输出状态为1 1或为或为0 0的概的概率，设神经元输出状态为率，设神经元输出状态为1 1的概率为：的概率为：激活函数激活函数其中，其中，T T为温度函数为温度函数20激活函数的根本作用表现在激活函数的根本作用表现在:激活函数激活函数控制输入对输出控制输入对输出 的激活作用的激活作用将可能无限域的输将可能无限域的输入变换成指定的有入变换成指定的有限范围内的输出限范围内的输出对输入、输出进展函数转换对输入、输出进展函数转换21 神经网络是由许多神经元互相在一起所组成的神经构造。把神神经网络是由许多神经元互相在一起所组成的神经构造。把神经元之间相互作用关系进展数学模型化就可以得到人工神经网络模经元之间相互作用关系进展数学模型化就可以得到人工神经网络模型。型。神经元和神经网络的关系是元素与整体的关系。神经元和神经网络的关系是元素与整体的关系。人工神经网络中的神经元常称为节点或处理单元，每个节点均人工神经网络中的神经元常称为节点或处理单元，每个节点均具有一样的构造，其动作在时间和空间上均同步。具有一样的构造，其动作在时间和空间上均同步。人工神经网络模型人工神经网络模型人工神经网络模型人工神经网络模型22人工神经网络的根本属性人工神经网络的根本属性人工神经网络模型人工神经网络模型23神经网络模型神经网络模型 神经元的连接方式不同，网络的拓扑构造也不同，人神经元的连接方式不同，网络的拓扑构造也不同，人工神经网络的拓扑构造是决定人工神经网络特征的第二要工神经网络的拓扑构造是决定人工神经网络特征的第二要素，根据神经元之间连接的拓扑构造不同，可将人工神经素，根据神经元之间连接的拓扑构造不同，可将人工神经网络分成两类，即分层网络和相互连接型网络。网络分成两类，即分层网络和相互连接型网络。人工神经网络模型人工神经网络模型24分层网络分层网络 分层网络将一个神经网络中的所有神经元按功能分为分层网络将一个神经网络中的所有神经元按功能分为假设干层，一般有输入层、中间层隐藏层和输出层。假设干层，一般有输入层、中间层隐藏层和输出层。分层网络按照信息的传递方向可分为前向式网络如分层网络按照信息的传递方向可分为前向式网络如图图a a和反响网络如图和反响网络如图b b、c c。人工神经网络模型人工神经网络模型25相互连接型网络相互连接型网络 相互连接型网络是指网络中任意单元之间都是可以相互双向相互连接型网络是指网络中任意单元之间都是可以相互双向连接的。连接的。人工神经网络模型人工神经网络模型 上述的分类方法是对目前常见的神经网络构造的概括和抽象，上述的分类方法是对目前常见的神经网络构造的概括和抽象，实际应用的神经网络可能同时兼有其中的一种或几种形式。实际应用的神经网络可能同时兼有其中的一种或几种形式。26二二、人工神经网络的人工神经网络的 学习方法学习方法27学习机理学习机理学习机理学习机理 人工神经网络信息处理可以用数学过程来说明，这个人工神经网络信息处理可以用数学过程来说明，这个过程可以分为两个阶段：执行阶段和学习阶段。过程可以分为两个阶段：执行阶段和学习阶段。学习是智能的根本特征之一，人工神经网络最具有吸学习是智能的根本特征之一，人工神经网络最具有吸引力的特点是它能从环境中学习的能力，并通过改变权值引力的特点是它能从环境中学习的能力，并通过改变权值到达预期的目的。神经网络通过施加于它的权值和阈值调到达预期的目的。神经网络通过施加于它的权值和阈值调节的交互过程来学习它的环境，人工神经网络具有近似于节的交互过程来学习它的环境，人工神经网络具有近似于与人类的学习能力，是其关键的方面之一。与人类的学习能力，是其关键的方面之一。28学习方法学习方法学习方法学习方法 按照广泛采用的分类方法，可以将神经网络的学习方法归为三按照广泛采用的分类方法，可以将神经网络的学习方法归为三类：类：无导师无导师学习学习灌输式灌输式学习学习有导师有导师学习学习29学习方法学习方法有导师学习有导师学习 有导师学习又称为有监视学习，在学习时需要给出有导师学习又称为有监视学习，在学习时需要给出导师信号或称为期望输出。神经网络对外部环境是未知的，导师信号或称为期望输出。神经网络对外部环境是未知的，但可以将导师看做对外部环境的了解，由输入但可以将导师看做对外部环境的了解，由输入-输出样本输出样本集合来表示。导师信号或期望响应代表了神经网络执行情集合来表示。导师信号或期望响应代表了神经网络执行情况的最正确效果，即对于网络输入调整权值，使得网络输况的最正确效果，即对于网络输入调整权值，使得网络输出逼近导师信号或期望输出。出逼近导师信号或期望输出。30学习方法学习方法无导师学习无导师学习 无导师学习也称无监视学习。在学习过程中，需要不无导师学习也称无监视学习。在学习过程中，需要不断地给网络提供动态输入信息学习样本，而不提供理断地给网络提供动态输入信息学习样本，而不提供理想的输出，网络根据特有的学习规那么，在输入信息流中想的输出，网络根据特有的学习规那么，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能发现任何可能存在的模式和规律，同时能根据网络的功能和输入调整权值。和输入调整权值。灌输式学习灌输式学习 灌输式学习是指将网络设计成记忆特别的例子，以后灌输式学习是指将网络设计成记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。灌当给定有关该例子的输入信息时，例子便被回忆起来。灌输式学习中网络的权值不是通过训练逐渐形成的，而是通输式学习中网络的权值不是通过训练逐渐形成的，而是通过某种设计方法得到的。权值一旦设计好，即一次性过某种设计方法得到的。权值一旦设计好，即一次性“灌灌输给神经网络不再变动，因此网络对权值的输给神经网络不再变动，因此网络对权值的“学习是学习是“死记硬背式的，而不是训练式的。死记硬背式的，而不是训练式的。31学习规那么学习规那么学习规那么学习规那么 在神经网络的学习中，各神经元的连接权值需按一定在神经网络的学习中，各神经元的连接权值需按一定的规那么调整，这种权值调整规那么称为学习规那么。下的规那么调整，这种权值调整规那么称为学习规那么。下面介绍几种常见的学习规那么。面介绍几种常见的学习规那么。学习规那么学习规那么学习规那么学习规那么 当神经元当神经元i i与神经元与神经元j j同时处于兴奋状态时，在神经网同时处于兴奋状态时，在神经网络中表现为连接权增加络中表现为连接权增加 。根据该假设定义权值调整的方。根据该假设定义权值调整的方法，称为法，称为HebbHebb学习规那么。学习规那么。HebbHebb学习规那么的数学描述：学习规那么的数学描述：假设假设oioin n和和ojojn n是神经元是神经元i i和和j j在时刻在时刻n n的状态的状态反响，反响，WijWijn n表示时刻表示时刻n n时，连接神经元时，连接神经元i i和神经元和神经元j j的的权值，权值，WijWijn n表示从时刻表示从时刻n n到时刻到时刻n+1n+1时连接神经元时连接神经元i i和神经元和神经元j j权值的改变量，那么权值的改变量，那么 其中，其中，是正常数，它决定了在学习过程中从一个步骤到另一个步骤的学习是正常数，它决定了在学习过程中从一个步骤到另一个步骤的学习速率，称为速率，称为学习效率学习效率33学习规那么学习规那么学习规那么学习规那么 Delta Delta学习规那么是最常用的学习规那么，其要点是学习规那么是最常用的学习规那么，其要点是通过改变神经元之间的连接权来减小系统实际输出与理想通过改变神经元之间的连接权来减小系统实际输出与理想输出的误差。假设输出的误差。假设n n时刻输出误差准那么函数如下：时刻输出误差准那么函数如下：其中，其中，Ok=f Ok=fnetknetk为实际输出；为实际输出；ykyk代表理想输出；代表理想输出；W W是网络的所有权值组是网络的所有权值组成权矩阵成权矩阵W=W=wijwij；K K为输出个数。为输出个数。使用梯度下降法调整权值使用梯度下降法调整权值W W，使误差准那么函数最小，得到，使误差准那么函数最小，得到W W的修正的修正DeltaDelta规规那么为：那么为：注：注：DeltaDelta学习规那么只适用于线性可分函数，无法用于多层网络学习规那么只适用于线性可分函数，无法用于多层网络34学习规那么学习规那么学习规那么学习规那么 LMS LMS学习规那么又称为最小均方差规那么，其学习规学习规那么又称为最小均方差规那么，其学习规那么为：那么为：注：注：LMSLMS学习规那么可以看成是学习规那么可以看成是DeltaDelta学习规那么的一个特殊情况。学习规那么的一个特殊情况。该学习规那么具有学习速度快和精度高的特点，权值可以初始该学习规那么具有学习速度快和精度高的特点，权值可以初始化为任何值。化为任何值。35学习规那么学习规那么 胜者为王胜者为王Winner-Take-AllWinner-Take-All学习规那么是一种竞学习规那么是一种竞争学习规那么，用于无导师学习。一般将网络的某一层确争学习规那么，用于无导师学习。一般将网络的某一层确定为竞争层，对于一个特定的输入定为竞争层，对于一个特定的输入X X，竞争层的，竞争层的K K个神经元个神经元均有输出响应，其中响应值最大的神经元均有输出响应，其中响应值最大的神经元j*j*为竞争中获胜为竞争中获胜的神经元，即的神经元，即 只有获胜的神经元才有权调整其权向量只有获胜的神经元才有权调整其权向量Wj，调整量为：，调整量为：其中，其中，为学习参数为学习参数0 01136学习规那么学习规那么学习规那么学习规那么 该规那么只用于无导师指导下训练的网络。在学习过该规那么只用于无导师指导下训练的网络。在学习过程中，处理单元竞争学习时，具有高输出的单元为胜利者，程中，处理单元竞争学习时，具有高输出的单元为胜利者，它有能力阻止它的竞争者并激活相邻的单元，只有胜利者它有能力阻止它的竞争者并激活相邻的单元，只有胜利者才能有输出，也只有胜利者与其相邻单元可以调节权重。才能有输出，也只有胜利者与其相邻单元可以调节权重。在训练周期内，相邻单元的规模是可变的。一般的方在训练周期内，相邻单元的规模是可变的。一般的方法是从定义较大的相邻单元开场，在训练过程中不断减少法是从定义较大的相邻单元开场，在训练过程中不断减少相邻的范围。胜利单元可定义为与输入模式最为接近的单相邻的范围。胜利单元可定义为与输入模式最为接近的单元。元。KohonenKohonen网络可以模拟输入的分配网络可以模拟输入的分配 37学习规那么学习规那么 从统计学、分子热力学和概率论中关于系统稳态能量从统计学、分子热力学和概率论中关于系统稳态能量的标准出发，进展神经网络学习的方式称为概率是学习。的标准出发，进展神经网络学习的方式称为概率是学习。神经网络处于某一状态的概率主要取决于在此状态下的能神经网络处于某一状态的概率主要取决于在此状态下的能量，能量越低，概率越大。概率式学习的典型代表是玻尔量，能量越低，概率越大。概率式学习的典型代表是玻尔兹曼兹曼BoltzmannBoltzmann机学习规那么。这是基于模拟退火的机学习规那么。这是基于模拟退火的统计优化算法。统计优化算法。38三三、前向式神经网络与、前向式神经网络与算法算法39感知器及算法感知器及算法感知器感知器 感知器是具有单层计算单元的神经网络，由线性元件感知器是具有单层计算单元的神经网络，由线性元件和阈值元件组成。感知器的构造如以下图所示，其中和阈值元件组成。感知器的构造如以下图所示，其中X=X=x1x1，x2 x2，xn xn 为为n n个输入，有个输入，有m m个输出，即个输出，即O=O=o1 o1，o2o2，.，omom，W=(wij)nmW=(wij)nm为连接权矩阵。为连接权矩阵。(wij)nm为连接权矩阵感知器构造感知器构造感知器及算法感知器及算法感知器的数学模型感知器的数学模型其中，其中，j j是阈值；是阈值；w wj0j0=-=-j j；x x0 0=1=1；f f（.）是跃阶函数，即）是跃阶函数，即注：可以看出，单输出感知器模型就是人工神经单元注：可以看出，单输出感知器模型就是人工神经单元感知器及算法感知器及算法 感知器学习是有导师学习。感知器的训练算法来源于感知器学习是有导师学习。感知器的训练算法来源于HebbHebb学习学习规那么，其根本思想是：逐步地将样本集中的样本输入到网络中，规那么，其根本思想是：逐步地将样本集中的样本输入到网络中，根据输出结果和理想输出之间的差异来调整网络中的权矩阵。根据输出结果和理想输出之间的差异来调整网络中的权矩阵。设网络的输入向量为设网络的输入向量为X=X=x1 x1，x2 x2，xn xn，W=W=wjiwji为网络的连接权矩阵，网络的训练样本集为为网络的连接权矩阵，网络的训练样本集为X X，Y Y丨丨X X为输入为输入向量，向量，Y Y为为X X对应的输出对应的输出 下面介绍多输出感知器学习算法下面介绍多输出感知器学习算法感知器及算法感知器及算法多输出感知器学习算法步骤如下：多输出感知器学习算法步骤如下：Step1 Step1 设置连接权设置连接权W W的初值。对权系数的初值。对权系数W=W=wjiwji的各个元素置一的各个元素置一个较小的随机值。个较小的随机值。Step2 Step2 输入样本输入样本X=X=x1 x1，x2 x2，xn xn，以及它的期望输出，以及它的期望输出 Y=Y=y1 y1，y2 y2，yn yn。Step3 Step3 计算感知器的实际输出值计算感知器的实际输出值 Step4Step4 根据实际输出求误差根据实际输出求误差感知器及算法感知器及算法Step5Step5 用误差用误差e ej j去调整权值去调整权值其中，其中，Wji Wjin n是第是第n n次调整连接权值；次调整连接权值；称为学习效率，称为学习效率，且且0 011，用于调整权值的调整速度。通常，用于调整权值的调整速度。通常，的取值不能太大，的取值不能太大，如果如果的取值太大，那么会影响的取值太大，那么会影响WjiWjin n的稳定，的稳定，的取值太小那的取值太小那么会使么会使WjiWjin n得收敛速度太慢。当实际输出和期望值得收敛速度太慢。当实际输出和期望值y y一样时，一样时，有有 Wji Wjin+1n+1=Wji=Wjin n。Step6Step6 转到转到step2step2，一直执行到一切样本均稳定为止。，一直执行到一切样本均稳定为止。感知器及算法感知器及算法注注1 1：上述算法涉及循环控制问题，常用的方法有：上述算法涉及循环控制问题，常用的方法有：1 1循环次数控制法。对样本集进执行规定次数的迭代。循环次数控制法。对样本集进执行规定次数的迭代。2 2分阶段迭代次数控制法。设定一个根本的迭代次数分阶段迭代次数控制法。设定一个根本的迭代次数N N，每当训，每当训练完成练完成N N次迭代后，就给出一个中间结果。次迭代后，就给出一个中间结果。3 3精度控制法。给定一个精度控制参数，精度度量可选择：精度控制法。给定一个精度控制参数，精度度量可选择：实际输出向量与理想输出向量的对应分量的差的绝对值之和；实际输出向量与理想输出向量的对应分量的差的绝对值之和；实际输出向量与理想输出向量的欧氏距离之和；实际输出向量与理想输出向量的欧氏距离之和；“死循环：网络无法表示样本所代表的问题。死循环：网络无法表示样本所代表的问题。4 4综合控制法。将上述三种方法结合起来使用。综合控制法。将上述三种方法结合起来使用。45感知器及算法感知器及算法注注2 2：由于感知器的激活函数采用的是阈值函数，输出矢量只能取：由于感知器的激活函数采用的是阈值函数，输出矢量只能取0 0或或1 1，所以只能用它来解决简单的分类问题，它不是对所有的问题，所以只能用它来解决简单的分类问题，它不是对所有的问题都适用。都适用。注注3 3：当输入矢量中有一个数比其他数都大或小很多时，可能导致：当输入矢量中有一个数比其他数都大或小很多时，可能导致收敛速度较慢。收敛速度较慢。463.2 BP3.2 BP神经网络算法神经网络算法BPBP神经网络神经网络 BP BP神经网络神经网络Back Propagation Neural NetworkBack Propagation Neural Network，即误差后向传播神经网络，是一种按误差逆向传播算法训即误差后向传播神经网络，是一种按误差逆向传播算法训练的多层前馈网络，是目前应用最广泛的网络模型之一。练的多层前馈网络，是目前应用最广泛的网络模型之一。BP BP网络能学习和储存大量输入网络能学习和储存大量输入-输出模式的映射关系，而无需输出模式的映射关系，而无需事前提醒描述这种映射关系的数学方程。它的学习规那么是使用最事前提醒描述这种映射关系的数学方程。它的学习规那么是使用最速下降法，通过后向传播来不断调整网络权值和阈值，使网络的误速下降法，通过后向传播来不断调整网络权值和阈值，使网络的误差平方和最小。差平方和最小。BPBP神经网络模型拓扑构造中出了有输入层、输出层神经网络模型拓扑构造中出了有输入层、输出层外，还至少有一层隐藏层，每一层的神经元输出均传送到下一层，外，还至少有一层隐藏层，每一层的神经元输出均传送到下一层，而每层内神经元之间无连接。而每层内神经元之间无连接。473.2 BP3.2 BP神经网络算法神经网络算法 BP BP神经元的构造模型与感知器模型类似，如以下图：神经元的构造模型与感知器模型类似，如以下图：注：与感知器模型不同的是，注：与感知器模型不同的是，BPBP网络的激活函数网络的激活函数f f要求是可要求是可微的，所以不能用二值函数，常用微的，所以不能用二值函数，常用S S型的对数、正切函数或线性函型的对数、正切函数或线性函数。数。483.2 BP3.2 BP神经网络算法神经网络算法BPBP算法算法 BP BP算法由数据流的正向传播和误差信号的反向传播两个过程构算法由数据流的正向传播和误差信号的反向传播两个过程构成。成。1 1正向传播正向传播 设设BPBP网络的输入层有网络的输入层有n n个节点，隐藏层有个节点，隐藏层有q q个节点，输出层有个节点，输出层有m m个节点，输入层与隐藏层之间的权值为个节点，输入层与隐藏层之间的权值为vki vki，隐藏层与输出层的权，隐藏层与输出层的权值为值为wjkwjk，隐藏层的激活函数为，隐藏层的激活函数为f1f1，输出层的激活函数为，输出层的激活函数为 f2f2，那么隐藏层节点的输出为，那么隐藏层节点的输出为493.2 BP3.2 BP神经网络算法神经网络算法输出层节点的输出为：输出层节点的输出为：至此，至此，BPBP网络完成了网络完成了n n维空间向量对维空间向量对m m维空间的近似映射。维空间的近似映射。3.2 BP3.2 BP神经网络算法神经网络算法2 2反向传播反向传播 BP BP算法的实质是求取误差函数的最小值问题，这种算法采用的算法的实质是求取误差函数的最小值问题，这种算法采用的是非线性规划中的最速下降法，按误差函数的负梯度方向修改权值。是非线性规划中的最速下降法，按误差函数的负梯度方向修改权值。设训练样本总数为设训练样本总数为P P，用，用X X1 1，X X2 2，.，X Xp p来表示。第来表示。第P P个样本输入所个样本输入所得到实际输出和理想输出分别记为得到实际输出和理想输出分别记为采用理想输出和实际输出值差的平方和为误差函数，于是得到第采用理想输出和实际输出值差的平方和为误差函数，于是得到第P P个样本的误差：个样本的误差：513.2 BP3.2 BP神经网络算法神经网络算法那么那么P P个样本的总误差为：个样本的总误差为：网络误差是各层权值的函数，按照最速下降法，可得网络误差是各层权值的函数，按照最速下降法，可得输出层各神经元的权值和第输出层各神经元的权值和第n n次输出层权值的迭代公式分别为：次输出层权值的迭代公式分别为：523.2 BP3.2 BP神经网络算法神经网络算法隐藏层各神经元的权值和第隐藏层各神经元的权值和第n n次隐藏层权值的迭代公式分别为：次隐藏层权值的迭代公式分别为：求解的过程求解的过程533.2 BP3.2 BP神经网络算法神经网络算法BPBP网络学习算法的具体步骤如下：网络学习算法的具体步骤如下：Step1 Step1 从训练样本集中取某一样本，把它的输入信息输入从训练样本集中取某一样本，把它的输入信息输入到网络中。到网络中。Step2 Step2 由网络正向计算出各层节点的输出。由网络正向计算出各层节点的输出。Step3 Step3 计算网络的实际输出和期望输出的误差。计算网络的实际输出和期望输出的误差。Step4 Step4 从输出层开场反向计算到第一个隐藏层，按一定的从输出层开场反向计算到第一个隐藏层，按一定的原那么向减少误差方向调整整个网络的各个连接权值。原那么向减少误差方向调整整个网络的各个连接权值。Step5 Step5 对训练样本集中的每一个样本重复上述步骤，直到对训练样本集中的每一个样本重复上述步骤，直到对整个网络训练样本集的误差到达要求为止。对整个网络训练样本集的误差到达要求为止。543.2 BP3.2 BP神经网络算法神经网络算法设三层设三层BPBP网络，那么其算法可描述为：网络，那么其算法可描述为：A A 初始化连接权值初始化连接权值vki vki 和和wjkwjk；B B 初始化精度控制系数初始化精度控制系数；C E=C E=+1+1；E while EE while E do do E.1 E=0 E.1 E=0 E.2 E.2 对对S S中的每一个样本中的每一个样本XpXp，YpYp E.2.1 E.2.1 计算出计算出XpXp，对应的实际输出，对应的实际输出opop；E.2.2 E.2.2 计算出计算出EpEp；E.2.3 E=E+Ep E.2.3 E=E+Ep；E.2.4 E.2.4 根据根据 调整输出层的权值调整输出层的权值wjkwjkn n；E.2.4 E.2.4 根据根据 调整输出层的权值调整输出层的权值vkivkin n；553.2 BP3.2 BP神经网络算法神经网络算法BPBP网络的优点：网络的优点：1)1)非线性映射能力：非线性映射能力：BPBP神经网络实质上实现了一个从输入到输出的神经网络实质上实现了一个从输入到输出的映射功能，数学理论证明三层的神经网络就能够以任意精度逼近任映射功能，数学理论证明三层的神经网络就能够以任意精度逼近任何非线性连续函数。何非线性连续函数。2)2)自学习和自适应能力：自学习和自适应能力：BPBP神经网络在训练时，能够通过学习自动神经网络在训练时，能够通过学习自动提取输出、输出数据间的提取输出、输出数据间的“合理规那么，并自适应的将学习内容合理规那么，并自适应的将学习内容记忆于网络的权值中。记忆于网络的权值中。3)3)泛化能力：所谓泛化能力是指在设计模式分类器时，即要考虑网泛化能力：所谓泛化能力是指在设计模式分类器时，即要考虑网络在保证对所需分类对象进展正确分类，还要关心网络在经过训练络在保证对所需分类对象进展正确分类，还要关心网络在经过训练后，能否对未见过的模式或有噪声污染的模式，进展正确的分类。后，能否对未见过的模式或有噪声污染的模式，进展正确的分类。4)4)容错能力：容错能力：BPBP神经网络在其局部的或者局部的神经元受到破坏后神经网络在其局部的或者局部的神经元受到破坏后对全局的训练结果不会造成很大的影响，也就是说即使系统在受到对全局的训练结果不会造成很大的影响，也就是说即使系统在受到局部损伤时还是可以正常工作的。局部损伤时还是可以正常工作的。563.2 BP3.2 BP神经网络算法神经网络算法BPBP网络的缺点：网络的缺点：1)1)局部极小化问题：局部极小化问题：BPBP神经网络为一种局部搜索的优化方法，它神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，这样会使算法陷入局部极值，要解决的是一个复杂非线性化问题，这样会使算法陷入局部极值，权值收敛到局部极小点权值收敛到局部极小点2)2)BPBP神经网络算法的收敛速度慢：由于神经网络算法的收敛速度慢：由于BPBP神经网络算法本质上为神经网络算法本质上为梯度下降法，它所要优化的目标函数是非常复杂的，这使得梯度下降法，它所要优化的目标函数是非常复杂的，这使得BPBP算法算法低效；低效；3)3)BPBP神经网络构造选择不一：神经网络构造选择不一：BPBP神经网络构造的选择至今尚无一神经网络构造的选择至今尚无一种统一而完整的理论指导，一般只能由经历选定。种统一而完整的理论指导，一般只能由经历选定。4 4BPBP神经网络样本依赖性问题：网络模型的逼近和推广能力与学神经网络样本依赖性问题：网络模型的逼近和推广能力与学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。集是一个很困难的问题。57四、四、BPBP神经网络的应用举例神经网络的应用举例 (matlab(matlab实现实现)58四、四、神经网络的应用神经网络的应用(matlab(matlab实现实现)例一：例一：输入向量输入向量 P=0 1 2 3 4 5 6 7 8 9 10;P=0 1 2 3 4 5 6 7 8 9 10;期望输出期望输出 T=0 1 2 3 4 3 2 1 2 3 4;T=0 1 2 3 4 3 2 1 2 3 4;创立两层的创立两层的BPBP网络网络net=newffnet=newff (0 10,0 10,5 5 1,1,tansigtansig,purelinpurelin ););Y=sim(net,P);Y=sim(net,P);plot(P,T,P,Y,o)plot(P,T,P,Y,o)输出出结果果为：Y=-2.3431-2.7532-2.4510-1.2784-0.8590-0.298159四、四、神经网络的应用神经网络的应用(matlab(matlab实现实现)误差很大！未训练，非线性映射能力差。误差很大！未训练，非线性映射能力差。60四、四、神经网络的应用神经网络的应用(matlab(matlab实现实现)P=0 1 2 3 4 5 6 7 8 9 10;P=0 1 2 3 4 5 6 7 8 9 10;T=0 1 2 3 4 3 2 1 2 3 4;T=0 1 2 3 4 3 2 1 2 3 4;net=newff(0 10,5 1,tansig purelin);net=newff(0 10,5 1,tansig purelin);net.trainparam.show=50;%net.trainparam.show=50;%每次循环每次循环5050次次net.trainParam.epochs=500;%net.trainParam.epochs=500;%最大循环最大循环500500次次net.trainparam.goal=0.01;%net.trainparam.goal=0.01;%期望目标误差最小值期望目标误差最小值net=train(net,P,T);%net=train(net,P,T);%对网络进展反复训练对网络进展反复训练Y=sim(net,P)Y=sim(net,P)plot(P,T,P,Y,o)plot(P,T,P,Y,o)修改程序：修改程序：61四、四、神经网络的应用神经网络的应用(matlab(matlab实现实现)输出出结果果为：62四、四、神经网络的应用神经网络的应用(matlab(matlab实现实现)例二：例二：下表为某药品的销售情况，现构建一个如下的三层下表为某药品的销售情况，现构建一个如下的三层BPBP神经网络对药品神经网络对药品的销售进展预测：输入层有三个结点，隐含层结点数为的销售进展预测：输入层有三个结点，隐含层结点数为5 5，隐含层的激活，隐含层的激活函数为函数为tansigtansig；输出层结点数为；输出层结点数为1 1个，输出层的激活函数为个，输出层的激活函数为logsiglogsig，并利，并利用此网络对药品的销售量进展预测，预测方法采用滚动预测方式，即用前用此网络对药品的销售量进展预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用三个月的销售量来预测第四个月的销售量，如用1 1、2 2、3 3月的销售量为输月的销售量为输入预测第入预测第4 4个月的销售量，用个月的销售量，用2 2、3 3、4 4月的销售量为输入预测第月的销售量为输入预测第5 5个月的销个月的销售量售量.如此反复直至满足预测精度要求为止。如此反复直至满足预测精度要求为止。月份月份123456销量量205623952600229816341600月份月份789101112销量量18731478190015002046155663四、四、神经网络的应用神经网络的应用(matlab(matlab实现实现)P=0.5152P=0.51520.81730.8173 1.0000;1.0000;0.8173 0.81731.00001.0000 0.7308;0.7308;1.0000 1.00000.73080.7308 0.1390;0.1390;0.7308 0.73080.13900.1390 0.1087;0.1087;0.1390 0.13900.10870.1087 0.3520;0.3520;0.1087 0.10870.35200.3520 0.0000;0.0000;T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;%以第四个月的销售量归一以第四个月的销售量归一化处理后作为目标向量化处理后作为目标向量net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.epochs=15000;net.trainParam.goal=0.01;net.trainParam.goal=0.01;net=train(net,P,T);net=train(net,P,T);Y=sim(net,P)Y=sim(net,P)plot(P,T,P,Y,o)plot(P,T,P,Y,o)%以每三个月的销售量经归一化处理以每三个月的销售量经归一化处理后作为输入后作为输入P Pmaxmax=2600,P=2600,Pminmin=1478=1478 ,P=(PP=(P0 0-P-Pminmin)/(P)/(Pmaxmax-P-Pminmin)64四、四、神经网络的应用神经网络的应用(matlab(matlab实现实现)65四、四、神经网络的应用神经网络的应用(matlab(matlab实现实现)66Thankyou!谢谢大家！