BP神经网络培训课件

BPBP神神经网网络主要内容主要内容一一.人工神经网络基本知识人工神经网络基本知识生物神经网络、生物神经元生物神经网络、生物神经元生物神经网络、生物神经元生物神经网络、生物神经元人工神经网络、人工神经元人工神经网络、人工神经元人工神经网络、人工神经元人工神经网络、人工神经元人工神经网络三要素人工神经网络三要素人工神经网络三要素人工神经网络三要素典型激活函数典型激活函数典型激活函数典型激活函数神经网络几种典型形式神经网络几种典型形式神经网络几种典型形式神经网络几种典型形式二二.前馈神经网络、多层感知器、及非线性分类前馈神经网络、多层感知器、及非线性分类三三.BP.BP神经网络神经网络四四.数据处理及神经网络结构的选择数据处理及神经网络结构的选择五五.应用应用 2BP神经网络人工神经网络人工神经网络 是是生物神经网络生物神经网络的某种模型的某种模型(数学模型数学模型)是对生物神经网络的模仿是对生物神经网络的模仿 基本处理单元为基本处理单元为人工神经元人工神经元3BP神经网络1.1.生物神经系统与生物神经元生物神经系统与生物神经元 大量大量生物神经元生物神经元的广泛、复杂连接，形的广泛、复杂连接，形成成生物神经网络生物神经网络 (Biological Neural Network,BNN)。实现各种智能活动实现各种智能活动 生物神经元生物神经元(neuron)(neuron)是基本的信息处理是基本的信息处理单元单元4BP神经网络(1)(1)生物神经系统生物神经系统 生物神经元生物神经元(neuron)(neuron)是基本的信息处理单是基本的信息处理单元元,其组成：其组成：树突树突树突树突(dendrites),(dendrites),(dendrites),(dendrites),接收来自外接的信息接收来自外接的信息接收来自外接的信息接收来自外接的信息 细胞体细胞体细胞体细胞体(cell body),(cell body),(cell body),(cell body),神经细胞主体，信息加工神经细胞主体，信息加工神经细胞主体，信息加工神经细胞主体，信息加工 轴突轴突轴突轴突(axon),(axon),(axon),(axon),细胞的输出装置，将信号向外传递，细胞的输出装置，将信号向外传递，细胞的输出装置，将信号向外传递，细胞的输出装置，将信号向外传递，与多个神经元连接与多个神经元连接与多个神经元连接与多个神经元连接突触突触突触突触 （synapsse),synapsse),synapsse),synapsse),神经元经突触向其它神经元（胞神经元经突触向其它神经元（胞神经元经突触向其它神经元（胞神经元经突触向其它神经元（胞体或树突）传递信号体或树突）传递信号体或树突）传递信号体或树突）传递信号5BP神经网络(2)(2)生物神经元的基本特征生物神经元的基本特征 神经元之间彼此神经元之间彼此连接连接连接连接 神经元之间的神经元之间的连接强度连接强度决定决定信号传递信号传递信号传递信号传递的强弱的强弱 神经元之间的神经元之间的连接强度连接强度连接强度连接强度可以可以随训练改变随训练改变随训练改变随训练改变 学习、遗忘、疲劳学习、遗忘、疲劳 -神经网络中各神经元之间神经网络中各神经元之间连接的强弱连接的强弱连接的强弱连接的强弱，按外部，按外部的激励信号做的激励信号做自适应变化自适应变化自适应变化自适应变化 兴奋与抑制兴奋与抑制兴奋与抑制兴奋与抑制 信号可以起信号可以起兴奋兴奋兴奋兴奋作用，也可以起作用，也可以起抑制抑制抑制抑制作用作用 一个神经元接受信号的一个神经元接受信号的累积效果（综合大小，累积效果（综合大小，累积效果（综合大小，累积效果（综合大小，代数和）代数和）代数和）代数和）决定该神经元的决定该神经元的状态状态状态状态(兴奋、抑制兴奋、抑制兴奋、抑制兴奋、抑制)每个神经元可以有一个每个神经元可以有一个“阈值阈值阈值阈值”6BP神经网络2.2.人工神经网络与人工神经元人工神经网络与人工神经元7BP神经网络(1)(1)基本的人工神经元模型基本的人工神经元模型McCulloch-PittsMcCulloch-Pitts神经元模型神经元模型输入信号；链接强度与权向量；输入信号；链接强度与权向量；信号累积信号累积激活与抑制激活与抑制8BP神经网络9BP神经网络10BP神经网络11BP神经网络(1)(1)基本的人工神基本的人工神经元模型元模型12BP神经网络(2)(2)输出函数出函数f(2)(2)(2)(2)几种常见形式的传递函数几种常见形式的传递函数几种常见形式的传递函数几种常见形式的传递函数(激活函数激活函数激活函数激活函数)13BP神经网络(2)(2)输出函数出函数f14BP神经网络(2)(2)输出函数出函数f15BP神经网络16BP神经网络17BP神经网络18BP神经网络主要内容主要内容一一人工神经网络基本知识人工神经网络基本知识二二.前馈神经网络、多层感知器、及非线性分类前馈神经网络、多层感知器、及非线性分类三三.BP.BP神经网络神经网络四四.数据处理及神经网络结数据处理及神经网络结 构的选择构的选择五五.应用应用19BP神经网络各神经元接受来自前级的输入，并产生输出到下一级，各神经元接受来自前级的输入，并产生输出到下一级，无反无反无反无反馈馈馈馈，可用一有向无环图表示。，可用一有向无环图表示。网络中的节点分两类：网络中的节点分两类：输入节点输入节点输入节点输入节点；计算节点计算节点计算节点计算节点(神经元节点神经元节点神经元节点神经元节点)节点按层节点按层(layer)(layer)组织组织 ：第第i i层的输入只与第层的输入只与第i i-1-1层的输出相连。层的输出相连。输入信号由输入层输入输入信号由输入层输入,由第一层节点输出，传向下层，由第一层节点输出，传向下层，前馈：信息由低层向高层单向流动前馈：信息由低层向高层单向流动前馈：信息由低层向高层单向流动前馈：信息由低层向高层单向流动。-可见层可见层可见层可见层 输入层输入层输入层输入层 (input layer)(input layer)输入节点所在层，无计输入节点所在层，无计算能力算能力 输出层输出层输出层输出层 (output layer)(output layer)节点为神经元节点为神经元 隐含层隐含层隐含层隐含层(hidden layer)(hidden layer)(hidden layer)(hidden layer)中间层，节点为神经元中间层，节点为神经元1.1.前馈前馈(forward)(forward)神经网络神经网络20BP神经网络 具有具有具有具有三层计算单三层计算单三层计算单三层计算单元的元的元的元的前馈神经网络结前馈神经网络结前馈神经网络结前馈神经网络结构构构构21BP神经网络2.2.感知器神经网络感知器神经网络(感知器感知器)、感知器神经、感知器神经元元感知器神经元感知器神经元感知器神经元感知器神经元单层感知器网络单层感知器网络单层感知器网络单层感知器网络22BP神经网络感知器神经元的传递函数感知器神经元的传递函数感知器神经元的传递函数感知器神经元的传递函数单层感知网络可以实现线性分类单层感知网络可以实现线性分类单层感知网络可以实现线性分类单层感知网络可以实现线性分类2.2.感知器神经网络、感知器神经元感知器神经网络、感知器神经元(续续)23BP神经网络(1)(1)(1)(1)多层感知器多层感知器多层感知器多层感知器(MLP)(MLP)(MLP)(MLP)的一致逼近性的一致逼近性的一致逼近性的一致逼近性单个阈值神经元可以实现任意多输入任意多输入任意多输入任意多输入的与与、或或及与非与非与非与非、或非或非或非或非逻辑门。任何逻辑函数可由两层前馈网络（一层计算单元）任何逻辑函数可由两层前馈网络（一层计算单元）实现实现。三层或三层以上的前馈网络通常称为三层或三层以上的前馈网络通常称为三层或三层以上的前馈网络通常称为三层或三层以上的前馈网络通常称为多层感知器多层感知器多层感知器多层感知器多层感知器的适用范围大大超过单层网络。3.3.多层感知器（含两层以上的计算单元）多层感知器（含两层以上的计算单元）24BP神经网络多多层感知器示意感知器示意25BP神经网络26BP神经网络当神经元的输出函数为当神经元的输出函数为sigmoidsigmoid等函数时，三等函数时，三层前馈网络层前馈网络(含两层计算单元含两层计算单元)可以逼近可以逼近任意的任意的多元非线性函数多元非线性函数。27BP神经网络主要内容主要内容一一.人工神经网络基本知识、神经元与感知器人工神经网络基本知识、神经元与感知器二二.前馈神经网络、多层感知器、及非线性分类前馈神经网络、多层感知器、及非线性分类三三.BP.BP神经网络神经网络四四.数据处理及数据处理及 神经网络结构的选择神经网络结构的选择五五 应用应用28BP神经网络 基于基于基于基于阈值神经元阈值神经元阈值神经元阈值神经元的多层感知器不足的多层感知器不足的多层感知器不足的多层感知器不足 隐含层不直接与外界连接，误差无法直接估计隐含层不直接与外界连接，误差无法直接估计隐含层不直接与外界连接，误差无法直接估计隐含层不直接与外界连接，误差无法直接估计 中间层神经元的激活函数为阈值函数中间层神经元的激活函数为阈值函数中间层神经元的激活函数为阈值函数中间层神经元的激活函数为阈值函数(或阶跃函数或阶跃函数或阶跃函数或阶跃函数)无法采用无法采用无法采用无法采用梯度下降法梯度下降法梯度下降法梯度下降法训练神经元权值训练神经元权值训练神经元权值训练神经元权值 基于基于基于基于BPBPBPBP算法的多层感知器算法的多层感知器算法的多层感知器算法的多层感知器(BP(BP(BP(BP网络网络网络网络)各各各各计算单元计算单元计算单元计算单元(神经元节点神经元节点神经元节点神经元节点)传递函数传递函数传递函数传递函数：SigmoidSigmoidSigmoidSigmoid函数函数函数函数 误差误差误差误差逐层反向传播；逐层反向传播；逐层反向传播；逐层反向传播；信号信号信号信号逐层逐层逐层逐层正向传递正向传递正向传递正向传递29BP神经网络BPBP神经网络训练的两个阶段神经网络训练的两个阶段 (1)(1)信号正向传递过程信号正向传递过程 输入信息输入信息从从输入层输入层经经隐层隐层逐层、逐层、正向传递，直至得到各计算单元的输出正向传递，直至得到各计算单元的输出 (2)(2)误差反向传播过程误差反向传播过程 输出层误差输出层误差从从输出层输出层开始，逐开始，逐层、反向传播，可间接计算隐层各单元的层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值误差，并用此误差修正前层的权值.30BP神经网络31BP神经网络32BP神经网络33BP神经网络34BP神经网络35BP神经网络36BP神经网络37BP神经网络38BP神经网络39BP神经网络40BP神经网络41BP神经网络42BP神经网络43BP神经网络BPBP网络的优点网络的优点特别适合于求解内部机制复杂的问题特别适合于求解内部机制复杂的问题 BPBP网络实质上实现了一个从输入到输网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明出的映射功能，而数学理论已证明它具有实现它具有实现任何复杂非线性映射的功能任何复杂非线性映射的功能具有自学习能力具有自学习能力 网络能通过学习网络能通过学习带正确答案的实例集带正确答案的实例集自自动提取动提取“合理的合理的”求解规则求解规则网络具有一定的推广、概括能力网络具有一定的推广、概括能力。44BP神经网络BPBPBPBP网络的问题，如：网络的问题，如：网络的问题，如：网络的问题，如：BPBPBPBP算法的学习速度较慢算法的学习速度较慢算法的学习速度较慢算法的学习速度较慢网络训练失败的可能性较大网络训练失败的可能性较大网络训练失败的可能性较大网络训练失败的可能性较大 网络结构的选择尚无一种统一而完整的理论指导，网络结构的选择尚无一种统一而完整的理论指导，网络结构的选择尚无一种统一而完整的理论指导，网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定一般只能由经验选定一般只能由经验选定一般只能由经验选定。网络的预测能力（泛化能力、推广能力）与训练能网络的预测能力（泛化能力、推广能力）与训练能网络的预测能力（泛化能力、推广能力）与训练能网络的预测能力（泛化能力、推广能力）与训练能力（逼近能力、学习能力）的矛盾力（逼近能力、学习能力）的矛盾力（逼近能力、学习能力）的矛盾力（逼近能力、学习能力）的矛盾。45BP神经网络PART1.PART1.输入输入/输出数据的处理输出数据的处理回归或状态预测，数据处理方式有所区别回归或状态预测，数据处理方式有所区别 建模前输入输出数据的预处理建模前输入输出数据的预处理正向标准化正向标准化 建模后输入输出数据的后处理建模后输入输出数据的后处理反向标准化反向标准化特征的平移特征的平移特征的尺度调整特征的尺度调整0,1,-1,1,-0,1,-1,1,-a,aa,a,0,a0,a 47BP神经网络48BP神经网络49BP神经网络50BP神经网络51BP神经网络52BP神经网络53BP神经网络PART2.PART2.神经网络的层次选择神经网络的层次选择对多层网络要确定选用几个隐含层？对多层网络要确定选用几个隐含层？19881988年年CybenkoCybenko指指出出，若若各各节节点点均均采采用用S S型型函函数，则数，则 一个隐含层一个隐含层足以实现任意判决分类问题；足以实现任意判决分类问题；两个隐含层两个隐含层足以实现输入图形的任意输出足以实现输入图形的任意输出网网络络层层次次选选取取依依经经验验和和情情况况而而定定，通通常常不不宜宜过多。过多。54BP神经网络PART3.PART3.节点数目的确定节点数目的确定输入层、输出层、隐含层节点数输入层、输出层、隐含层节点数1.1.输入层节点数的确定输入层节点数的确定 节点数节点数=输入向量的维数输入向量的维数55BP神经网络2.2.输出层节点数的确定输出层节点数的确定节点数节点数取决于取决于:输出的表示方法输出的表示方法;类别数目；类别数目；待逼近的函数数待逼近的函数数目。目。(1)(1)两类别问题两类别问题 单输出型单输出型 1 1个判别函数，个判别函数，1 1个输出节个输出节点点(2)(2)多类别问题多类别问题 输出节点数是类别数：输出节点数是类别数：“C C中取中取1(1-1(1-of-C)”of-C)”C C位位“0-1”0-1”二进制编码二进制编码 输出节点数是二进制编码的状态数输出节点数是二进制编码的状态数 8 8类问题，类问题，3 3位二进制数位二进制数 可能会需增加可能会需增加1 1个隐含层以个隐含层以满足要求满足要求(3)(3)输出节点数是待逼近的函数个数输出节点数是待逼近的函数个数56BP神经网络 隐含层节点数目越大，网络学习能力越强，但不能保隐含层节点数目越大，网络学习能力越强，但不能保隐含层节点数目越大，网络学习能力越强，但不能保隐含层节点数目越大，网络学习能力越强，但不能保证预测能力好证预测能力好证预测能力好证预测能力好“过学习过学习过学习过学习(过拟合过拟合过拟合过拟合)”)”)”)”overfitting隐含层节点不能过少，网络不能构建复杂决策面：节隐含层节点不能过少，网络不能构建复杂决策面：节隐含层节点不能过少，网络不能构建复杂决策面：节隐含层节点不能过少，网络不能构建复杂决策面：节点数越小，网络学习能力低点数越小，网络学习能力低点数越小，网络学习能力低点数越小，网络学习能力低-“-“-“-“欠学习欠学习欠学习欠学习(欠拟合欠拟合欠拟合欠拟合)”)”)”)”underfittingunderfitting如何选择适当数目如何选择适当数目如何选择适当数目如何选择适当数目“隐含层隐含层隐含层隐含层”节点，以取得节点，以取得节点，以取得节点，以取得“过学习过学习过学习过学习”与与与与“欠学习欠学习欠学习欠学习”之间的平衡？之间的平衡？之间的平衡？之间的平衡？3.3.3.3.隐含层节点数的确定隐含层节点数的确定隐含层节点数的确定隐含层节点数的确定57BP神经网络试凑法试凑法试凑法试凑法结合问题先验知识结合问题先验知识结合问题先验知识结合问题先验知识结合特定算法结合特定算法结合特定算法结合特定算法 对隐含层节点数的选择，对隐含层节点数的选择，对隐含层节点数的选择，对隐含层节点数的选择，NielsonNielsonNielsonNielson等指出：等指出：等指出：等指出：除除除除了了了了图图图图像像像像情情情情况况况况，在在在在大大大大多多多多数数数数情情情情况况况况下下下下，可可可可使使使使用用用用4-4-4-4-5 5 5 5个隐含层节点对应个隐含层节点对应个隐含层节点对应个隐含层节点对应1 1 1 1个输入节点。个输入节点。个输入节点。个输入节点。在在在在图图图图像像像像情情情情况况况况下下下下，像像像像素素素素的的的的数数数数目目目目决决决决定定定定了了了了输输输输入入入入节节节节点点点点的数目，此时隐含层结点可取输入结点数的的数目，此时隐含层结点可取输入结点数的的数目，此时隐含层结点可取输入结点数的的数目，此时隐含层结点可取输入结点数的10%10%10%10%左右。左右。左右。左右。其它经验其它经验其它经验其它经验 58BP神经网络主要内容主要内容一一.人工神经网络基本知识、神经元与感知器人工神经网络基本知识、神经元与感知器二二.前馈神经网络、多层感知器、及非线性分类前馈神经网络、多层感知器、及非线性分类三三.BP.BP神经网络神经网络四四.神经网络结构的选择神经网络结构的选择五五 应用应用回归回归状态预测状态预测59BP神经网络1.状态预测状态预测-参考参考MATLAB神经网络神经网络30个案例分析个案例分析例例.基于基于BP神经网络的数据分类神经网络的数据分类四类语音特征信号分析四类语音特征信号分析每组语音信号为24维输入；四类语音信号：民歌、古筝、摇滚、流形共计2000组语音信号要求：基于BP网络设计一个语音信号类别预测模型代码：见案例160BP神经网络例：例：例：例：61BP神经网络2.回归估计回归估计例：基于例：基于BP神经网络的公路运量神经网络的公路运量(客运量、货运量客运量、货运量)预测预测公路运量与该地区人数、机动车数量、公路面积有关。已知某地区20年的公路运量有关数据，对于未来某两年，若明确该地区人数、机动车数量、公路面积，要求：预测该地区的公路运量。分析：(1)明确模型输入输出关系(2)建模：原始数据读取；数据标准化处理；网络训练；(3)模型评价：对原始数据仿真，明确预测误差(4)输出预测结果：对新数据预测结果62BP神经网络63BP神经网络