BP神经网络基本原理与应用课件

BP神经网络基本原理与应用BP神经网络基本原理与应用目录1.1.神经网络的神经网络的来源来源2.ANN2.ANN初识初识3.BP3.BP神经网神经网络络4.BP4.BP神经网神经网络与应用络与应用BPBP神经网络神经网络目录1.神经网络的来源2.ANN初识3.BP神经网络4.BP人工神经网络来源1 1人工神经网络来源1 大大脑脑可可视视作作为为10的的12次次方方个个神神经经元元组组成成的的神神经网络。经网络。图 神经元的解剖图大脑可视作为10的12次方个神经元组成的神为什么计算机暂时还赶不上人脑？人类神经元的速度100m/s至150m/s，比计算机的要慢，因为人与动物神经网络足够复杂 一一个个神神经经元元一一般般会会与与100到到10000个个神神经经元元连连接，所构成的网络是一个巨复杂网络！接，所构成的网络是一个巨复杂网络！并行的并行的运作与运作与存贮同存贮同时进行时进行有自我有自我学习学习因为人与动物神经网络足够复杂一个神经元一般从动物神经网络到人工神经网络v神经元的数学模型 图 神经元的数学模型 X 为输入，为输入，W为权值，为权值，y为输出，为输出，b为阈值，为阈值，f(*)为激活函数为激活函数从动物神经网络到人工神经网络神经元的数学模型图神经元的数从动物神经网络到人工神经网络v神经元的数学公式X 为输入，为输入，W为权值，为权值，y为输出，为输出，b为阈值，为阈值，f(*)为激活函数为激活函数输入值求和：输出值计算：从动物神经网络到人工神经网络神经元的数学公式X为输入，W为从动物神经网络到人工神经网络 激激活活函函数数执执行行对对该该神神经经元元所所获获得得的的网网络络输输入入的的变变换换，也也可可以以称称为为激激励励函函数数、活活化化函函数：数：o=f（net）1、线性函数（、线性函数（Liner Function）f（net）=k*net+cnetooc从动物神经网络到人工神经网络激活函数执行对该神经元所获得从动物神经网络到人工神经网络if netf（net）=-if net、均为非负实数，均为非负实数，为阈值为阈值二值形式：二值形式：1if netf（net）=0if net 双极形式：双极形式：1if netf（net）=-1if net 2、阈值函数（Threshold Function）阶跃函数从动物神经网络到人工神经网络ifnet2从动物神经网络到人工神经网络从动物神经网络到人工神经网络人工神经网络初识2 2人工神经网络初识2人工神经网络（ANN）v众多神经元之间组合形成神经网络，例如下图的含有中间层（隐层）的网络 人工神经网络（ANN）众多神经元之间组合形成神经网络，例如下人工神经网络（ANN）基本神经网络的拓扑结构基本神经网络的拓扑结构b1bia1c1cqcjahbpanWp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp输出层输出层LC隐含层隐含层LB输入层输入层LAWV人工神经网络（ANN）基本神经网络的拓扑结构b1bia1c1人工神经网络（ANN）分类从网从网络性能角度，可分性能角度，可分为连续型与型与离散型网离散型网络、确定性与随机性网、确定性与随机性网络从网从网络结构角度，可分构角度，可分为前向网前向网络与反与反馈网网络从学从学习方法角度，可分方法角度，可分为有有导师学学习网网络和无和无导师学学习网网络按按连接突触性接突触性质，可分，可分为一一阶线性性关关联网网络和高和高阶非非线性关性关联网网络人工神经网络（ANN）分类从网络性能角度，可分为连续型与离散BP神经网络3 3BP神经网络3何为BP神经网络BP（BackPropagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆误差逆传播传播算法训练的多层前馈网络多层前馈网络。是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。何为BP神经网络BP（BackPropaBP神经网络核心思想BP算法由数据流的前向计算（正向传播）前向计算（正向传播）和误差信号的反向传播误差信号的反向传播两个过程构成。BP神经网络核心思想BP算法由数据流的前向BP网络常用传递函数:BP网络的传递函数有多种。Log-sigmoid型函数的输入值可取任意值，输出值在0和1之间；tan-sigmod型传递函数tansig的输入值可取任意值，输出值在-1到+1之间；线性传递函数purelin的输入与输出值可取任意值。BP网络通常有一个或多个隐层，该层中的神经元均采用sigmoid型传递函数，输出层的神经元则采用线性传递函数，整个网络的输出可以取任意值。BP网络常用传递函数:BP网络的传递函数有多种。Log-siBP网络常用传递函数:BP网络的传递函数：网络的传递函数：BP网络常用传递函数:BP网络的传递函数：权值和阈值如何确定、学习？输入层和输出层可以根据实际问题确定，但权值和阈值初始化，却没BP神经网络的学习学习过程：神经网络在外界输入样本的刺激下不断改变网络连接的权值，阈值。以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值、阈值的动态调整学习规则：权值、阈值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则BP神经网络的学习学习过程：BP神经网络的学习网络结构输入层有n个神经元，隐含层有q个神经元,输出层有m个神经元BP神经网络的学习网络结构BP神经网络的学习输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:BP神经网络的学习输入层与中间层的连接权值:BP神经网络的学习(一)误差函数的确定网络学习误差函数分为两类：（t为预期值，y为输出值）A、网络对样本逐个的顺序输入而不断学习，是基于单个样本误差e的最小值进行。B、第二是待样本全部输入后，基于E的最小值来完成权值空间的梯度搜索，即批处理过程。BP神经网络的学习(一)误差函数的确定BP神经网络的学习(二)误差梯度下降法梯度下降的基本原理：梯度下降法又称最速下降法。函数J(a)在某点ak的梯度是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。BP神经网络的学习(二)误差梯度下降法BP神经网络的学习(二)误差梯度下降法求函数J(a)极小值的问题，可以选择任意初始点a0,从a0出发沿着负梯度方向走，可使得J(a)下降最快。s(0)：点a0的搜索方向。BP神经网络的学习(二)误差梯度下降法求函BP神经网络的学习(三)BP算法调整，输出层的权值调整直观解释直观解释当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。BP神经网络的学习(三)BP算法调整，输BP神经网络的学习(三)BP算法调整，输出层的权值调整式中：学习率最终形式为：BP神经网络的学习(三)BP算法调整，输BP神经网络的学习(三)BP算法调整，隐藏层的权值调整隐层各神经元的权值调整公式为：同理，输出层、隐藏层的阈值调整就是误差函数对阈值的偏导函数。BP神经网络的学习(三)BP算法调整，隐BP学习算法的步骤:Step1 选定学习的数据,p=1,P,随机确定初始权矩阵W（0）Step2 用（10）式反向修正,直到用完所有学习数据.用学习数据计算网络输出Step3 BP学习算法的步骤:Step1选定学习的数据,p=1,BP网络设计：1.输入层和输出层的设计输入层和输出层节点点数的选择由应用要求决定。输入层节点数一般等于要训练的样本矢量维数，可以是原始数据的维数或提取的特征维数；输出层节点数在分类网络中去类别数m或lbm，在拟合网络中取要拟合的函数输出空间维数。2.隐含层结构设计（1）隐含层数设计1989年，RobertHecht-Nielsen证明了对于任何闭区间内的一个连续函数都可以用一个隐含层的BP网络来逼近。因而，一个3层的BP网络可以完成任意的n维到m维的映射。BP网络设计：1.输入层和输出层的设计BP网络设计：BP网络设计：BP神经网络与分类（应用）4 4BP神经网络与分类（应用）4人工神人工神经网网络（Artificial Neuron Nets=ANN）例1981年生物学家格若根（W Grogan）和维什（WWirth）发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af人工神经网络（ArtificialNeuronNets问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80);(l.28，1.84)；（1.40，2.04）问它们应分别属于哪一个种类？如果如下图那么直观的分清，则问题将会很容易解决如果如下图那么直观的分清，则问题将会很容易解决问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。但是，如果图是下面这样的话：新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作v输入数据有15个，即,p=1,15;j=1,2;对应15个输出。v建模：（输入层，中间层，输出层，每层的元素应取多少个？）v建立神经网络输入数据有15个，即,p=1,15;j=1,2v规定目标为：当t(1)=0.9 时表示属于Apf类，t(2)=0.1表示属于Af类。v设两个权重系数矩阵为：为阈值 其中规定目标为：当t(1)=0.9 时表示属于Apf类，t(2（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句：令p=0具体算法如下：具体算法如下：=rand(2,3);=rand(1,3);(2)根据输入数据利用公式算出网络的输出=（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以取取（3）计算 因为 所以（4）取（或其他正数，可调整大小）取（3）计算 因为 所以（4）取（或其他正数，可调整大小(5)计算 和 j=1,2,3,i=1,2,3,计算 j=1,2,3 j=1,2,3(5)计算 和 j=1,2,3,i=1,2,3,计算 v(6)p=p+1，转（2）注：仅计算一圈（p=1，2，15）是不够的，直到当各权重变化很小时停止，本例中，共计算了147圈，迭代了2205次。最后结果是：(6)p=p+1，转（2）注：仅计算一圈（p=1，2，v即网络模型的解为：=即网络模型的解为：=BP网络的局限性:u 隐含层节点个数没有理论依据隐含层节点个数没有理论依据u激活函数一般使用激活函数一般使用S型函数没有理论依据型函数没有理论依据u最速下降法只是针对局部而言，对整体来说却不一定最最速下降法只是针对局部而言，对整体来说却不一定最速下降方向速下降方向u学习速率采用确定值，一旦太大可能导致学习过程振荡，学习速率采用确定值，一旦太大可能导致学习过程振荡，太小会造成学习的周期过长太小会造成学习的周期过长u存在学习迭代次数存在学习迭代次数u初试权值的选取较为敏感初试权值的选取较为敏感u网络结构选择不能统一网络结构选择不能统一BP网络的局限性:隐含层节点个数没有理论依据BP算法的改进:u利用动量法改进利用动量法改进BP算法算法将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上，作为本次的实际权值调整量u自适应调整学习速率自适应调整学习速率 动态的学习速率u动量动量-自适应学习速率调整算法自适应学习速率调整算法uL-M学习规则学习规则速度更快，但需要存贮空间巨大BP算法的改进:利用动量法改进BP算法谢谢Thanks谢谢Thanks