BP神经网络原理资料

,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,BP神经网络原理资料,BP网络模型处理信息的根本原理是：输入信号Xi通过中间节点隐层点作用于输出节点，经过非线形变换，产生输出信号Yk，网络训练的每个样本包括输入向量X和期望输出量t，网络输出值Y与期望输出值t之间的偏差，通过调整输入节点与隐层节点的联接强度取值和隐层节点与输出节点之间的联接强度Tjk以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数权值和阈值，训练即告停顿。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。,BP神经网络模型,BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。,1节点输出模型,隐节点输出模型：Oj=f(WijXi-qj)(1),输出节点输出模型：Yk=f(TjkOj-qk)(2),f-非线形作用函数；q-神经单元阈值。,2作用函数模型,作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid函数：f(x)=1/(1+e-x),3误差计算模型,误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：,Ep=1/2(tpi-Opi)2,tpi-i节点的期望输出值；Opi-i节点计算输出值。,4自学习模型,神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为,Wij(n+1)=h iOj+aWij(n),h-学习因子；i-输出节点i的计算误差；Oj-输出节点j的计算输出；a-动量因子。,BP网络模型的缺陷分析及优化策略,1学习因子h 的优化,采用变步长法根据输出误差大小自动调整学习因子，来减少迭代次数和加快收敛速度。,h=h+a(Ep(n)-Ep(n-1)/Ep(n),a为调整步长，01之间取值,2隐层节点数的优化,隐节点数的多少对网络性能的影响较大，当隐节点数太多时，会导致网络学习时间过长，甚至不能收敛；而当隐节点数过小时，网络的容错能力差。利用逐步回归分析 法并进展参数的显著性检验来动态删除一些线形相关的隐节点，节点删除标准：当由该节点出发指向下一层节点的所有权值和阈值均落于死区通常取0.1、0.05等区间之中，那么该节点可删除。最正确隐节点数L可参考下面公式计算：,L=(m+n)1/2+c(7),m-输入节点数；n-输出节点数；c-介于110的常数。,3输入和输出神经元确实定,利用多元回归分析法对神经网络的输入参数进展处理，删除相关性强的输入参数，来减少输入节点数。,4算法优化,由于BP算法采用的是剃度下降法，因而易陷于局部最小并且训练时间较长。用基于生物免疫机制地既能全局搜索又能防止未成熟收敛的免疫遗传算法IGA取代传统BP算法来抑制此缺点。,优化BP神经网络在系统平安评价中的应用,系统平安评价包括系统固有危险性评价、系统平安管理现状评价和系统现实危险性评价三方面内容。其中固有危险性评价指标有物质火灾爆炸危险性、工艺危险性、设备装置危险性、环境危险性以及人的不可靠性。,基于优化BP神经网络的系统平安评价模型,BP神经网络在系统平安评价中的应用实现,(1)确定网络的拓扑构造，包括中间隐层的层数，输入层、输出层和隐层的节点数。,(2)确定被评价系统的指标体系包括特征参数和状态参数,运用神经网络进展平安评价时，首先必须确定评价系统的内部构成和外部环境，确定能够正确反映被评价对象平安状态的主要特征参数输入节点数，各节点实际含义及其表达形式等，以及这些参数下系统的状态输出节点数，各节点实际含义及其表达方式等。,(3)选择学习样本，供神经网络学习,选取多组对应系统不同状态参数值时的特征参数值作为学习样本，供网络系统学习。这些样本应尽可能地反映各种平安状态。其中对系统特征参数进展(-,)区间地预处理，对系统参数应进展(0,1)区间地预处理。神经网络的学习过程即根据样本确定网络的联接权值和误差反复修正的过程。,(4)确定作用函数，通常选择非线形S型函数,(5)建立系统平安评价知识库,通过网络学习确认的网络构造包括：输入、输出和隐节点数以及反映其间关联度的网络权值的组合；即为具有推理机制的被评价系统的平安评价知识库。,(6)进展实际系统的平安评价,经过训练的神经网络将实际评价系统的特征值转换后输入到已具有推理功能的神经网络中，运用系统平安评价知识库处理后得到评价实际系统的平安状态的评价结果。实际系统的评价结果又作为新的学习样本输入神经网络，使系统平安评价知识库进一步充实。,BP神经网络理论应用于系统平安评价中的优点,1利用神经网络并行构造和并行处理的特征，通过适中选择评价工程，能抑制平安评价的片面性，可以全面评价系统的平安状况和多因数共同作用下的平安状态。,2运用神经网络知识存储和自适应特征，通过适应补充学习样本，可以实现历史经历与新知识完满结合，在开展过程中动态地评价系统的平安状态。,3利用神经网络理论的容错特征，通过选取适当的作用函数和数据构造，可以处理各种非数值性指标，实现对系统平安状态的模糊评价。,BP神经网络收敛速度,阈值、学习率、隐层层数、隐层节点个数等对神经网络的学习速度(收敛速度)都有较大的影响。本文在BP网络的根底上,研究讨论了各个参数对收敛速度的影响,以减小选取网络构造和决定各参数值的盲目性,到达提高收敛速度的目的。,(1)初始权值和阈值对收敛速度的影响初始权值和阈值要选得小一些。选择隐层节点数的原那么是尽量使网络构造简单,运算量小。从实验数据分析可知:当节点数太少时,每个节点负担过重,迭代而有的选择却要迭代几千次,或者更多,甚至不收敛。,(2)学习率对收敛速度的影响,学习率的设置对BP算法的收敛性有很大的影响。学习率过小,误差波动小,但学习速度慢,往往由于训练时间的限制而得不到满意解;学习率过大,学习速度加快,会引起网络出现摆动现象,导致不收敛的危险。因此,选择一个适宜的学习率是B P算法的一个较关键的问题。学习率的主要作用是调整权值、阈值的修正量.,(3)隐层层数的选择对收敛速度的影响,通过实验发现,用两个隐层比用一个隐层的收敛速度还要慢。,(4)隐层节点数对收敛速度的影响,目前,对隐层节点数的设定缺乏理论指导,但是实验研究说明,隐含节点数增加会影响收敛速度。,BP神经网络设计步骤,BP网络的设计主要包括输入层,隐层,输出层及各层之间的传输函数几个方面。,(1)网络层数,大多数通用的神经网络都预先预定了网络的层数,而BP网络可以包含不同的隐层。对多层BP神经网络，隐层层数至少为1层或1层以上，每个隐层的神经元个数至少为1个或1个以上，否那么与多层网络的命题矛盾而不成立。,(2)输入层的节点数,网络的输入个数应等于应用问题的输入数,MATLAB的BP网络的建立是通过函数newff或newcf实现的.,(3)网络数据的预处理,预处理方法有归一化处理、标准化处理和主成分分析。常采用的是归一化处理,即将输入、输出数据映射到-1,1范围内,训练完毕后再反映射到原数据范围。,(4)输出层的节点数,输出层节点数取决于两个方面,输出数据类型和表示该类型所需要的数据大小。,5隐层的节点数,i.根据经历,可以参考以下公式进展设计:n=sqrp(ni+n0)+a或者n=sqrt(nl)式中:n为隐层节点数;ni为输入节点数;n0为输出节点数;a为110之间的常数。ii.改变n,用同一样本集训练,从中确定网络误差最小时对应的隐层节点数。,6传输函数,BP网络中传输函数常采用S(sigmoid)型函数.在某些特定情况下,还可能采用纯线性(Pureline)函数.,(7)训练方法及其参数选择,net.trainParam.show=.；%显示训练结果的间隔步数net.trainParam.epochs.；最大训练步数net.trainParam.goal.；%训练目标误差net.trainParam.mu=.；%学习系数的初始值，Marquardt调整参数net.trainParam.mu_dec=.；%学习系数的下降因子net.trainParam.mu_inc=.；%学习系数的上升因子net.trainParam.mu_max=.；%学习系数的最大值net.trainParam.min_grad=.；%训练中最小允许梯 度值,(8)初始权值的设计,通常使用如下两种方法:i.取足够小的初始权值ii.使初始值为+1和-1的权值数相等。,