人工神经网络__徐伟

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,人工神经网络（,ANN,）,人工神经网络概述,什么是,人工神经网络,？,T.Koholen,的定义：“,人工神经网络,是由 具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。”,人工神经网络提供了一种普遍而且使用的方法从样本中学习值为实数、离散值或向量的函数,例如，在反向传播算法中，使用梯度下降来调整网络参数以最佳拟合由输入,-,输出对组成的训练集合,一般而言, ANN,与经典计算方法相比并非优越,只有当常规方法解决不了或效果不佳时,ANN,方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN,往往是最有利的工具。,量变引起质变,-,神经网络的作用,（,1,）蚂蚁群,一个蚂蚁有,50,个神经元，单独的一个蚂蚁不能做太多的事；甚至于不能很好活下去但是一窝蚂蚁；设有,10,万个体，那么这个群体相当于,500,万个神经元（当然不是简单相加，这里只为说明方便而言）；那么它们可以觅食、搬家、围攻敌人等等,（,2,）网络说话,人们把一本教科书用网络把它读出来（当然需要通过光电，电声的信号转换）；开始网络说的话像婴儿学语那样发出“巴、巴、巴”的声响；但经过,B,P,算法长时间的训练竟能正确读出英语课本中,90,的词汇,从此用神经网络来识别语言和图象形成一个新的热潮,单层神经元网络,其中,x,（,x,1,，,x,m,）,T,输入向量，,y,为输出，,w,i,是权系数；输入与输出具有如下关系,：,f,（,X,）,是激发函数；它可以是线性函数，也可以是非线性函数,例如，若记,取激发函数为符号函数,则,S,型激发函数：,具有隐藏层的网络,1,简单网络的,BP,算法,假设有,M,个训练样本，即有,M,个,输入输出对,i=1,2,.m,其中,输入向量为,:,目标输出向量为（实际上的）,:,网络输出向量为,（理论上的）,记 为从输入向量的第,p(p,=1,n),个分量到输出向量的第,j(j,=1,n),个分量的权重。,（,i=1,m,）,（,2,）,通常理论值与实际值有一误差，网络学习则是指不断地把与比较，并根据极小原则修改参数,wpj,，使误差平方和达最小：,Delta,学习规则,:,增量（,4,）,（,3,）,表示递推一次的修改量，则有,称为,学习的速率,2,多层前馈网络,（,l,）输入层不计在层数之内，它有,n,个神经元设网络 共有,L,层；输出层为第,L,层；第,k,层有 个神经元,(2),设,表示第,k,层第,i,神经元所接收的信息,w,k,(i,j,),表示从第,k-1,层第,j,个元到第,k,层第,i,个元的权重，,表第,k,层第,i,个元的输出,（,3,）设层与层间的神经元都有信息交换（否则，可设它们之间的权重为零）；但同一层的神经元之间无信息传输,(4),设信息传输的方向是从输入层到输出层方向；因此称为前向网络,（,5,） 表示输入的第,j,个分量,（,7,）,其中 表示第,k,层第,i,个元的阈值,.,对于具有多个隐层的前馈神经网络；设激发函数为,S,函数；且误差函数取,（,8,）,（,9,）,则每个训练循环中按梯度下降时；其权重迭代公式为,（,10,）,表示第,层第,j,个元对第 层第,i,个元输入的第,p,次迭代时的权重,其中,（,11,）,上面计算的是输出单位的权值训练,那么隐藏单元的权值的训练又是怎样的呢？,对于网络中的内部单元或者说隐藏单元的情况，推导,必须考虑到 间接地影响网络输出，从而影响到误差,实践中发现定义网络中单元,i,的所有直接下游单元的集合（也就是直接输入中包含单元,i,的输出的所有单元）是有用的，用,Downstream(i,),来表示这样的单元集合,通过一系列的推导，我们最终可以得到这样的误差项,BP,算法,Step1,选定学习的数据,p=1,P,随机确定初始权矩阵,W,（,0,）,Step2,用（,10,）式反向修正,直到用完所有学习数据,.,用学习数据计算网络输出,Step3,人工神经网络的高级课题,其他可选的误差函数,其他可选的误差最小化过程,递归网络,动态修改网络的结构,