第五章 人工神经网络模型

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第六章 人工神经网络模型,我们不可能对生物学上的神经网络作完全的了解，只可能在某种成度上描述我们所了解的情况。同样，人工神经网络也只可能是在某种程度上对真实的神经网络的一种模拟和逼近。,6.1神经元模型,生物神经元模型,神经元,neuron,neural cell,也就是神经细胞。人脑就是由大量神经元组合而成的。,神经元由 细胞体、树突和轴突组成。 中心 接受器 传导信息,人工神经元模型，如图所示,(threshold),某个神经元,j,的输入输出关系为其中， 为阀值， 为连接权，,f(,),为变换函数， 也称活化函数,(activation function),。变换函数的种类有很多种，可参见,p.126。,其中用得最多的是比例函数,y=f(x)=s,和,S-,型函数，,Sigmoidal,function,6.2,感知器 (,perceptron,),感知器是一种非常特殊的神经网络，它在人工神经网络的发展历史上有着非常重要的地位，尽管它的能力非常有限，只能用于线性分类。 我们以单层感知器来说明：,两个输入,x,1,和,x,2,。,一个阀值,两个待调整的权值,W1,和,W2,决策函数为,样本集分别属于2类。,很显然，正确分割这两类样本的直线 方程为,d(z)=0,具体的算法如下，用于确定,wi,和,随机给定一组连接权,i(k), i= 0，1，2。K=0，,表示初始值。,任取其中一个样本 为期望的输出值，或者是期望的函数决策值。,按下式调整连接权,0为学习率,在样本集中另选一个样本，并置,k+1,k，,重复,steps (2)-(4) until,为什么？,表示此时的,d(x),已能正确分类，,无须修改。这里介绍的感知器，由于只有一层，故而其分类能力非常有限，不能处理,XOR,问题。,所以在1969年，,Minsky,和,Papert,发表了名为,Perceptron,的专著, 书中指出,这样的简单的线性感知器的功能非常有限，使得随后的研究处于低潮。, 6.3 人工神经网络,前面介绍的感知器已给了我们一个大概的认识，即,NN,是怎么回事。它是一个并行和分布式的信息处理网络。由许多神经元组成，每个神经元有单个的输出，它可以连接到很多其他的神经元。,每个结点,（node),有一个状态变量,xj,结点,i,到,j,的连接权为,每个结点有一个阀值,每个结点有一个变换函数,比如说,BP,网，也称,MLP，,即多层感知器，其网络结构为：,这是一种前馈型网络，,CMAC,也是一种前馈型网络，但是有点特别。,(,feedforward,network),另一种是反馈型网络,NN(neural network),的特点,单个神经元的处理速度，比计算机要慢很多。,大量,Neurons,并行处理,容错能力强，部分内容损坏，仍可工作。,BP,网的算法见,PP133-136,请大家考虑一个问题，即除输入层之外的其他层的每个节点的输出=？,误差如何反向传播?,6.4,BP,算法及推导,BP,其实就是,Error Back Propagation,BP,算法实质上是梯度法的一种应用结果,梯度法,考虑无约束问题，,其中函数,f(x),一阶连续可导。,梯度法就是在点,x,处以,f(x),的负梯度方向进行搜索的一种优化方法，其迭代公式,，,其中，,是从 出发的搜索方向，取最速下降方向,是步长,可按下式确定,但实际凭经验.,简单的,Delta,规则,设有,P,个样本对,对于输入,期望输出是,实际输出是 ,所以，,Delta,规则,其中，,I,i,i,i,o,o,o,O,训练用的性能指标为,带,隐含层的,BP,网,定理：,对于具有隐层的多层前馈网，当性能指标为,网络训练按下列公式进行,证明,采用,Sigmoid,激发函数的,BP,算法,1 置各权值和阈值的初值 为小的随机数,2 输入学习样本对 ，对各样本进行（3-5）,3 计算网络各层的输出,4 计算训练误差,5修正权值和阈值,momentum term,6 对所有样本训练后，指标是否满足精度要求？,满足：结束训练。否则，转到（2）继续训练。,(x1, x2) y,(0, 0) 0,(1, 0) 1,(0, 1) 1,(1, 1) 0,Y=|,sin(x,)|,Due May 28, 2002,