RBF神经网络模型与学习算法

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,2.5,径向基函数神经网络模型与学习算法,概述,1985,年，,Powell,提出了多变量插值的径向基函数,(Radical Basis Function,，,RBF),方法,1988,年，,Moody,和,Darken,提出了一种神经网络结构，即,RBF,神经网络,RBF,网络是一种三层前向网络,RBF,网络的基本思想,用,RBF,作为隐单元的“基”构成隐含层空间，将输入矢量直接,(,即不需要通过权连接,),映射到隐空间,当,RBF,的中心点确定后，映射关系也就确定,隐含层空间到输出空间的映射是线性的,2.5.1 RBF,神经网络模型,径向基神经网络的神经元结构,激活函数采用径向基函数,以输入和权值向量之间的 距离作为自变量,2.5.1 RBF,神经网络模型,径向基神经网络结构,2.5.1 RBF,神经网络模型,RBF,网络与,BP,网络比较：,RBF,网络的输出是隐单元输出的线性加权和，学习速度加快,BP,网络使用,sigmoid(),函数作为激活函数，这样使得神经元有很大的输入可见区域,径向基神经网络使用径向基函数（一般使用高斯函数）作为激活函数，神经元输入空间区域很小，因此需要更多的径向基神经元,2.5.2 RBF,神经网络工作原理,RBF,的非线性分类能力是什么？,2.5.2 RBF,神经网络工作原理,空间,1,空间,2,不易解决问题 易解决问题,变换,空间,1,空间,2,线性不可分 线性可分,空间变换,2.5.2 RBF,神经网络工作原理,RBF,解决异或问题,2.5.2 RBF,神经网络工作原理,RBF,解决异或问题,2.5.2 RBF,神经网络工作原理,逼近任意曲线（,程序演示,）,2.5.2 RBF,网络的学习算法,学习算法需要求解的参数,径向基函数的中心,方差,隐含层到输出层的权值,学习方法分类（按,RBF,中心选取方法的不同分）,随机选取中心法,自组织选取中心法,有监督选取中心法,正交最小二乘法等,2.5.2 RBF,网络的学习算法,自组织选取中心学习方法,第一步，自组织学习阶段,无导师学习过程，求解隐含层基函数的中心与方差；,第二步，有导师学习阶段,求解隐含层到输出层之间的权值。,高斯函数作为径向基函数,2.5.2 RBF,网络的学习算法,网络的输出,(,网络结构如图,2-21,所示,),设,d,是样本的期望输出值，那么基函数的方差可表示为,:,2.5.2 RBF,网络的学习算法,自组织选取中心算法步骤,1.,基于,K-,均值聚类方法,求取基函数中心,（,1,）网络初始化。,随机选取 个训练样本作为聚类中心 。,（,2,）将输入的训练样本集合按最近邻规则分组。,按照 与中心为 之间的欧氏距离将 分配到输入样本的各个聚类集合 中。,（,3,）重新调整聚类中心。,计算各个聚类集合 中训练样本的平均值，即新的聚类中心 ，如果新的聚类中心不再发生变化，则所得到的即为,RBF,神经网络最终的基函数中心，否则返回（,2,），进入下一轮的中心求解。,2.5.2 RBF,网络的学习算法,2.,求解方差,RBF,神经网络的基函数为高斯函数时，方差可由下式求解：,式中 为中所选取中心之间的最大距离。,3.,计算隐含层和输出层之间的权值,隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下：,2.5.3 RBF,网络学习算法的,MATLAB,实现,函 数 名,功 能,newrb,(),新建一个径向基神经网络,newrbe,(),新建一个严格的径向基神经网络,newgrnn,(),新建一个广义回归径向基神经网络,newpnn,(),新建一个概率径向基神经网络,RBF,网络的,MATLAB,函数及功能,2.5.3 RBF,网络学习算法的,MATLAB,实现,newrb,(),功能,建立一个径向基神经网络,格式,net=,newrb(P,，,T,，,GOAL,，,SPREAD,，,MN,，,DF),说明,P,为输入向量，,T,为目标向量，,GOAL,为圴方误差，默认为,0,，,SPREAD,为径向基函数的分布密度，默认为,1,，,MN,为神经元的最大数目，,DF,为两次显示之间所添加的神经元神经元数目。,2.5.3 RBF,网络学习算法的,MATLAB,实现,newrbe,(),功能,建立一个严格的径向基神经网络,严格是指径向基神经网络的神经元的个数与输入值的个数相等。,格式,(1)net=,newrb(P,，,T,，,SPREAD),说明,各参数的含义见,Newrb,。,2.5.3 RBF,网络学习算法的,MATLAB,实现,例,2-4,建立一个径向基神经网络，对非线性函数,y=,sqrt(x,),进行逼近，并作出网络的逼近误差曲线。,2.5.3 RBF,网络学习算法的,MATLAB,实现,例,2-4,误差曲线和逼近曲线,程序演示,小结,背景,RBF,网络的基本思想,RBF,神经网络模型,RBF,神经网络工作原理,高斯函数,RBF,网络的学习算法,RBF,网络的,MATLAB,实现,RBF,网络的应用,