基于数学原理的神经网络不讲

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第八章 基于数学原理的神经网络,8.1,径向基函数RBF,8.1.1 基于径向基函数技术的函数逼近与内插,对于RBF网络工作原理的理解可基于2种不同的角度：,当用RBF网络解决,非线性映射,问题时，用,函数逼近与内插,的观点来理解；,当用RBF网络解决复杂的,模式分类,任务时，用,模式可分性,观点来理解。,1963年Davis提出高维空间的多变量插值理论。径向基函数是20世纪80年代后期Powell解决多变量有限点插值问题时引入的。,设,N,维空间有,P,个数据点,X,p,，,p,=1,2,P,，在输出空间相应的目标值为,d,p,，,p,=1,2,P,。插值问题是寻找一个非线性映射函数F(,X,)，使其满足下述插值条件,F(,X,p,)=,d,p,，,p,=1,2,P,(8.1),式中，函数F描述了一个插值曲面。,严格插值或精确插值,：是一种完全内插，即该插值曲面必须通过所有数据点。,选择,P,个基函数，每一个基函数对应一个训练数据，各基函数的形式为,p,=1,2,P,(8.2),基于径向基函数技术的插值函数定义为基函数的线性组合,(8.3),(8.4),令 ，,i,=1,2,P,，,p,=1,2,P,，则上述方程组可改写为,P,p,p,d,w,=,=,1,1,j,1p,M,P,p,p,d,w,=,=,2,1,j,2p,P,p,p,d,w,=,=,P,1,j,Pp,(8.5),令,表示元素为,ip,的,P,P,阶矩阵，,W,和,d,分别表示系数向量和期望输出向量，式(8.5)还可写成下面的向量形式,(8.6),式中,称为插值矩阵。若,为可逆矩阵，就可以从式(8.6)中解出系数向量,W,，即,(8.7),3种常见的径向基函数,(1)由于插值曲面必须通过所有训练数据点，当训练数据中存在噪声时，神经网络将拟合出一个错误的插值曲面，从而使其泛化能力下降。,(2)由于径向基函数的数量与训练样本数量相等，当训练样本数远远大于物理过程中固有的自由度时，插值矩阵求逆时可能导致不稳定。,8.1.2 正则化RBF网络,能够实现完全内插的输入-输出映射函数有很多，若输入-输出映射函数是光滑的，则问题的解是连续的，意味着,相似的输入对应着相似的输出,。,正则化理论表明，当映射函数,F(,X,)的基函数为Green函数时，可保证函数的光滑性。,Green函数的一个重要例子是多元Gauss函数，定义为,1、正则化RBF网络的结构与特点,正则化RBF网络,当采用正则化RBP网络结构时，隐节点数即样本数，基函数的数据中心即为样本本身，参数设计只需考虑,扩展常数,和输出节点的,权值,。,2、RBF网络常用学习算法,(1).,径向基函数的扩展常数,(2).输出层的权值,只要得到插值矩阵,，,即可由上式解出W。,将所有样本输入一遍，即可得到矩阵,。,8.1.3模式可分性观点与广义RBF网络,若,N,维输入样本空间的样本模式是线性可分的，总存在一个用线性方程描述的超平面，使两类线性可分样本截然分开。,若两类样本是非线性可分的，则不存在一个这样的分类超平面。但根据Cover定理，非线性可分问题可能通过非线性变换获得解决。,1、模式的可分性,Cover定理：,将复杂的模式分类问题非线性地投射到高维空间将比投射到低维空间更可能是线性可分的。,设有一组函数构成的向量 ，将,N,维空间的,P,个点映射到,M,维,空间(,M,N,)，如果在该,M,维,空间存在,M,维向量,W,，使得,则由线性方程,W,T,(,X,)=0确定了,M,维,空间中的一个分界超平面。,2、广义RBF网络,由于正则化网络的训练样本与“基函数”是一一对应的。当样本数,P,很大时，实现网络的计算量将大得惊人。为解决这一问题，可减少隐节点的个数，即,N,M,P,N,为,样本维数，,P,为样本个数，从而得到广义RBF网络。,广义RBF网络的基本思想是：,用径向基函数作为非线性变换函数，构成隐层空间。隐层对输入向量进行变换，将低维输入空间的模式变换到高维隐层空间内，使得在低维空间中线性不可分问题在高维空间中变得线性可分。,广义RBF网络,广义RBF网络与正则化RBF网络有以下几点不同：,径向基函数的数目,M,与样本数,P,不相等，且,MP,。,径向基函数的中心不再限于数据点，由训练算法确定。,各径向基函数的扩展常数不再统一，其值由训练算法确定。,输出函数的线性中包含阈值参数，用于补偿基函数在样本集上的平均值与目标值之平均值之间的差别。,3、广义RBF网络设计方法,根据数据中心的取值方法，RBF网的设计方法可分为两类。,第一类方法：,数据中心从样本输人中选取。一般来说，样本密集的地方中心点可以适当多些，样本稀疏的地方中心点可以少些；若数据本身是均匀分布的，中心点也可以均匀分布，总之，选出的数据中心应具有代表性。,第二类方法：,数据中心的自组织选择。常采用各种动态,聚类算法,对数据中心进行自组织选择，梯度训练方法、资源分配网络(RAN)法，等等。,K-means聚类算法确定数据中心,初始化。选择,M,个互不相同的向量作为初始聚类中心：。,计算输入空间各样本点与聚类中心点的欧式距离,4、广义RBF网络数据中心的聚类算法,相似匹配。令 代表竞争获胜隐节点的下标，对每一个输入样本 根据其与聚类中心的最小欧式距离确定其归类 ，即当,时，被归为第 类，从而将全部样本划分为,M,个子集：，每个子集构成一个以聚类中心为典型代表的聚类域。,更新各类的聚类中心。对各聚类域中的样本取均值，令U,j,(,k,)表示第,j,个聚类域，,N,j,为第,j,个聚类域中的样本数，则,将k值加1，转到第步。,重复上述过程直到的改变量小于要求的值。,各聚类中心确定后，可根据各中心之间的距离确定对应径向基函数的扩展常数。令,则扩展常数取,为重叠系数。,利用聚类算法得到各径向基函数的中心和扩展常数后，混合学习过程的第二步是用有监督学习算法得到输出层的权值。,最小均方算法,(LMS),伪逆法直接计算,梯度下降算法,隐层输出矩阵为,RBF网络的待定输出权值为,网络输出向量为,W,可用 的伪逆 求出,8.1.4 RBF网络与多层感知器的比较：,隐层数,隐层和输出层神经元模型,隐层和输出层激活函数,激活函数的自变量 基,全局逼近与局部逼近,