RBF神经网络教学课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,RBF,（径向基）神经网络,Keynote:,尤志强,1,RBF（径向基）神经网络 Keynote:尤志强 1,1,、,RBF,函数是为了解决多变量插值问题,2,、,RBF,神经网络是为了解决非线性可分模式分类问,题,2,1、RBF函数是为了解决多变量插值问题 2、RBF神经网络是,为什么要引入,RBF,神经网络？,3,为什么要引入RBF神经网络？3,优点,它具有唯一最佳逼近的特性，且无,BP,算法中存在的局部极小问题。,RBF,神经网络具有较强的输入和输出映射功能，并且理论证明在前向,网络中,RBF,网络是完成映射功能的最优网络。,网络连接权值与输出呈线性关系。,分类能力好。,学习过程收敛速度快。,4,优点 它具有唯一最佳逼近的特性，且无BP算法中存在的局,与,BP,神经网络的比较,Poggio,和,Girosi,已经证明：,RBF,网络是连续函数的最佳逼近，而,BP,网络不是。,BP,网络使用的,Sigmoid,函数具有全局特性，它在输入值的很大范围内,每个节点都对输出值产生影响，并且激励函数在输入值的很大范围,内相互重叠，因而相互影响，因此,BP,网络训练过程很长。,BP,网络容易陷入局部极小的问题不可能从根本上避免,BP,网络隐层节点数目的确定依赖于经验和试凑，很难得到最优网络。,RBF,不仅有良好的泛化能力，而且对于每个输入值，只有很少几个,节点具有非零激励值，因此只需很少部分节点及权值改变。,学习速度可以比通常的,BP,算法提高上千倍,容易适应新数据,5,与BP神经网络的比较 Poggio和Girosi已经证明：,RBF,神经网络是怎样的？,6,RBF神经网络是怎样的？6,RBF,神经网络概念,1,、,1985,年，,Powell,提出了多变量插值的径向基函数,(Radical Basis,Function,，,RBF),方法,2,、,1988,年，,Moody,和,Darken,提出了一种神经网络结构，即,RBF,神经,网络,3,、,RBF,网络是一种三层前向网络,4,、基于“,Cover,理论”,5,、用,RBF,作为隐单元的“基”构成隐含层空间，将输入矢量直接,(,即,不需要通过权连接,),映射到隐空间,；,当,RBF,的中心点确定后，映射关系也就确定；,隐含层空间到输出空间的映射是线性的,通过最小二乘估计来解给定的分类问题。,7,RBF神经网络概念 1、1985年，Powell提出了多变量,Cover,理论,定义：假设空间不是稠密分布的，将复杂的模式分类问题非线性地投射到高维空,间将比投射到低微空间更可能是线性可分的。,x=0,8,Cover理论 定义：假设空间不是稠密分布的，将复杂的模式分,Cover,理论在,RBF,网络中应用,考虑一族曲面，每一个曲面都自然地将输入空间分成两个区域。,用代表,N,个模式（向量）,x1,x2,xN,的集合，其中每一个模式都,分属于两个类,1,和,2,中的一类。如果在这一族曲面中存在一个曲面,能够将分别属于,1,和,2,的这些点分成两部分，我们就称这些点事二,分（二元划分）关于这族曲面是可分的。对于每一个模式,x,，定,义一个由一组实值函数,?,i,(x)|i=1,2,.m1,组成的向量，表示如下：,假设模式,x,是,m0,维输入空间的一个向量，则向量,9,Cover理论在RBF网络中应用 考虑一族曲面，每一个曲面都,Cover,理论在,RBF,网络中应用,一个关于,的二分,1,，,2,是可分的。那么存在一个,m1,维的向量,w,使得可以得到如下公,式（,Cover,，,1965,）：,那么所获得的超平面的逆像就是：,10,Cover理论在RBF网络中应用 一个关于 的二分1,总结：模式可分性的,cover,定理,1,、由,2,、高维数的隐藏空间，这里的高维数是相对于输入空间而言的。维数由赋给,m1,的值,（即隐藏单元的个数）决定。,3,、理论证明（,Nilsson,，,1965,）证明：隐藏空间的维数,m1,越高，则二分概率越趋向于,1,注意：虽然说将一个复杂的模式分类问题非线性地投射到高维数空间将会比投射到低维,数空间更可能线性可分。不过有时非线性映射就足够导致线性可分，而不必升高隐藏单,元空间维数,XOR,问题,11,总结：模式可分性的cover定理 1、由 2、高维数的隐藏,XOR,问题,R,2,(X),X,1,输入,径向基神经元,输出,0,0,0,0,1,0,0,0,1,1,1,1,y,x2,x1,2,1,2,2,1,1,2,2,1,(,),1,0,(,),0,x,x,R,x,e,R,x,e,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,X,2,R,1,(X),y,1,0.1353,0.3679,0.3679,R1(X),1,0,0,0.3679,1,0,0.3679,0,1,0.1353,1,1,R2(X),x2,x1,2,1,2,2,2,1,1,2,1,1,(,1),(,1),1,(,),0.3679,x,x,x,x,R,x,e,e,?,?,?,?,?,?,?,?,?,?,?,?,?,?,x,2,x,1,R(x,2,),R(x,1,),1,1,0,1,1,0,0.3679,0.1353,空间变换前,空间变换后,12,XOR问题 R2(X)X1输入径向基神经元输出000010,RBF,神经网络的插值问题,RBF,神经网络是基于,RBF,函数，,RBF,函数是解决多变量插值问题,首先了解下什么是插值问题？,13,RBF神经网络的插值问题 RBF神经网络是基于RBF函数，R,插值问题,在工程技术上，给出一批离散的点，要求作出一条通过这些点的光滑曲线，以满足设计,和加工的需要。反映在数学上，即已知函数在一些点的值，寻求它的分析表达式。,o,x,Y(x),P(x)=?,n,y,0,y,1,y,2,y,i,y,n,x,0,x,1,x,2,x,i,n,y,14,插值问题 在工程技术上，给出一批离散的点，要求作出一条通过这,插值问题,一,是在选定近似函数,H(x),后，,不要求它们通过已知样点,，只要求,在某种意义下它在这些样点的总偏差最小,-,曲线拟合法,。,二,是给出函数,f(x),的一些样点值，选定某些便于计算的函数，要求它们,通过已知样点,，由此确定函数,H(x),为,f(x),的近似值,-,插值法,;,15,插值问题 一是在选定近似函数H(x)后，不要求它们通过,RBF,神经网络结构,这个网络,实现从输入空间到隐藏,空间的一个非线性映射，随后从隐,藏空间到输出空间是线性映射。,16,RBF神经网络结构 这个网络,实现从输入空间到隐藏空间的一个,RBF,中的插值问题,在,RBF,中是如何通过插值方法进行网路的训练呢？,首先假设我们有,N,个,m0,维向量，那么我们就确定了输入层节点有,m0,个。相当于一个从,m0,维输入空间到一维输出空间的映射，可以写成,如下形式：,可以将映射,S,看成一个超曲面,这样，该插值问题可以描述如下：,给定一个包含,N,个不同点的集合,和相应的,N,个实数的一个集合,，寻找一个函数,F,：,满足下述插值条件：,F(Xi)=di,i=1,2,.N,17,RBF中的插值问题 在RBF中是如何通过插值方法进行网路的训,径向基函数技术就是要选择一个函数,F,具有下列形式：,RBF,中的插值问题,其中,18,径向基函数技术就是要选择一个函数F具有下列形式：RBF中的,那么综合以上的公式，我们可以得到在径向基网络（输入参数有,N,个，隐藏层有,N,个,节点，输出层有一个节点）中我们可以得到以下的线性方程：,RBF,中的插值问题,向量,d,表示期望响应向量，,w,表示线性权值向量，,N,是训练样本的长度,用,?,表示左边,那么该式就可以转换为：,?,w=x,这里的,?,必须为非奇异矩阵，,因此存在。这样就可以解出,权值向量,w,，表示为：,W=x,19,那么综合以上的公式，我们可以得到在径向基网络（输入参数有N个,RBF,中的插值问题,这里有个关键问题：怎么能保证插值矩阵,?,是非奇异的？,涉及到,Micchelli,定理（,1986,）：,如果,是中,N,个互不相同的点的集合，则,N X N,阶的插值矩阵,?,是,非奇异的。,在径向基函数网络中有重要地位的函数主要有三个，满足,Micchelli,定理,针对这,3,个径向基函数，,只要保证输入点,Xi,互不相,同即可满足插值矩阵非,奇异的全部要求。与所,给样本的长度,N,和向量,Xi,的维数无关。,20,RBF中的插值问题 这里有个关键问题：怎么能保证插值矩阵?,理论部分结束！,径向基神经网络实际上是,如何工作的？,21,理论部分结束！径向基神经网络实际上是如何工作的？21,径向基神经网络,首先我们构造径向基网络：,1,、输入层，由,m0,个源节点组成，其中,m0,是输入向量,X,的维数。,2,、隐藏层，理论上一般是选择和训练样本大小,N,相同个数的计算单元组成（但实际上，如果,使隐藏层具有和输入样本个数相同的大小可能导致计算资源的浪费，尤其是处理大规模训练,样本时。由于训练样本中可能存在固有冗余，所以隐藏层的大小是训练样本大小的一部分是,一个比较好的实践，这里我们选择,K,），每个单元的径向基函数选择高斯函数来描述,:,?,?,?,?,?,?,?,?,?,?,?,2,2,|,|,2,1,exp,),(,i,k,i,i,k,X,X,X,X,?,?,这里向量,X,k,表示作用于输入层的信号模式，,Xi,表示第,i,个隐藏层节点的径向基函数中的中心。,很显然它和多层感知器有着不同之处，源节点和隐藏单元的连接是直接连接，没有权值。,3,、输出层，对输出层的大小没有限制，一般情况下，输出层比隐藏层的大小要小得多。我,们这里就选择一个输出节点。,22,径向基神经网络 首先我们构造径向基网络：1、输入层，由m0,径向基神经网络,这样我们就获得了这个,RBF,网络实现的逼近函数具有以下的数学形式：,其中输入向量,x,的维数是,m0,（输入层的大小），每个隐藏单元由径向基函数。,23,径向基神经网络 这样我们就获得了这个RBF网络实现的逼近函数,针对每一个径向基函数中,的中心如何确定？以及,?,?,?,?,?,?,?,?,?,?,?,2,2,|,|,2,1,exp,),(,i,k,i,i,k,X,X,X,X,?,?,24,针对每一个径向基函数中的中心如何确定？以及?,K-means,均值聚类,聚类是非监督学习的一种形式，它将一个观测集（即数据点）划分到自然组或者模式聚类。聚,类的途径是测量分配给每个聚类的观测对之间的相似性以最小化一个指定的代价函数。,之所以要选择,K,均值聚类，,K-means,对输入的信号,x,应用了非线性变换，因为其不相似测度,是对于给定的聚类中心而言关于输入信号,x,的非线性函数。而且其完全满足隐藏层维数足够高,的要求,令,表示一个用于划分到,K,个聚类的多维观测集。其中,K,小于观测数,N,。,代价函数，迭代到代价函数最小化或者聚类分配上没有进一步的变化为止。,在,K-means,算法中，欧几里得范数的平方用于定义在观测,x,和中心之间的相似性度量。,25,K-means均值聚类 聚类是非监督学习的一种形式，它将一个,K-means,均值聚类,1,、从,D,中随机取,k,个元素，作为,k,个簇的各自,的中心。,2,、分别计算剩下的元素到,k,个簇中心的相异,度，将这些元素分别划归到相异度最低的簇。,3,、根据聚类结果，重新计算,k,个簇各自的中,心，计算方法是取簇中所有元素各自维度的算,术平均数。,4,、将,D,中全部元素按照新的中心重新聚类。,5,、重复第,4,步，直到聚类结果不再变化。,6,、将结果输出。,这里的,uj,就是相应的中心，而，这