机械故障诊断2

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,Page,129,故障诊断与分类,机械故障诊断的基本过程,聚类分析：原理,已知各状态下的机器的特征向量样本,k,j,=(x,1j, x,2j, x,nj,), j=1,2,N,求得各状态下特征点的聚类中心，将这些聚类中心的特征向量K,1, K,2, K,m,作为标准模式。,对待检的某台机器，其特征向量为K,T, 分别计算它到各聚类中心的距离d(K,T, K,j,), j=1,2,m。,按最临近原则来确定待检机器的状态。,状态识别过程,状态D,1,状态D,2,状态D,m,待检状态D,T,特征向量 ,最邻近原则D,T,D,b,d,b,=mind(K,b,K,j,),j=1,2,m,K,1,K,2,K,m,K,T,状态识别,距离函数,距离函数：分类器,Distance function: Classifier,空间距离Space Distance,相似性指标Similarity Index,信息距离Information Distance,空间距离Space Distance,欧氏距离Euclidean distance,马哈劳林比斯距离 Mahalauobias distance,明考斯基距离 Minkowski distance,欧氏距离Euclidean distance,欧氏距离,加权欧氏距离,马哈劳林比斯距离,加权欧氏距离中的权矩阵：根据对诊断起作用的大小，给特征向量中各参数加不同的权重。,马哈劳林比斯距离是加权欧氏距离中用得较广泛的一种。,R,j,为K,T,和 K,j,的协方差矩阵，V,rs,为X,r,X,s,的互协方差。,D,M,不但对各参数加了权，而且可消除参数之间相关影响。,明考斯基距离 Minkowski distance,简称明氏距离，也称为广义距离，记为：,Q=1 时，称为绝对距离：,Q=2 时，即为欧氏距离：,时，称为切比雪夫距离：,信息距离,Kullback - Leibler 信息距离,Itakura 信息距离,标准,模,模式,的,的确,定,定,确定,标,标准,模,模式,（,（聚,类,类中,心,心）,方,方法,：,：设,第,第p,类,类状,态,态的,特,特征,点,点有N,p,个，,它,它们,为,为：,X,ij,(p),i=1,n,j=1N,p,p=1m,i:,第i,个,个参,数,数，j:,第,第p,类,类,状,状态,中,中第j,个,个,特,特征,点,点。,取,取,样,样本,点,点集,的,的重,心,心。,相似,性,性指,标,标,角度,相,相似,性,性指,标,标：,相关,系,系数,：,：,主分,量,量分,析,析PrincipalcomponentAnalysis,用较,少,少的,特,特征,参,参数,来,来表,征,征一,个,个系,统,统。,例：,特,特征,向,向量,有,有分,量,量x,1,、x,2,，并,有,有N,个,个样,本,本点,，,，,x,11,x,12,x,1N,;x,21,x,22,x,2N,X,1,y,2,y,1,X,2,要寻,找,找新,的,的坐,标,标系y,1,y,2,使原,来,来的,点,点集,对,对y,1,的分,散,散性,最,最大,，,，即,表,表达,了,了最,多,多的,分,分类,信,信息,。,。就,可,可能,用,用一,个,个参,数,数y,1,代替,原,原来,的,的参,数,数x,1,、x,2,。,主分,量,量分,析,析：,坐,坐标,变,变换,作线,性,性变,换,换：,变,变换,前,前先,零,零均,值,值化,。,。,一般,地,地，,对,对m,维,维特,征,征向,量,量作,线,线性,变,变换,：,：,C,x,和C,y,为X,和,和Y,的,的协,方,方差,矩,矩阵,。,。,主分,量,量分,析,析：,求,求协,方,方差,矩,矩阵,特,特征,值,值,选择,适,适当,的,的A,使C,y,协方,差,差矩,阵,阵对,角,角化,，,，即Y的,各,各分,量,量,线性,独,独立,。,。,主分,量,量分,析,析：,特,特征,抽,抽取,从m,个,个主,分,分量,中,中选,取,取p,个,个较,大,大的,分,分量,，,，pm,。,。,特征,抽,抽取,后,后的,信,信息,保,保存,度,度为,：,：,主分,量,量分,析,析：,例,例,特征,向,向量X的,协,协方,差,差矩,阵,阵,主分,量,量分,析,析：,从,从C,X,求转,换,换矩,阵,阵和,主,主分,量,量,由协,方,方差,矩,矩阵C,x,的特,征,征向,量,量组,成,成转,换,换矩,阵,阵A,由协,方,方差,矩,矩阵C,x,求主,分,分量,：,：,因为C,x,和C,y,为对,称,称阵,，,，矩,阵,阵A,为,为正,交,交矩,阵,阵，,C,y,=AC,x,为相,似,似变,换,换，C,x,和C,y,有相,同,同的,秩,秩和,相,相同,的,的特,征,征值,。,。所,以,以可,从,从C,X,求C,y,的主,分,分量,。,。,Fisher,线,线性,判,判别,函,函数,Fisher,准,准则,的,的基,本,本原,理,理，,就,就是,要,要找,到,到一,个,个最,合,合适,的,的投,影,影轴,，,，使,两,两类,样,样本,在,在该,轴,轴上,投,投影,的,的交,迭,迭部,分,分最,少,少，,从,从而,使,使分,类,类效,果,果为,最,最佳,。,。,基本,思,思路,分析w,1,方向,之,之所,以,以比w,2,方向,优,优越,，,，可,以,以归,纳,纳出,这,这样,一,一个,准,准则,，,，即,向,向量W的,方,方向,选,选择,应,应能,使,使两,类,类样,本,本投,影,影的,均,均值,之,之差,尽,尽可,能,能大,些,些，,而,而使,类,类内,样,样本,的,的离,散,散程,度,度尽,可,可能,小,小。,这,这就,是,是Fisher准,则,则函,数,数的,基,基本,思,思路,。,。,要求,类,类间,距,距离,大,大，,类,类内,分,分布,散,散度,小,小,。,两,类，Fisher,准,准则,函,函数,为,为,多,类，Fisher,准,准则,函,函数,为,为,在一,维,维空,间,间,(1),各,各类,样,样本,均,均值,(2),样,样本,类,类内,离,离散,度,度,和,和,总,总类,内,内离,散,散度,使用Fisher,准,准则,求,求最,佳,佳法,线,线向,量,量的,解,解,基本,思,思想,：,：通过,选,选用,合,合适,的,的核,函,函数,作,作为,非,非线,性,性映,射,射函,数,数，,就,就可,以,以将,输,输入,空,空间,中,中的,线,线性,不,不可,分,分问,题,题转,化,化为,高,高维,特,特征,空,空间,中,中的,线,线性,可,可分,问,问题,。,。,核方法,的,的理论,基,基础,核方法,的,的基本,原,原理,线,线性核,函,函数,d,阶多项,式,式核函,数,数,高,高斯径,向,向基(RBF)核函,数,数,常用的,核,核函数,一个分,类,类问题,实,实例,特征空,间,间中的,最,最优分,类,类面,核方法,的,的独特,思,思路,核方法,使,使用了,与,与传统,方,方法完,全,全不同,的,的思路,，,，不是,像,像传统,方,方法那,样,样首先,试,试图将,原,原输入,空,空间降,维,维（即,特,特征选,择,择和特,征,征变换,）,），而,是,是设法,将,将输入,空,空间升,维,维，以,求,求在高,维,维特征,空,空间中,问,问题变,得,得线性,可,可分（,或,或接近,线,线性可,分,分）；,由,由于升,维,维后只,是,是改变,了,了内积,运,运算，,并,并没有,使,使算法,复,复杂性,随,随着维,数,数增加,而,而增加,，,，而且,在,在高维,空,空间中,的,的推广,能,能力并,不,不受维,数,数影响,，,，因此,这,这种方,法,法是可,行,行的。,基于核,函,函数主,元,元分析,的,的机械,故,故障特,征,征提取,主元分,析,析是一种,基,基于线,性,性相关,的,的特征,提,提取方,法,法，难,于,于处理,不,不同模,式,式类别,与,与特征,向,向量间,的,的随机,关,关联问,题,题 。,而且输,入,入变量,的,的变化,往,往往会,改,改变主,元,元特征,值,值的结,果,果，对,于,于模式,类,类别具,有,有复杂,边,边界的,情,情况，,特,特征提,取,取计算,复,复杂。,机械运,行,行中出,现,现的故,障,障往往,呈,呈现出,非,非线性,行,行为，,需,需要利,用,用非线,性,性主元,分,分析分,析,析故障,信,信号,。,核函数,主,主元分,析,析,B.Sch,lkopf,等,等人在,研,研究支,持,持向量,分,分类算,法,法时提,出,出的一,种,种非线,性,性主元,方,方法。,与,与其他,非,非线性,主,主元分,析,析方法,相,相比，,它,它不需,要,要具体,的,的非线,性,性优化,问,问题，,而,而只需,要,要解决,矩,矩阵特,征,征值问,题,题。通,过,过选取,不,不同核,函,函数可,以,以得到,不,不同的,非,非线性,特,特征；,与,与传统,的,的主元,分,分析相,比,比，这,一,一方法,更,更适于,提,提取数,据,据的非,线,线性特,征,征。,核函数,主,主元分,析,析(,KPCA),的实质,KPCA,就是对,特,特征空,间,间中的,映,映射数,据,据做主,元,元分析,。,。,它能更,好,好地反,映,映数据,的,的结构,。,。,KPCA在齿,轮,轮箱故,障,障特征,提,提取中,的,的应用,齿轮箱,不,不同状,态,态时的,时,时域信,号,号波形,齿轮箱,正,正常与,裂,裂纹状,态,态的功,率,率谱,利用KPCA,检,检测齿,轮,轮裂纹,故,故障,KPCA对齿,轮,轮箱三,种,种工作,状,状态的,分,分类识,别,别,KPCA相对,于,于PCA的优,点,点,核函数,主,主元分,析,析保持,了,了主元,分,分析的,优,优点，,它,它在主,元,元子空,间,间自动,地,地按照,各,各个特,征,征对故,障,障的敏,感,感程度,进,进行排,序,序，根,据,据主元,的,的贡献,率,率可以,有,有直观,的,的解释,；,；利用,在,在原始,空,空间中,的,的内积,运,运算实,现,现原始,特,特征的,非,非线性,映,映射，,求,求取原,始,始特征,集,集的非,线,线性主,元,元，而,无,无需考,虑,虑这一,映,映射的,具,具体形,式,式，这,样,样即使,变,变换空,间,间维数,增,增加很,多,多，但,求,求解分,类,类问题,却,却没有,增,增加计,算,算复杂,度,度。试,验,验结果,表,表明，,与,与传统,的,的线性,主,主元分,析,析方法,相,相比，,核,核函数,主,主元分,析,析对于,机,机械故,障,障的非,线,线性特,征,征更为,敏,敏感，,更,更适于,非,非线性,数,数据的,处,处理,。,基于核,的,的判别,分,分析KDA,在特征,空,空间中,，,，定义,总,总类内,离,离散度,由,由样本,自,自协差,阵,阵,来,来,度,度量，,类,类间离,散,散度由,各,各类样,本,本的互,相,相关矩,阵,阵B来,度,度量，,参,参考Fisher判,别,别准则,，,，类判,别,别准则,函,函数可,写,写为,setosa,versicolor,virginica,Iris数据,的,的非线,性,性不可,分,分现象,Iris数据,的,的分类,LDA分类,结,结果,KPCA与KDA分,类,类结果(多项,式,式核函,数,数),KPCA与KDA分,类,类结果(RBF核函,数,数),风机不,同,同状态,下,下的轴,心,心轨迹,图,图,KPCA与KDA用,于,于风机,状,状态识,别,别,齿轮不,同,同状态,的,的时域,信,信号,KPCA与KDA用,于,于齿轮,故,故障模,式,式分类,KDA,与,与KPCA的,联,联系,两者的,出,出发点,不,不同，KPCA是为,了,了捕捉,数,数据的,内,内部结,构,构，它,尽,尽可能,的,的以非,线,线性方,式,式降低,样,样本的,维,维数，,以,以利于,数,数据的,展,展开，,数,数据展,开,开是指,对,对于某,一,一类中,的,的输入,样,样本数,据,据用较,少,少的特,征,征进行,压,压缩，,使,使得在,特,特征空,间,间中数,据,据所蕴,含,含的信,息,息损失,最,最小。KDA,是,是从分,类,类的目,的,的出发,提,提取特,征,征，可,称,称为判,别,别特征,，,，以使,不,不同类,别,别之间,的,的样本,尽,尽可能,被,被分开,，,，同类,样,样本尽,可,可能凝,聚,聚。,KPCA是解,决,决非线,性,性特征,提,提取问,题,题的一,个,个非常,有,有用的,工,工具，,可,可用于,无,无监督,学,学习。,而,而基于,核,核的判,别,别分析(KDA)借,助,助核方,法,法提取,非,非线性,特,特征的,同,同时考,虑,虑了分,类,类的需,要,要，属,于,于监督,式,式学习,，,，因此,可,可以得,到,到更好,的,的分类,效,效果,。,。,模糊诊,断,断原理,设备的,特,特征和,状,状态有,某,某种不,确,确定性,：,：即偶,然,然性和,模,模糊性,。,。偶然,性,性可用,概,概率论,方,方法解,决,决，模,糊,糊性要,用,用模糊,集,集合论,方,方法解,决,决。,模糊性,：,：区分,或,或评价,客,客观事,物,物差异,的,的不分,明,明性。,例如机,器,器的特,征,征“振,动,动大”,、,、“回,转,转频率,成,成分大,”,”，机,器,器的状,态,态“轴,不,不对中,”,”、“,偏,偏心大,”,”、“,磨,磨损严,重,重”等,都,都是模,糊,糊的概,念,念。,由逻辑,诊,诊断扩,展,展为模,糊,糊诊断,：,：逻辑,诊,诊断中,用,用一个,阈,阈值x,0,区分两,种,种状态,，,，,则,则为,振,振动大,。,。成绩,大,大于等,于,于60,分,分为及,格,格，59分就,不,不及格,。,。,模糊逻,辑,辑将二,值,值逻辑,扩,扩展为多值或连续值逻辑。,隶属度,函,函数Membership function,模糊逻,辑,辑将0,1,二,二值逻,辑,辑扩展,为,为0,1,区,区间中,任,任意值,的,的连续,逻,逻辑。,此,此时特,征,征函数,就,就叫做,隶,隶属度,函,函数,(x),，,对所论,的,的特征K,叫,叫,做,做x对K的隶,属,属度。,x,0,x,K(x),1,0,隶属度函数,(x),0,1,二值逻辑,连续逻辑,二值逻,辑,辑的特,征,征函数,是,是隶属,度,度函数,的,的特例,，,，隶属,度,度函数,是,是二值,特,特征函,数,数的推,广,广。,隶属,度,度和,概,概率,的,的区,别,别,隶属,度,度：,认,认定,客,客观,事,事物,具,具有,某,某种,特,特征,或,或状,态,态的,可,可能,度,度。,概率,：,：事,件,件（,出,出现,某,某种,特,特征,或,或状,态,态）,客,客观,发,发生,的,的机,会,会。,例：,某,某类,机,机器,根,根据,油,油中,磨,磨粒,的,的多,少,少来,判,判断,其,其磨,损,损的,状,状态,：,：,磨损,率,率x,（,（,毫,毫克/小,时,时）,在,在各,个,个区,间,间时,的,的隶,属,属度,和,和概,率,率如,下,下,常用,的,的隶,属,属度,函,函数,升（,降,降）,半,半矩,形,形分,布,布,升（,降,降）,半,半正,态,态分,布,布,升（,降,降）,半,半梯,形,形分,布,布,升（,降,降）,半,半柯,西,西分,布,布,(x),x,1,0,a,a,(x),x,1,0,(x),x,1,0,a,(x),x,1,0,a,2,a,1,常用,的,的隶,属,属度,函,函数,升（,降,降）,半,半指,数,数分,布,布,升（,降,降）,半,半凹,凸,凸分,布,布,(x),x,1,0,a,a,(x),x,1,0,0.5,隶属,度,度函,数,数与,近,近似,的,的多,值,值逻,辑,辑函,数,数,很差,(x),x,1,0,较差,一般,较好,很好,模糊,关,关系,方,方程,设备,的,的模,糊,糊特,征,征向,量,量：K=K,1,K,2,K,n,设备,的,的模,糊,糊状,态,态向,量,量：D=D,1,D,2,D,m,D,i,的隶,属,属度,函,函数,为,为,i=1,2,m,K,j,的隶,属,属度,函,函数,为,为,j=1,2,n,模糊,关,关系,方,方程:,模糊,关,关系,矩,矩阵,模糊,关,关系,矩,矩阵R表,示,示故,障,障原,因,因和,特,特征,之,之间,的,的因,果,果关,系,系，,有,有,表,表,示,示特,征,征K,j,对状,态,态D,i,的权,（,（贡,献,献）,因,因子,。,。,广义,模,模糊,算,算子,为广,义,义模,糊,糊算,子,子，,按,按其,含,含义,不,不同,分,分为,：,：,最大,最,最小,法,法：,概率,算,算子,法,法：,权矩,阵,阵法,：,：,最大,最,最小,法,法,合成,运,运算,算,算子,也,也,称,称最,大,大最,小,小算,子,子。,其,其运,算,算法,则,则为,：,：,对两,个,个模,糊,糊向,量,量X=x,1,x,2,x,n,、Y=y,1,y,2,y,n,其中,，,，,简写,为,为,最大,最,最小,法,法中,模,模糊,关,关系,方,方程,为,为,最大,最,最小,法,法,算,算例,已知,：,：,作合,成,成运,算,算：,概率,算,算子,法,法,最大,最,最小,法,法突,出,出了,主,主要,因,因素,，,，不,能,能反,映,映次,要,要因,素,素队,诊,诊断,故,故障,的,的作,用,用。,概,概率,算,算子,法,法能,综,综合,考,考虑,各,各因,素,素的,影,影响,。,。,概率,算,算子,运,运算,法,法则,：,：,比较,概,概率,计,计算,公,公式,：,：,与以,上,上形,式,式完,全,全相,同,同，,这,这是,概,概率,算,算子,法,法名,称,称的,来,来源,。,。,概率,算,算子,法,法的,模,模糊,关,关系,方,方程,：,：,权矩,阵,阵法,归一,化,化条,件,件：,算例,比,比较,用特,征,征参,数,数K,1,K,2,来诊,断,断故,障,障D1时,，,，R,11,=0.8,R,12,=0.6,K1,(,x,1,)=0.7,K2,(,x,2,)=0.5,概率,算,算子,法,法:,权矩,阵,阵法,：,：,归一,化,化,最大,最,最小,法,法：,模糊,诊,诊断,实,实例,FUZZYDIAGNOSISEXAMPLE,三级,齿,齿轮,减,减速,器,器（,Gearreductionbox),：,模糊,特,特征,变,变量,k1peakvalue,k3impulsefactor,k2kurtosisvalue,k4energyinmeshfrequency,k5energyinrotatingfrequency,k6energyincepstrum(T=1/fn),模糊,状,状态,变,变量,d1toothbreak,d2pitcherrorofgear,d3toothsurfacewear,d4eccentricityofgear,隶属,度,度函,数,数M,embershipfunction,升（,降,降）,半,半凹,凸,凸分,布,布,j=1,2,3,.,6,(x),x,1,0,a,j,模糊,关,关系,矩,矩阵,FuzzyrelationshipmatrixR,各根,轴,轴的,模,模糊,特,特征,向,向量,的,的隶,属,属度,：,：,k,(L1),=0.2,0.8,0.5,0.2,0.2,0.4,k,(L2),=0.0,0.4,0.0,0.2,0.0,0.1,k,(L3),=0.0,0.2,0.0,0.4,0.0,0.2,用最,大,大最,小,小法,进,进行,诊,诊断,6,di,(y,i,)=,(R,ij,kj,(x,j,),j=1,e.g.foraxisL1:,d1,(y,i,)=(0.2,0.2),(1.0,0.8),(1.0,0.5),(0.4,0.2),(0.4,0.2),(0.4,0.4),=0.2,0.8,0.5,0.2,0.2,0.4=0.8,d,(L1),=0.8,0.5,0.5,0.2,d,(L2),=0.4,0.4,0.4,0.2,d,(L3),=0.4,0.4,0.4,0.2,From,d1,(L1),(y,1,)=0.8wecanconclude:,toothbreakonaxisL1occurs,遗传,算,算法,遗传,算,算法,的,的描,述,述,例子,：,为四,个,个连,锁,锁饭,店,店寻,找,找最,好,好的,经,经营,决,决策,，,，其,中,中一,个,个经,营,营饭,店,店的,决,决策,包,包括,要,要做,出,出以,下,下三,项,项决,定,定：,（1,）,）价,格,格汉堡,包,包的,价,价格,应,应该,定,定在50,美,美分,还,还是1美,元,元？,（2,）,）饮,料,料和汉,堡,堡包,一,一起,供,供应,的,的应,该,该是,酒,酒还,是,是可,乐,乐？,（3,）,）服,务,务速,度,度饭店,应,应该,提,提供,慢,慢的,还,还是,快,快的,服,服务,？,？,目的,：,：,找到,这,这三,个,个决,定,定的,组,组合,以,以产,生,生最,高,高的,利,利润,。,。,上述,问,问题,的,的表,示,示方,案,案：,串长,(,l,3,）,）,字,字母,表,表规,模,模（k,2,）,）,映,映,射,射,共有8种,表,表示,方,方案,用遗,传,传算,法,法解,这,这个,问,问题,的,的第,一,一步,就,就是,选,选取,一,一个,适,适当,的,的表,示,示方,案,案。,饭店,问,问题,的,的表,示,示方,案,案（,其,其中,的,的4,个,个）,群体,规,规模N4,初始,群,群体,中,中经,营,营决,策,策的,适,适应,值,值,一个,简,简单,的,的遗,传,传算,法,法由,复,复制,、,、杂,交,交、,变,变异,三,三个,算,算子,组,组成,使用复制,算,算子后产,生,生的,交,交配,池,池,1.复制,算,算子：采,用,用赌,盘,盘选,择,择,2.杂交,算,算子：采,用,用一,点,点杂,交,交,作用,过,过程,：,：a,）,）产,生,生一,个,个在1到,l,1,之,之间,的,的随,机,机数i,b）,配,配对,的,的两,个,个串,相,相互,对,对应,的,的交,换,换从i1到,l,的位,段,段,例如,：,：从,交,交配,池,池中,选,选择,编,编号,为,为1,和,和2,的,的串,进,进行,配,配对,，,，且,杂,杂交,点,点选,在,在2,（,（用,分,分隔,符,符,|,表示,）,），,杂,杂交,算,算子,作,作用,的,的结,果,果为,：,：,01,|,1010,11,|,0111,对交,配,配池,中,中指,定,定百,分,分比,的,的个,体,体应,用,用杂,交,交算,子,子，,假,假设,杂,杂交,概,概率p,c,50,，,，交,配,配池,中,中余,下,下的50,个,体,体仅,进,进行,复,复制,运,运算,，,，即,复,复制,概,概率p,r,50,。,。,使用复制,和,和杂,交,交算,子,子的作,用,用结,果,果,遗传,算,算法,利,利用,复,复制,和,和杂,交,交算,子,子可,以,以产,生,生具,有,有更,高,高平,均,均适,应,应值,和,和更,好,好个,体,体的,群,群体,3.变异,算,算子：,以一,个,个很,小,小的,概,概率p,m,随机,改,改变,染,染色,体,体串,上,上的,某,某些,位,位。,对于,二,二进,制,制串,，,，就,是,是将,相,相应,位,位上,的,的0,变,变为1或,将,将1,变,变为0。,例如,：,：选,交,交配,池,池中,编,编号,为,为4,的,的串,进,进行,变,变异,，,，且,变,变异,点,点在2，,则,则,010000,变异,算,算子,相,相对,而,而言,，,，是,次,次要,算,算子,，,，但,在,在恢,复,复群,体,体中,失,失去,的,的多,样,样性,方,方面,具,具有,潜,潜在,的,的作,用,用。,上述,遗,遗传,算,算法,描,描述,了,了从,第,第0,代,代产,生,生第1代,的,的过,程,程，,然,然后,遗,遗传,算,算法,迭,迭代,地,地执,行,行这,个,个过,程,程，,直,直到,满,满足,某,某个,停,停止,准,准则,。,。在,每,每一,代,代中,，,，算,法,法首,先,先计,算,算群,体,体中,每,每个,个,个体,地,地适,应,应值,，,，然,后,后利,用,用适,应,应值,信,信息,，,，遗,传,传算,法,法分,别,别以,概,概率p,c,、p,r,和p,m,执行,杂,杂交,、,、复,制,制和,变,变异,操,操作,，,，从,而,而产,生,生新,的,的群,体,体。,应用,遗,遗传,算,算法,求,求解,问,问题,需,需完,成,成四,个,个主,要,要步,骤,骤：,1.,确,确定,表,表示,方,方案,2.,确,确定,适,适应,值,值度,量,量,3.,确,确,定,定,控,控,制,制,算,算,法,法,的,的,参,参,数,数,和,和,变,变,量,量,4.,确,确,定,定,指,指,定,定,结,结,果,果,的,的,方,方,法,法,和,和,停,停,止,止,运,运,行,行,的,的,准,准,则,则,基,本,本,遗,遗,传,传,算,算,法,法,的,的,构,构,成,成,要,要,素,素,1.,染,染,色,色,体,体,编,编,码,码,方,方,法,法,最,常,常,用,用,的,的,是,是,二,二,进,进,制,制,编,编,码,码,，,，,对,对,于,于,离,离,散,散,性,性,变,变,量,量,直,直,接,接,编,编,码,码,，,，,对,对,于,于,连,连,续,续,性,性,变,变,量,量,先,先,离,离,散,散,化,化,后,后,再,再,编,编,码,码,2.,适,适,应,应,度,度,函,函,数,数,评,估,估,函,函,数,数,用,用,来,来,评,评,估,估,一,一,个,个,染,染,色,色,体,体,的,的,优,优,劣,劣,的,的,绝,绝,对,对,值,值,适,应,应,度,度,函,函,数,数,评,评,估,估,一,一,个,个,染,染,色,色,体,体,相,相,对,对,整,整,个,个,群,群,体,体,的,的,优,优,劣,劣,的,的,相,相,对,对,值,值,的,的,大,大,小,小,3.,遗,遗,传,传,算,算,子,子,复,制,制,算,算,子,子,、,、,交,交,叉,叉,算,算,子,子,、,、,变,变,异,异,算,算,子,子,4.,基,基,本,本,遗,遗,传,传,算,算,法,法,运,运,行,行,参,参,数,数,N,：,：,群,群,体,体,大,大,小,小,，,，,即,即,群,群,体,体,中,中,所,所,含,含,个,个,体,体,的,的,数,数,量,量,，,，,一,一,般,般,取,取20,100,T,：,：,遗,遗,传,传,算,算,法,法,的,的,终,终,止,止,进,进,化,化,代,代,数,数,，,，,一,一,般,般,取,取100,500,p,c,：,杂,杂,交,交,概,概,率,率,，,，,一,一,般,般,取,取0.4,0.99,p,m,：,变,变,异,异,概,概,率,率,，,，,一,一,般,般,取,取0.0001,0.1,p,r,：,复,复,制,制,概,概,率,率,基,本,本,遗,遗,传,传,算,算,法,法,的,的,一,一,般,般,框,框,架,架,算,法,法,过,过,程,程,：,：,1.,随,随,机,机,产,产,生,生,一,一,个,个,由,由,确,确,定,定,长,长,度,度,的,的,特,特,征,征,串,串,组,组,成,成,的,的,初,初,始,始,群,群,体,体,2.,对,对,串,串,群,群,体,体,迭,迭,代,代,地,地,执,执,行,行,下,下,面,面,的,的,步,步,（,（i,）,）,和,和,步,步,（,（ii,）,）,，,，,直,直,到,到,满,满,足,足,停,停,止,止,准,准,则,则,：,：,（i,）,）,计,计,算,算,群,群,体,体,中,中,每,每,个,个,个,个,体,体,的,的,适,适,应,应,值,值,（ii,）,）,应,应,用,用,复,复,制,制,、,、,杂,杂,交,交,和,和,变,变,异,异,算,算,子,子,产,产,生,生,下,下,一,一,代,代,群,群,体,体,3.,把,把,在,在,任,任,一,一,代,代,中,中,出,出,现,现,地,地,最,最,好,好,地,地,个,个,体,体,串,串,指,指,定,定,为,为,遗,遗,传,传,算,算,法,法,的,的,执,执,行,行,结,结,果,果,，,，,这,这,个,个,结,结,果,果,可,可,以,以,表,表,示,示,问,问,题,题,的,的,一,一,个,个,解,解,（,（,或,或,近,近,似,似,解,解,）,）,GEN0,产生初始群体,是否满足停止准则,指定结果,结 束,计算每个个体的适应值,i0,iN ？,以概率选择遗传算子,GENGEN1,选择一个个体,选择两个个体,选择一个个体,执行复制,ii1,执行变异,复制到新群体,执行杂交,插入到新群体,将两个子代串插入到新群体,ii1,是,否,是,否,p,r,p,c,p,m,GEN当前代数,N群体规模,遗,传,传,算,算,法,法,的,的,基,基,本,本,实,实,现,现,技,技,术,术,1.,编,编,码,码,方,方,法,法,：,：,编,码,码,规,规,则,则,：,：,i,）,）,应,应,使,使,用,用,能,能,易,易,于,于,产,产,生,生,与,与,所,所,求,求,问,问,题,题,相,相,关,关,的,的,且,且,具,具,有,有,低,低,阶,阶,、,、,短,短,定,定,义,义,长,长,度,度,模,模,式,式,的,的,编,编,码,码,方,方,案,案,ii）应,使,使用能使,问,问题得到,自,自然表示,或,或描述的,具,具有最小,编,编码字符,集,集的编码,方,方案,2.适应,值,值函数,适应值函,数,数必须是,正,正数，出,现,现负数时,应,应进行变,换,换，常用,变,变换方式,有,有三种：,线性比例,法,法：g（x）af（x,）,）b( b,大,大于0),指数比例,法,法： g,（,（x）exp(a f(x)，(a不等,于,于0),幂指数比,例,例法：g（x）, (f(x),a,(a为偶,数,数),3.复制,算,算子：,赌盘选择,、,、余数随,机,机选择、,全,全局随机,选,选择,4.杂交,算,算子：,一点杂交,、,、两点杂,交,交、一致,杂,杂交,5.变异,算,算子,遗传算法,的,的特点,1.直接,对,对结构对,象,象操作，,不,不存在求,导,导和函数,连,连续性的,限,限定；,2.遗传,算,算法不是,从,从单个点,，,，而是从,一,一个点地,群,群体开始,搜,搜索；,3.具有,内,内在的隐,并,并行性和,较,较好的全,局,局寻优能,力,力；,4.采用,概,概率化寻,优,优方法，,能,能自动获,取,取搜索过,程,程中的有,关,关知识并,用,用于指导,优,优化，自,适,适应地调,整,整搜索方,向,向，不需,要,要确定地,规,规则；,5.鲁棒,性,性,遗传编程GeneticProgramming,美国斯坦,佛,佛大学的Koza,在,在遗传算,法,法基础上,提,提出了用,层,层次化的,计,计算机程,序,序来表达,问,问题的遗,传,传编程方,法,法。,遗传规划,的,的基本思,想,想是:随,机,机产生一,个,个适用于,所,所给问题,环,环境的初,始,始种群,即,即搜索空,间,间,种群,中,中的每个,个,个体为树,状,状结构,计,计算每个,个,个体的适,应,应值;依,据,据优胜劣,汰,汰原则,选,选择遗传,算,算子(复,制,制、交叉,、,、变异等)对种群,不,不断进行,迭,迭代优化,直到在,某,某一代上,找,找到最优,解,解或近似,最,最优解,。,遗传,编程应用,步,步骤,在实际应,用,用中，遗,传,传编程需,要,要五个主,要,要的准备,步,步骤：,字符集，,是,是表示树,的,的树叶；,函数或运,算,算符集，,是,是表示树,的,的节点；,适合度计,算,算；,运行参数,的,的控制；,运行结果,的,的设计方,法,法和终止,程,程序运行,的,的标准。,遗传操作,遗传编程,有,有三个主,要,要的操作,：,：复制、,杂,杂交和变,异,异。,1)复制,复,复制,操,操作的目,的,的是为了,从,从当前群,体,体中选出,优,优良的个,体,体，使它,们,们有机会,作,作为父代,繁,繁殖下一,代,代。判断,个,个体优良,与,与否的准,则,则就是各,自,自的适合,度,度。根据,达,达尔文适,者,者生存的,进,进化原则,，,，个体的,适,适合度越,高,高，被选,择,择复制的,机,机会就越,大,大。通过,选,选择复制,，,，提高了,群,群体的平,均,均适合度,。,。适合度,的,的几种选,择,择方法中,，,，最基本,也,也是最常,用,用的赌轮,选,选择法。,遗传操作,2)杂交,杂,杂交,的,的目的是,为,为了增加,群,群体中的,新,新个体，,从,从而扩大,了,了群体的,搜,搜索空间,，,，使算法,的,的搜索能,力,力得以迅,速,速提高。,遗,遗传编程,的,的杂交操,作,作涉及到,子,子树结构,的,的拆合。,3)变异,变,变异,是,是遗传编,程,程中的次,要,要算子，,主,主要是为,了,了维持群,体,体的多样,性,性,变异,概,概率取值,一,一般比较,小,小。,在遗传编,程,程中，有,两,两种变异,方,方式：运,算,算符变异,和,和终端符,变,变异。,Xn1=,plus(minus(minus(X4,X2),X5),minus(plus(X2,plus(X1,X7),plus(times(X1,X2),X4),Xn2=mysqrt(plus(X3,minus(plus(minus(X7,X3),plus(plus(X6,X6),X1),X3),人工神经,网,网络,生物神经,元,元,神经元是,大,大脑处理,信,信息的基,本,本单元,人脑大约,由,由10,11,个神经元,组,组成，神,经,经元互相,连,连接成神,经,经网络,神经元以,细,细胞体为,主,主体，由,许,许多向周,围,围延伸的,不,不规则树,枝,枝状纤维,构,构成的神,经,经细胞，,其,其形状很,像,像一棵枯,树,树的枝干,主要由细,胞,胞体、树,突,突、轴突,和,和突触(Synapse，,又,又称神经,键,键)组成,生物神经,元,元示意图,突触的信,息,息处理,生物神经,元,元传递信,息,息的过程,为,为多输入,、,单输出,神经元各,组,组成部分,的,的功能来,看,看，信息,的,的处理与,传,传递主要,发,发生在突,触,触附近,当神经元,细,细胞体通,过,过轴突传,到,到突触前,膜,膜的脉冲,幅,幅度达到,一,一定强度,，,，即超过,其,其阈值电,位,位后，突,触,触前膜将,向,向突触间,隙,隙释放神,经,经传递的,化,化学物质,突触有两,种,种类型，,兴,兴奋性突,触,触和抑制,性,性突触。,前,前者产生,正,正突触后,电,电位，后,者,者产生负,突,突触后电,位,位,人工神经,网,网络结构,人工神经,网,网络,人工神经,元,元模型,常见响应,函,函数,人工神经,网,网络典型,结,结构,人工神经,网,网络,直观理解,神经网络,是,是一个并,行,行和分布,式,式的信息,处,处理网络,结,结构,它一般由,大,大量神经,元,元组成,每个神经,元,元只有一,个,个输出，,可,可以连接,到,到很多其,他,他的神经,元,元,每个神经,元,元输入有,多,多个连接,通,通道，每,个,个连接通,道,道对应于,一,一个连接,权,权系数,通用模型,求和操作,响应函数,人工神经,元,元模型,人工神经,元,元模型,响应函数,的,的基本作,用,用,控制输入,对,对输出的,激,激活作用,对输入、,输,输出进行,函,函数转换,将可能无,限,限域的输,入,入变换成,指,指定的有,限,限范围内,的,的输出,(a)阈值,单,单元,(b)线,性,性单元,(c)Sigmoid函,数,数,(d)非,线,线性单元,：,：,常见神经,元,元响应函,数,数,常见神经,元,元响应函,数,数,人工神经,元,元的响应,函,函数,神经元的,模,模型确定,之,之后，一,个,个神经网,络,络的特性,及,及能力主,要,要取决于,网,网络的拓,扑,扑结构及,学,学习方法,人工神经,网,网络连接,的,的几种基,本,本形式,前向网络(a),从输出到,输,输入有反,馈,馈的前向,网,网络 (b),用来存储,某,某种模式,序,序列,层内互连,前,前向网络(c),限制层内,同,同时动作,的,的神经元,；,；分组功,能,能,相互结合,型,型网络(d),人工神经,网,网络典型,结,结构,神经,网络,的典型结,构,构,权值确定,Hebb,学,学习规则,误差校正,（,（纠错）,学,学习规则,相近（无,教,教师）学,习,习规则,神经网络,基,基本学习,算,算法,人工神经,网,网络连接,权,权的确定,通,通常有两,种,种方法,根据具体,要,要求，直,接,接计算，,如,如Hopfield网络作,优,优化计算,通过学习,得,得到的。,大,大多数人,工,工神经网,络,络都采用,这,这种方法,学习方法,是,是人工神,经,经网络研,究,究中的核,心,心问题,权值确定,Donall Hebb根,据,据生理学,中,中条件反,射,射机理，,于,于1949年提出,的,的神经元,连,连接强度,变,变化的规,则,则,如果两个,神,神经元同,时,时兴奋(,即,即同时被,激,激活)，,则,则它们之,间,间的突触,连,连接加强,a为学习,速,速率，Vi, Vj为神经,元,元i和j,的,的输出,Hebb,学,学习规则,是,是人工神,经,经网络学,习,习的基本,规,规则，几,乎,乎所有神,经,经网络的,学,学习规则,都,都可以看,作,作Hebb学习规,则,则的变形,Hebb,学,学习规则,用已知样,本,本作为教,师,师对网络,进,进行学习,学习规则,可,可由二次,误,误差函数,的,的梯度法,导,导出,误差校正,学,学习规则,实,实际上是,一,一种梯度,方,方法,不能保证,得,得到全局,最,最优解,要求大量,训,训练样本,，,，收敛速,度,度慢,对样本地,表,表示次序,变,变化比较,敏,敏感,误差校正,规,规则,无教师学,习,习规则,这类学习,不,不在于寻,找,找一个特,殊,殊映射的,表,表示，而,是,是将事件,空,空间分类,为,为输入活,动,动区域，,并,并有选择,地,地对这些,区,区域响应,，,，从而调,整,整参数一,反,反映观察,事,事件的分,部,部,输入可以,是,是连续值,，,，对噪声,有,有较强地,抗,抗干扰能,力,力,对较少输,入,入样本，,结,结果可能,要,要依赖于,输,输入序列,在ART,、,、Kohonen,等,等自组织,竞,竞争型网,络,络中采用,三层,BP,神经网络,的,的结构,局限,在网络参,数,数的学习,过,过程中,由,由于学习,样,样本有限,常常出,现,现网络过,学,学习的现,象,象,即网,络,络学习性,能,能指标函,数,数达到最,小,小值后并,不,不能保证,网,网络对未,知,知样本有,较,较好的预,测,测和推广,能,能力.,统,计,计,学,学,习,习,理,理,论,论,支,持,持,向,向,量,量,机,机,统,计,计,学,学,习,习,理,理,论,论,是,是,针,针,对,对,小,小,样,样,本,本,统,统,计,计,估,估,计,计,和,和,预,预,测,测,学,学,习,习,的,的,最,最,佳,佳,理,理,论,论,理,论,论,上,上,研,研,究,究,了,了,经,经,验,验,风,风,险,险,最,最,小,小,化,化,原,原,则,则,成,成,立,立,的,的,条,条,件,件,，,，,经,经,验,验,风,风,险,险,最,最,小,小,化,化,原,原,则,则,下,下,统,统,计,计,学,学,习,习,一,一,致,致,性,性,的,的,条,条,件,件,；,；,有,限,限,样,样,本,本,条,条,件,件,下,下,经,经,验,验,风,风,险,险,与,与,期,期,望,望,风,风,险,险,的,的,关,关,系,系,分,类,类,器,器,的,的,泛,泛,化,化,能,能,力,力,一,个,个,泛,泛,化,化,能,能,力,力,很,很,差,差,的,的,分,分,类,类,器,器,：,：,相,对,对,于,于,训,训,练,练,样,样,本,本,的,的,数,数,量,量,，,，,特,特,征,征,的,的,维,维,数,数,太,太,大,大,（,（,维,维,数,数,危,危,机,机,问,问,题,题,）,）,与,分,分,类,类,器,器,相,相,关,关,联,联,的,的,未,未,知,知,参,参,数,数,太,太,大,大,；,；,分,类,类,器,器,优,优,化,化,过,过,于,于,依,依,赖,赖,于,于,训,训,练,练,样,样,本,本,（,（,过,过,训,训,练,练,问,问,题,题,）,）,泛,化,化,能,能,力,力,的,的,重,重,要,要,性,性,识,别,别,系,系,统,统,鲁,鲁,棒,棒,性,性,统,计,计,学,学,习,习,理,理,论,论,60,年,年,代,代,提,提,出,出,，,，,利,利,用,用,有,有,限,限,样,样,本,本,对,对,非,非,参,参,数,数,（,（,无,无,分,分,布,布,）,）,关,关,系,系,估,估,计,计,的,的,理,理,论,论,；,；,统,计,计,学,学,习,习,理,理,论,论,原,原,是,是,基,基,于,于,对,对,经,经,验,验,风,风,险,险,最,最,小,小,ERM,准,则,则,的,的,分,分,析,析,ERM,是,是,基,基,于,于,最,最,小,小,训,训,练,练,误,误,差,差,估,估,计,计,算,算,法,法,；,；,VC,理,理,论,论,导,导,出,出ERM,准,准,则,则,一,一,致,致,性,性,和,和,快,快,速,速,收,收,敛,敛,充,充,要,要,条,条,件,件,这,这,些,些,条,条,件,件,（,（,及,及VC,理,理,论,论,的,的,大,大,多,多,数,数,结,结,果,果,）,）,和,和,分,分,布,布,无,无,关,关,；,；,用,结,结,构,构,风,风,险,险,最,最,小,小SRM,准,准,则,则,代,代,替,替ERM,准,准,则,则,于,于,统,统,计,计,学,学,习,习,算,算,法,法,，,，SRM,最,最,小,小,化,化,泛,泛,化,化,误,误,差,差,导,导,上,上,界,界,，,，,代,代,替,替ERM,最,最,小,小,化,化,训,训,练,练,数,数,据,据,误,误,差,差,。,。,统,计,计,学,学,习,习,理,理,论,论,在,应,应,用,用,于,于,有,有,限,限,训,训,练,练,样,样,本,本,学,学,习,习,成,成,功,功,的,的,泛,泛,化,化,利,用,用VC,维,维,作,作,为,为,逼,逼,近,近,函,函,数,数,集,集,合,合,复,复,杂,杂,性,性,（,（,容,容,量,量,）,）,的,的,测,测,度,度,，,，,代,代,替,替,古,古,典,典,理,理,论,论,的,的,参,参,数,数,数,数,目,目,或,或,自,自,由,由,度,度,；,；,在,最,最,简,简,单,单,线,线,性,性,模,模,型,型,情,情,况,况,，,，VC,维,维,与,与,自,自,由,由,参,参,数,数,的,的,数,数,目,目,相,相,一,一,致,致,，,，,而,而,非,非,线,线,性,性,估,估,计,计,器,器,的,的VC,维,维,与,与,参,参,数,数,数,数,目,目,不,不,同,同,；,；,SVM,支,支,持,持,向,向,量,量,机,机,方,方,法,法,能,能,够,够,利,利,用,用,有,有,限,限,高,高,维,维,数,数,据,据,达,达,到,到,高,高,水,水,平,平,泛,泛,化,化,；,；,SVM,应,应,用,用,成,成,功,功,证,证,明,明,发,发,展,展,基,基,于,于VC,理,理,论,论,的,的,结,结,构,构,学,学,习,习,方,方,法,法,的,的,潜,潜,在,在,优,优,势,势,，,，,推,推,动,动,了,了,统,统,计,计,学,学,习,习,理,理,论,论,的,的,实,实,际,际,应,应,用,用,。,。,故,障,障,分,分,类,类,中,中,的,的,学,学,习,习,问,问,题,题,每,一,一,个,个,学,学,习,习,样,样,本,本,Z,，,观,测,测,矢,矢,量,量,其,相,相,应,应,的,的,“,“,真,真,实,实,性,性,”,”,标,标,记,记,损,失,失,函,函,数,数,可,可,表,表,示,示,为,为,，,，,概,率,率,分,分,布,布,表,表,示,示,为,为,，,，,学,习,习,问,问,题,题,是,是,从,从,给,给,定,定,指,指,示,示,函,函,数,数,集,集,中,中,选,选,择,择,出,出,能,能,够,够,最,最,佳,佳,预,预,测,测,监,监,督,督,者,者,响,响,应,应,者,者,，,，,使,使,风,风,险,险,函,函,数,数,最,最,小,小,化,化,，,，,损,失,失,函,函,数,数,为,为,，,，,经,验,验,风,风,险,险,及,及,经,经,验,验,风,风,险,险,最,最,小,小,化,化,原,原,则,则,经,验,验,风,风,险,险,最,最,小,小,化,化,ERM,准,则,则,定,定,义,义,如,如,下,下,:,用,基,基,于,于,训,训,练,练,样,样,本,本,集,集,的,的,经,经,验,验,风,风,险,险,函,函,数,数,代,代,替,替,风,风,险,险,函,函,数,数,：,：,用,将,将,经,经,验,验,风,风,险,险,最,最,小,小,化,化,的,的,函,函,数,数,代,代,替,替,使,使,风,风,险,险,最,最,小,小,化,化,的,的,逼,逼,近,近,函,函,数,数,用,最,最,小,小,平,平,方,方,误,误,差,差,损,损,失,失,函,函,数,数,，,，,则,则,最,最,小,小,经,经,验,验,风,风,险,险,函,函,数,数,为,为,指,示,示,函,函,数,数,集,集,合,合,的,的,VC,维,指,示,示,函,函,数,数,集,集,合,合,的,的,VC,维,是,是,利,利,用,用,函,函,数,数,集,集,中,中,的,的,函,函,数,数,的,的,所,所,有,有,可,可,能,能,种,种,的,的,方,方,式,式,，,，,能,能,够,够,被,被,分,分,割,割,为,为,两,两,类,类,的,的,向,向,量,量,的,的,最,最,大,大,数,数,h,如存,在,在一,组,组n,个,个任,意,意向,量,量集,合,合，,能,能被,一,一组,函,函数,集,集打,散,散，,其,其VC维,等,等于,无,无限,。,。,指示,函,函数,集,集合,的,的VC维,（,（而,不,不是,参,参数,的,的数,目,目）,是,是关,系,系着,学,学习,机,机的,泛,泛化,能,能力,。,。据,此,此，,可,可以,有,有机,会,会克,服,服“,维,维数,危,危机,”,”，,和,和很,好,好的,泛,泛化,能,能力,（,（具,有,有很,大,大数,量,量的,参,参数,但,但却,有,有小