模糊模式识别方法介绍

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第4章 模糊模式识别方法,4.1 引言,1965年，Zadeh提出著名的模糊集理论,模糊集理论是对传统集合理论的一种推广，在传统集合理论中一个元素或者属于一个集合，或者不属于一个集合,而对于模糊集来说，每一个元素都是以一定的程度属于某个集合，也可以同时以不同的程度属于几个集合。,对人们现实生活中大量使用的一些含义确定但又不准确的语言表述，比如“今天天气很热”、“车速过高，需要适当踩刹车”等，模糊数学能够较好地表达。因此，模糊数学被很多人认为是解决很多人工智能问题尤其是常识性问题的最合适的数学工具.,模糊数学的几种不同的名称,一种叫法是模糊集，它是相对于经典的集合理论而言的；,一种是模糊逻辑，相对于传统的“是或者不是”的二值逻辑而言；,模糊数学则是一种更泛泛的叫法，更倾向于指从数学角度对模糊集和模糊逻辑的研究；,从应用的角度，很多人更习惯于用模糊系统的叫法，用来指采用了模糊数学的思想和理论的方法或系统，而其中采用的一些技术往往称作模糊技术和模糊方法。这些名词本身也具有很大的模糊性，但其实质都是同样的，因此没有必要追究它们的严格定义。,模糊技术应用,将模糊技术应用于各个不同的领域，就产生了一些新的学科分支,和人工神经网络相结合，就产生了所谓模糊神经网络。,应用到自动控制中，就产生了模糊控制技术和系统,应用到模式识别领域来，自然就是模糊模式识别。,从20世纪s0年代以来，在很多传统的控制问题中，模糊控制技术的应用取得了很好的效果尤其是一些国家在诸如地铁的模糊控制系统，洗衣机、电饭锅等的模糊控制等方面取得了成功的应用后，人们再次掀起了研究各种模糊技术的热潮。,模糊模式识别,模式识别从一开始就是模糊技术应用研究的一个活跃领域，一方面，人们针对一些模糊式识别问题设计了相应的模糊模式识别系统另一方面，对传统模式识别中的一些方法，人们用模糊数学对它们进行了很多改进。这些研究逐渐形成了模糊模式识别这新的学科分支。,4.2 模糊集的基本知识,隶属度函数 ：表示一个对象x隶属于集合A的程度的函数，通常记作,A,(X),其中,定义在空间 X=x上的隶属度函数就定义了一个模糊集合A,表示为,或,模糊集合,“开水”这一概念的模糊集与确定集,常见的隶属度函数形式,台阶型 三角形 梯形 高斯函数型,模糊集的运算,并,交,补：,模糊集合的荃本运算示意图,4.3 模糊特征和模糊分类,模糊模式识别就是在解决模式识别问题时引进模糊逻辑的方法或思想,模糊技术在统计模式识别和句法模式识别中均得到了较好的应用识别,本章只涉及模糊技术在统计模式识别方面的应用、模糊模式识别中的一些有代表险的方法和思想。,4.3.1模糊化特征,模糊特征是指根据一定的模糊化规则（通常根据具体应用领域的专门知识人为确定或经过试算确定）把原来的一个或几个特征变量分成多个模糊变量，使每个模糊变量表达原特征的某一局部特性，用这些新的模糊特征代替原来的特征进行模式识别。,1 of N编码（N分之一编码）,体重的1 of N编码,把原来的一个特征变为若干模糊特征的目的在于使新特征更好地反映问题的本质。,在很多清况下，用一个特征（比如体重）参与分类（比如判断是否患有某种可能导致体重变化的病），正确分类结果与这个特征之间可能是复杂的非线性关系,而如果根据有关知识适当地提取模糊特征，虽然特征数增多了，但却可能使分类结果与特征之间的关系线胜化，从而大大简化后面分类器的设计和提高分类器性能。如果我们对所提取的特征与要研究的分类问题之间的关系有一定的先验认识，则采用这种方法往往能取得很好的结果,4.3.2 结果的模糊化,模式识别中的分类就是把样本空间（或样本集）分成若干个子集，当然，我们可以用模糊子集的概念代替确定子集，从而得到模糊的分类结果，或者说使分类结果模糊化。,在模糊化的分类结果中，一个样本将不再属于每个确定的类别，而是以不同的程度属于各个类别，这种结果与原来明确的分类结果相比有两个显著的优点：一是在分类结果中可以反映出分类过程中的不确定性，有利于用户根据结果进行决策乡二是如果分类是多级的，即本系统的分类结果将与其他系统分类结果一起作为下一级分类决策的依据，则模糊化的分类结果通常更有利于下一级分类，因为模糊化的分类结果比明确的分类结果中包含更多的信息,如果训练样本中已知的类别标号就以模糊类的隶属度函数的形式给出，那么我们就需要对原有的模式识别方法进行改变，以适应这种模糊类别划分（如后面将要介绍的模糊k近邻法）。,本节介绍的结果的模糊化，专门指训练样本和分类器仍是确定性的，只是根据后续的需要把最终的输出分类结果进行模糊化。结果的模糊化并没有固定的方法，通常需要结合有关知识、根据所用的分类器进行设计，比如可以根据样本离类别中心的距离、离分类面的距离或与已知样本之间的某种相似胜度量、神经网络输出的相对大小等作为模糊化的依据,4.4 特征的模糊评价,特征选择和特征提取中的关键问题之一就是如何评价所得到的特征，使特征中更好地反映分类的信息。,模糊数学的发展为我们评价特征的性能提供了新的手段，它们是通过衡量模糊集的模糊程度来评价采用的特征对于分类的性能表现，即用这些特征将类别分开的难易程度,4.4.1 模糊程度的度量,1 模糊度,一个有n个支持点的模糊集A的模糊度(A）反映了它的模糊程度，是用它与最接近的确定集合又之间的距离来度量的：,其中d(A，,）是A与,之间的即离，而,只包含A中隶属度大于0.5的支持点。式中的k是为了使,(,A)的值在0.5到1之间，k的值根据采用的距离度量不同而不同。,采用广义汉明距离，则k=1，这样定义的(A)称作线性模糊度；,若采用欧氏距离，则k=2，此时(A)称作二次模糊度,2 熵,模糊集A的熵定义为,其中,模糊度和熵的性质,(1)如果对所有的x,i,，i=1,2，n，有有,A,(xi)=0或,A,(xi)=1，即A为确定集，则,(A)和H(A）都取其最小值0，此时模糊程度最小。,(2)如果对所有的x,i,，i=1,2，n，有,A,(xi)=0.5，则,(A)和H(A）都取其最大值1，此时模糊程度最大。,3度,隶属度函数中常用的形式是所谓S型函数和型函数，S型函数和型函数是两种光滑的隶属度函数形式。,如果隶属度函数是型函数G,(x,i,) ，则模糊集A的度定义为,S型隶属度函数,S型函数是一种从0到1单调增长的函数，通常可由a，b，c三个参数确定，Zadeh定义的标准S型隶属度函数是,其中，b=（a+c)/2，且在xi=b时隶属度函数等于0.5,型函数,指“中间高两边低”的函数，可以用S型函数定义标准型函数的定义是,其中，c=（aa）/2是中心点，,当xi=c时,A,(xi)=1；,b=(a+c)/2,b=（ca）/2，且当xi=b或xi=b时，,A,(xi)=0.5。,其它形式的S型函数和型函数,通过选择参数Fe和Fd及参考点Xn就可以实现S型函数和型函数,4.4.2 特征的模糊评价,通过模糊程度度量建立特征的评价指标的基本思想是：根据各类已知样本对每一个特征定义某种合理的隶属度函数，构造相应的模糊集，用它们的模糊程度作为特征的评价。,设N维特征空间Q中包含m个类别，每个类别分别有n,j,，j=1,2,m个样本。我们用x,qj,表示第j类中的第q维特征（注意与上面表示的不同），而用(x,qj,),av, (x,qj,),max, (x,qj,),min,表示它的均值、最大值和最小值。,1 用标准函数计算模糊度和熵,考虑用标准函数定义隶属度函数来分析第j类的第q个特征。为此，令,在这样的定义下，可以计算出对应于第j类第q个特征的模糊度和熵。,如果模糊度和熵越小，则表明该类中这一特征的取值比较集中，因此有利于分类；,反之如果模糊度和熵越大，则表明该类中这一特征取值比较分散，不利于分类。,因此，我们可以用这个模糊度和熵作为衡量这个特征对于该类分类的贡献的指标，模糊度和熵越小则特征性能分类越好。,在这个意义上，模糊度和熵的作用类似于类内离散度度量。,类似地，我们也可以用两类样本的某个特征在计算两类之间的模糊度和熵，它们越大，则表明两类分散度越大，越利于分类。从而可用作指标来衡量这个特征对于分开这两类的贡献，类似于类间离散度度量。,2 用标准S函数计算模糊度和熵,类似地，也可以用标准S型函数来定义隶属度函数，在此基础上计算第j类第q个特征的模糊度和熵。,这里只给出参数的选择方法：,采用S型函数得到的模糊度和熵与用型函数时正相反。,即当类内模糊度和熵的值大时分类性能好。当类间模糊度和熵的值小时分类性能好，它们相当于一种类内距离度量和类距离度量。,3、度的计算,计算第j类第q个特征的度可以用下面的参数：,4 综合评价指标,对于第q维特征，若把第j类和第k类的类内评价指标（如模糊度、熵或度）分别记为g,qj,和g,qk,，而把两类之间的同种的评价指标记作g,qjk,，可以定义下面的指标：,(a),(b),如果类内和类间指标为用型隶属度函数计算的模糊度或熵，则应采用式（a）的定义；,而如果类内和类间指标为用s性隶属度函数计算的模糊度或熵，或者采用度，则应采用式（b）的形式。,这样定义的指标越小，则该特征对于这两类分类的性能越好，,这些评价指标也只是一些可供选择的指标，必要时我们也可以针对具体问题的问题定义自己的新指标。,4.5 模糊聚类方法,4.5.1 模糊C均值算法,4.5.2 改进的模糊C均值算法,4.5.1 模糊C均值算法,C均值方法,使准则函数,最小,模糊C均值方法,将问题的有关符号重新规定如下：xi，i=1,2,n是n个样本组成的样本集合，c为预定的类别数目，m,i,i=1,2,c为每个聚类的中心，,j,(x,i,)是第i个样本对于第j类的隶属度函数。用隶属度函数定义的聚类损失函数可以写为,其中，b1是一个可以控制聚类结果的模糊程度的常数。,在不同的隶属度定义方法下最小化式J,f,的损失函数，就得到不同的模糊聚类方法。,其中最有代表性的是模糊c均值方法，它要求一个样本对于各个聚类的隶属度之和为1，即,在上述约束下求Jf的极小值，令Jf对mi和j（xi）的偏导数为。可得必要条件,(1),(2),算法步骤,设定聚类数目C和参数b,初始化各个聚类中心mi。,重复下面的运算，直到各个样本的隶属度值稳定：,用当前的聚类中心根据式（1）计算隶属度函数：,用当前的隶属度函数按式（2）更新计算各类聚类中心,当算法收敛时，就得到了各类的聚类中心和各个样本对于各类的隶属度值，从而完成了模糊聚类划分。如果需要，还可以将模糊聚类结果进行去模糊化，即用一定的规则把模糊聚类划分转化为确定性分类。,4.5.2改进的模糊C均值算法,在模糊C均值算法中，由于引入了的归一化条件，,在样本集不理想的情况下可能导致结果不好。,比如，如果某个野值样本远离各类的聚类中心，本来它严格属于各类的隶属度都很小，但由于归一化条件的要求，将会使它对各类都有较大的隶属度（比如两类倩况下各类的隶属度都是0.5)，这种野值的存在将影响迭代的最终结果。,改进,为了克服这种缺陷，人们提出了放松的归一化条件，使所有样本对各类的隶属度总和为n，即,在这个新的条件下，计算mi的式（1）仍不变，而式（2）则变成,算法步骤与模糊C均值算法相同 ，而隶属度则改为上式即可,显然，用改进的模糊C均值算法得到的隶属度值可能会大于1，因此并不是通常意义上的隶属度函数。必要时可以把最终得到的隶属度函数进行归一化处理，这时已不会影响聚类结果。如果结果要求进行去模糊化则可以直接用这里得到的隶属度函数进行。,改进的模糊C均值方法的缺点,改进的模糊C均值算法较上一小节的模糊c均值方法有更好的鲁棒性，不但可以在有野值存在的情况下得到较好的聚类结果，而且因为放松的隶属度条件，使最终聚类结果对预先确定的聚类数目不十分敏感。,但是，与确定胜C均值算法、模糊C均值算法一样，改进的模糊C均值算法仍然对聚类中心的初值十分敏感。为了得到较好的结果，可以用确定性C均值方法或普通模糊C均值方法的结果作为初值。,改进的模糊C均值方法的另一个缺点是，如果在迭代过程中出现某个聚类中心距离某个样本非常近，则最后可能会得到只包含这一个样本的聚类口为防止出现这种清况，可以对式（1227）中的距离运算加一个非线性处理，比如使距离最小不会小于某个值。,普通C均值、模糊C均值和改进的模糊C均值方法的对比实验,