模式识别(第十二章2010)(精品)

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第十二章 模糊模式识别方法,基础：模糊集理论,传统集合论的推广：模糊集,集合理论,模糊逻辑,二值逻辑,模糊集理论：,对客观事物,更合理,的抽象和描述,。,模糊,也是一种,不确定性,模糊数学：,从,数学角度,研究模糊集与模糊逻辑。,模糊数学可应用于很多领域，将其用于模式识别，则形成了,模糊模式识别,12.2,模糊集的基本知识,模糊集,（,Fussy Set,）,：,由,隶属度函数,u,A,(x,),描述或定义的。其自变量是,所有可能属于,集合,A,的对象。,隶属度函数：,表征元素,x,隶属于集合,A,的,程度,，,用,u,A,(x,),表示,u,A,(x,),取值：,0,，,1,（完全不属于,A,）,（完全属于,A,）,u,A,(x,),越接近,1,，表示,x,属于,A,的程度,越高,，,u,A,(x,),越接近,0,则,x,属于,A,的程度,越低,。,模糊集,可表示为：,或：,空间,X,中，的样本集合,称为模糊集,A,的支持集,S(A),支持集中的元素称作,A,的元素。,显然,确定集可看作模糊集的,特例,的情况,例,1,5,个学生，其中男生,3,人，女生,2,人。,A,1,、,A,2,分别表示男女生集合,，则,显然，,A,1,、,A,2,分界分明。,但当构成一个表示“,有才干的学生,”的集合时，传统集合难以应用，这是可,对每个,元素确定一个数，表示隶属程度,例,2,有,1,、,2,、,3,、,4,、,5,五个数，用模糊集表示,“大的数”和“小的数”,，适当选取隶属度，则有,例,3,：用水的温度表示“开水”,用模糊集表示,更合理,，更接近日常理解,传统集合（确定集合）,模糊集,（模糊集的,不确定性是人脑对客观事物的一种主观反映，,人的心理过程就是,其隶属函数形成的基本过程,。）,确定隶属度函数的方法：（非常重要）,1,）根据个人经验和认识,（,专家确定法,）：,比较适合于,元素离散、有限的情况,2,）选用典型函数：,已有公认的对客观事物真实而本质化的“指标”，,可直接采用,这些指标描述问题的不确定性,例：,S,形、,形隶属函数,p278,可采用常见的,模糊分布：,矩形分布、,分布、正态分布、梯形分布、三角分布等,3,）根据,统计特性,得到的经验曲线：,应用较广泛的方法,模糊集运算,：,1,）,相等：,2,）,包含：,B,是,A,的子集,3,）,并,隶属函数：,隶属函数：,也定义为：,A,的补：,A,的隶属函数：,图,12.3,：,模糊函数的基本运算,12.2,模糊特征和模糊分类,一、特征模糊化（即特征的变换）,将原特征,模糊特征；明确分类,模糊分类,由于类别（本质）和特征（表象）之间可能存在较复杂的,非线性关系,，直接利用特征分类识别，必然,效果不佳或方法复杂。,为使关系更直接、简单，可,将原来特征值域分成若干部分,，并且使各部分特征含义做,更本质的变换,，于是,特征模糊化。,例：将,-4,，,4,间的连续变化量转化为模糊量：,正大、正小，零、负小、负大,首先可将,4,，,-4,离散化，,4,对应“正大”的隶属度为,1,。隶属函数若采用三角函数，则可得不同模糊量的隶属度,-4,-3,-2,-1,0,1,2,3,4,正大,0,0,0,0,0,0,0.3,0.6,1.0,正小,0,0,0,0,0.3,0.6,1.0,0.6,0.3,零,0,0,0.3,0.6,1.0,0.6,0.3,0,0,负小,0.3,0.6,1,0.6,0.3,0,0,0,0,负大,1.0,0.6,0.3,0,0,0,0,0,0,当读入精确量,3.2,时，可归入最近的离散值,3,，则有,将精确量转化为模糊量。,特征模糊化：,用这些,新的模糊特征代替原来的特征进行模式识别,。,例：针对人的体重分类,特征：,体重,可分为：,偏轻，中等，偏重,三个模糊特征,按照一定的模糊规律，把原来的,一个或多个特征分为多个模糊变量,，同时,配以,一定的,隶属函数,，使其每个模糊变量表达原来特征的,某一局部特性,，这些新特征能,更好反映目标的本质,，,提高分类器性能,。,可选用图,12.4,的函数表示,隶属函数,如：,x=75kg,u,中等,0.5,u,偏重,0.5,x=72kg,u,中等,0.8,u,偏重,0.2,缺点：,特征维数增加,体重,(1,维,),轻、中、重（,3,维）,优点：,准确性增加,尽管特征数增多了，却可使分类结果与特征之间的,关系线性化,，达到,更好的分类效果,。,原特征,变为,模糊特征，能,更好,反映问题的,本质,二、结果的模糊化,分类是把样本集合分成若干子集，,用模糊子集代替，得到模糊的分类结果，,即,分类结果模糊化。,样本,不再是明确,的,属于,每个确定的,类别,，而是以,不同程度属于,各个类别,，即：,以一定的,隶属度属于,各个类别,。因此,更真实,，具有,更多信息,。,例：针对某一区域,则隶属程度为：,模糊子集,A,为：,表示圆块这一模糊概念,优点：,1,）,分类结果,比较真实,的反映了分类的不确定性，利于决策,；,2,）当,分类是,多级,时，有利于下一级分类,（因为模糊的分类结果,保留了更多的信息,）,模糊分类的三个主要步骤：,1,、,特征提取：,将原来普通意义上的特征值变为模糊特征，即从样本集,中，提取各种模糊特征量,；,2,、建立,x,属于,A,的,隶属度函数,：,建立一个明确算法以产生隶属函数,u,A,，,u,A,的确定没有普遍的原则，带有主观性、经验性。,或 建立元素之间的,模糊相似关系,，并确定这个关系的隶属函数，即,相关程度,；,3,、确定归属准则,进行,分类识别,模糊分类：使用模糊技术分类，其结果,不再使一个样本明确地属于,某一类或不属于某一类，而是,以一定的隶属度属于各个类别,，结果,更真实,，具有,更多的信息,。,识别基本方法：,最小距离原则（择近原则）；,最大隶属原则,。,去模糊化：,在此基础上，再按某种,归属原则,对,x,进行判决，,指出属哪一类,。,12.5,模糊聚类方法,FCM,算法就是在迭代寻优过程中，,不断更新各类中心及隶属度的值，,直到下列,准则函数最小化,模糊,C,均值算法（,FCM,）,设样本集：,欲分成,c,类,为每个聚类中心,表示第,i,个样本对于第,j,类的,隶属函数,定义准则函数：,即：要求每一个样本,x,i,属于各类的程度,总和为,1,与隶属函数有关的聚类准则函数,其中,b1,，可,控制,聚类结果的,模糊程度,（权重）,问题：,怎样确定,m,i,和,？,约束条件,利用,拉格朗日乘子法，求,J,f,的极值,，得：,4,、,比较更新前后的准则函数,，以确定更新是否保持。,若,J,f,变化较大，重复,3,、,4,的过程，直到,J,f,不变为止。,FCM,算法步骤,：,1,、,确定,聚类数目,c,和参数,b,2,、,初始化,各聚类中心,m,i,，即代表点。（很敏感）,3,、,用迭代算法，,更新,m,i,以,及,(i),用当前的聚类中心，计算新的隶属函数,(ii),用当前新的隶属函数更新各类的聚类中心,当算法收敛后，得到各类的聚类中心和,样本属于各类的隶属度值，,完成了,模糊聚类划分,。,即每个样本以一定的隶属度属于各个类别。,去模糊化,：,模糊结果转化为确定性分类,方法,1,：,择近原则,方法,2,：,最大隶属原则,所有样本对各类的,隶属度总和为,n,改进的模糊,C,均值法：,对于,野值点样本,，属于各类的,隶属度,都应该,很小，,但由于 的归一化要求，即，,使其对各类都,有较大的隶属度,（例两类,u,A,(x,)=0.5,），因此野值点将,影响迭代,的最终结果，为此,放松归一化条件：,计算,的公式不变，而,计算式则为,对,m,i,初值仍十分敏感,，可,采用确定性,C,均值法,或普通的,模糊,C,均值法,的结果作为,初值,。,改进的,FCM,其中：,A,i,表示一个模糊样本类,w,i,分类结果的确定性,：,（去模糊化）,1,）,择近原则,2,）,最大隶属原则,对于给定的,x,，若有隶属度为：,则判,x,归属于,A,i,所代表的类，即,例：若,x,属于体重偏轻类,A,i,，,有对应的,某种疾病类。,作为该病的一个判别指标。,3,）,阈值原则：,规定一个,阈值,0,1,，,作为停止条件,则判,令：,若,a,，,则比较,与,的大小,若有,k,个,即：,例：若,A,1,、,A,2,分别代表身高为,高、中等,，,当,则,x,是,中高个,解释图,12.5,a),第一种数据分布：三种方法效果相同,b,）第二种数据分布：分类有一定重叠，,改进的模糊,C,均值法,效果好些,c,）第三种数据分布：两类完全重叠。图中看出，,改进的模糊,C,均值法,能合理给出比预设数目少的聚类,三种方法比较,解释图,12.6,实际的,c=4,设定的,c,3,可见,改进的模糊,C,均值法,能正确给出,3,个聚类中心,12.4,特征的模糊评价,如何评价所得到的特征,用模糊集的,模糊程度,评价特征对于分类性能的表现,1,、模糊程度的度量,度量一个模糊集的模糊程度很重要，可从,总体上反映各元素属于或不属于一个集合的明确性。,u,A,(x,),越接近,1,或,0,越不模糊，越接近,0.5,越模糊,（,1,）,距离模糊度：,刻画了一个模糊集的,整体,模糊程度。,其中,n,是集合,A,中，,u,A,(x,)0,的,点的个数,，即,支持点数目。,是包含,A,中,u,A,(x,)0.5,的支持点,是,A,与,之间的距离,k,是一个调节参数,，使,r(A,),值在,0,1,之间，随采用的,距离方式不同而变化,定义：,例：若,采用广义汉明距离,（,k,1,）,-,称为,线性模糊度,若,采用欧氏距离,（,k,2,）,有,(2),熵,（模糊度）,熵（模糊度）定义：,显然,或,时，,r(A,),和,H(A),为最小值,(,等于,0),，即,模糊度为,0,，,A,为确定集,定义的意义,：,当,时，,r(A,),和,H(A),为最大值,(,等于,1),，,模糊程度最大,2,、,如何评价特征提取效果,距离模糊度和熵的作用,类似于前面章节所定义的,类内类间,离散度度量。,可利用,S,形或,形隶属函数,计算出距离模糊度或熵，由此判断,特征性能,对分类器的,影响,。,（,1,）,利用,形隶属函数,计算的模糊度和熵类似于,类内离散度度量。,r(A,),和,H(A),越小,，表明该类这一特征取值较集中，,有利于分类,；反之，,越大,、越分散，,越不利于分类。,当然，还有其它模糊度度量定义,（,2,）,利用,S,形隶属函数,计算的模糊度和熵类似于,类间离散度度量。,r(A,),和,H(A),越大,，表明该类这一特征取值较集中，,有利于分类,；反之，,越小,、越分散，,越不利于分类。,