统计模式识别课件

图 像描 述图像处理图像识别图像理解计算机图形学图像描述图像处理图像识别计算机图形学图像（模式）识别概念n模式识别：对表征事物或现象的各种形式的（数值的，文字的和逻辑关系的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。n什么是模式（Pattern）？“模式”是一个客观事物的描述，是指建立一个可用于仿效的完善的标本。n 图像识别与模式识别图像（模式）识别概念模式识别：对表征事物或现象的各种形式的（n模式识别的研究内容1）研究生物体（包括人）是如何感知对象的，属于认知科学的范畴2）在给定的任务下，如何用计算机实现模式识别的理论和方法模式识别的研究内容n典型模式识别系统典型模式识别系统 n图像识别系统图像识别系统 典型模式识别系统n人脸识别系统人脸识别系统8 8图像识别图像识别8.1 8.1 概述概述n模式模式可以定义为可以定义为物体的描述物体的描述。由于描述这个。由于描述这个词的意义比较广泛，有人把它推广到图像数词的意义比较广泛，有人把它推广到图像数据本身，因为图像数据也是相应事物的一种据本身，因为图像数据也是相应事物的一种描述，只不过这样的描述不够抽象和简要而描述，只不过这样的描述不够抽象和简要而已。前章中我们已经讨论过图像的各种特征已。前章中我们已经讨论过图像的各种特征和描述的提取方法。因此，我们将和描述的提取方法。因此，我们将模式解释模式解释为物体的较抽象的特征和描述。为物体的较抽象的特征和描述。8图像识别8.1概述n模式可以是以模式可以是以矢量形式矢量形式表示的表示的数字特征数字特征；也可以是以也可以是以句法结构句法结构表示的表示的字符串或图字符串或图；还可以是以还可以是以关系结构关系结构表示的表示的语义网络或框语义网络或框架结构架结构等。等。n对于上述三种类型的模式，必须分别使用不对于上述三种类型的模式，必须分别使用不同的识别和推理方法：同的识别和推理方法：统计模式识别，句法统计模式识别，句法模式识别模式识别和和人工智能方法人工智能方法。模式可以是以矢量形式表示的数字特征；n统计模式识别n基本原理是：有相似性的样本在模式空间中互相接近，并形成“集团”，即“物以类聚”。n主要方法有：决策函数法，k近邻分类法，支持向量机，特征分析法，主因子分析法等n参考书籍：统计模式识别(AndrewR.Webb)JainAK,DuinRPW,JianchangMao.Statisticalpatternrecognition:areview.PatternAnalysisandMachineIntelligence,2000.22(1):437.统计模式识别n句法（或结构）模式识别基于形式语言理论的概念为基础。模式按其结构分解为子模式或模式基元，模式基元的连接关系以文法形式进行描述。一个场景的示意图 场景结构的分析 句法（或结构）模式识别一个场景的示意图n模糊模式识别n模糊集理论，Zadeh，1965n模糊集理论在模式识别中的应用n神经网络模式识别n特点：具有信息分布式存储、大规模自适应并行处理、高度的容错性以及学习能力n缺点：实际应用中仍有许多因素需要凭经验确定，比如如何选择网络节点数、初始权值和学习步长等；局部极小点问题、过学习与欠学习问题等模糊模式识别n特征选择特征选择 所要提取的应当是具有可所要提取的应当是具有可区别性、可靠区别性、可靠性、独立性好性、独立性好的的少量少量特征特征。因此特征选择可以看作是一个因此特征选择可以看作是一个(从最差从最差的开始的开始)不断删除无用的特征和组合有关联不断删除无用的特征和组合有关联的特征的过程，直到特征的数目减少到易于的特征的过程，直到特征的数目减少到易于驾驭的程度，同时分类器的性能仍能满足要驾驭的程度，同时分类器的性能仍能满足要求为止。求为止。特征选择n每类的每一个特征均值：每类的每一个特征均值：假假设设训训练练样样本本中中有有个个不不同同类类别别的的样样本本。令令表表示示第第类类的的样样本本数数，第第类类中中第第个个样样本本的的两两个特征分别记为和。个特征分别记为和。每类的每一个特征均值：每类的每一个特征均值：和和注意：仅是两个值基于训练样本的估计值，而不是注意：仅是两个值基于训练样本的估计值，而不是真实的类均值。真实的类均值。每类的每一个特征均值：n特征方差特征方差第第类类的的特特征征和和特特征征的的方方差差估估值值分别为：分别为：和和 在理想情况下同一类别中所有对象的在理想情况下同一类别中所有对象的特征值应该很相近。特征值应该很相近。特征方差n特征相关系数特征相关系数第类特征和特征的相关系数估计为第类特征和特征的相关系数估计为 它的取值范围为。它的取值范围为。如如果果=0=0，说说明明这这两两特特征征之之间间没没有有相相关关性性；接接近近+1+1表表示示这这两两个个特特征征相相关关性性强强；为为-1-1表表示示任任一一特特征征都都与与另一特征的负值成正比。另一特征的负值成正比。因此，因此，如果相关系数的绝对值接近如果相关系数的绝对值接近1 1，则说明这两，则说明这两个特征可以组合在一个特征或干脆舍弃其中一个。个特征可以组合在一个特征或干脆舍弃其中一个。特征相关系数n类间距离类间距离一一个个特特征征区区分分两两类类能能力力的的一一个个指指标标是是类类间间距距离离，即即类类均均值值间间的的方方差差归归一一化化间间距距。显显然然，类类间间距距离离大大的特征是好特征的特征是好特征。对特征来说，第类与第类之间的类间距为：对特征来说，第类与第类之间的类间距为：类间距离n降维降维有许多方法可以将两个特征和合成为有许多方法可以将两个特征和合成为一个特征，一个简单的方法是用线性函数：一个特征，一个简单的方法是用线性函数：由于分类器的性能与特征幅值的缩放倍数由于分类器的性能与特征幅值的缩放倍数无关，可以对幅值加以限制，如无关，可以对幅值加以限制，如因此因此 其中是一个新的变量，它决定和在组其中是一个新的变量，它决定和在组合中的比例。合中的比例。降维如果训练样本集中每一对象都对应于二如果训练样本集中每一对象都对应于二维特征空间维特征空间(即平面即平面)中的一个点，上中的一个点，上式描述了为所有到在轴式描述了为所有到在轴(与轴成角与轴成角)上的投影。显然应选取使得类间距最大的上的投影。显然应选取使得类间距最大的或者满足评价特征质量的其它条件的。或者满足评价特征质量的其它条件的。如果训练样本集中每一对象都对应于二维特征空间(即平面8.2 8.2 统计模式识别统计模式识别8.2.1 8.2.1 基本概念基本概念这这里里我我们们讨讨论论数数字字特特征征的的识识别别。其其前前提提是是，假假定定我我们们所所处处理理的的模模式式每每一一个个样样本本都都表示为表示为N N维特征矢量，写为：维特征矢量，写为：显显然然，特特征征矢矢量量 可可以以表表示示为为N N维维特特征征矢矢量量空空间间 中中的的一一个个点点，这这样样统统计计模模式式识识别别的的概概念念及及方方法法就就可可以以在在特特征征空空间间中中予以研究。予以研究。8.2统计模式识别8.2.1基本概念基本概念基本概念u模式分类：根据识别对象的观测值确定其类别u样本与样本空间表示：u类别与类别空间：c个类别（类别数已知）基本概念模式分类：根据识别对象的观测值确定其类别类别与类别空决决策策u把样本x x分到哪一类分到哪一类最合理最合理？解决该问？解决该问题的题的理论基础之一是统计决策理论u决策：是从样本空间S，到决策空间的一个映射，表示为 D D:S -:S -决策把样本x分到哪一类最合理？解决该问题的理论基础之一是假设我们要把一个样本集合假设我们要把一个样本集合 分成分成M M类类 ；如上所述，该样本集合可以表示为如上所述，该样本集合可以表示为N N维特维特征空间征空间 中的一个点集，它的分类问题中的一个点集，它的分类问题表述为将该特征空间划分为表述为将该特征空间划分为M M个子空间，个子空间，每一子空间为一类，子空间中的样本点属每一子空间为一类，子空间中的样本点属于相应类别。于相应类别。这样，这样，分类问题的关键就在于如何找到一分类问题的关键就在于如何找到一个正确子空间划分，个正确子空间划分，即划分子空间的界面。即划分子空间的界面。假设我们要把一个样本集合下图为二维特征空间，三类问题。下图为二维特征空间，三类问题。下图为二维特征空间，三类问题。u决策区域与决策面(decisionregion/surface)：决策区域与决策面(decisionregion/surfa统计模式识别课件数数学学上上，统统计计模模式式识识别别问问题题可可以以归归结结为为：对对一一组组给给定定的的样样本本集集合合，找找出出其其最最佳佳的的分分类类判判决决函函数数 ，并作判决：并作判决：若对所有的若对所有的 均有：均有：则作判决：则作判决：数学上，统计模式识别问题可以归结为：对一组给定的样本集合，找因因为为处处理理的的是是分分类类问问题题，因因此此最最佳佳的的意意义义是分类误差最小。是分类误差最小。由由于于求求解解最最佳佳判判决决函函数数的的出出发发点点和和途途径径不不同同，因此产生了各种不同的分类方法：因此产生了各种不同的分类方法：判别函数方法判别函数方法贝贝叶叶斯斯分分类类器器：判判别别函函数数表表示示为为似似然然比比，也也称称为为最大似然率分类器或最小损失分类器最大似然率分类器或最小损失分类器集集群群分分类类方方法法：它它几几乎乎不不需需要要有有关关待待分分样样本本的的先验知识。先验知识。因为处理的是分类问题，因此最佳的意义是分类误差最小。u分类器是某种由硬件或软件组成的“机器”：计算c个判别函数gi(x)最大值选择ARGMAXg1.g2gc.x1x2xna(x)分类器是某种由硬件或软件组成的“机器”：ARGMAXg1.g8.2.2 8.2.2 判别函数方法判别函数方法在在很很多多分分类类问问题题中中，往往往往必必须须知知道道待待分分样样本本的的先先验验知知识识。这这里里假假设设我我们们已已经经知知道道判判别别函函数数的的形形式式，剩剩下下的的问问题题是是如如何何求求判判别别函函数数的的待待定定参参量量以以及及进进行行分分类类判判决决。诚诚然然，由由分分类类者者随随心心所所欲欲地地选选择择判判别别函函数数的的形形式式，是是件件快快事事。但但是是，类类别别函函数选择不合适，会导致分类误差的增加。数选择不合适，会导致分类误差的增加。8.2.2判别函数方法一、一、线性判别函数线性判别函数线性判别函数的一般形式为：线性判别函数的一般形式为：其中，其中，分别称为扩充了的特征矢量和权矢量。分别称为扩充了的特征矢量和权矢量。一、线性判别函数使用线性判别函数的分类判决有下述两种情况：使用线性判别函数的分类判决有下述两种情况：l第一种情况第一种情况：每一类可以用一个判决平面与其它所有类隔开，每一类可以用一个判决平面与其它所有类隔开，在这种情况下，有在这种情况下，有M M个判决函数：个判决函数：使用线性判别函数的分类判决有下述两种情况：l 第二种情况第二种情况：每一类与其它所有各类可以由不同的判决平面每一类与其它所有各类可以由不同的判决平面一一隔开，也就是说，各类是可分段可分的，一一隔开，也就是说，各类是可分段可分的，共有共有 个判决面。个判决面。判决函数可以写成判决函数可以写成 若对于所有的若对于所有的 均有：均有：则作判决：则作判决：l第二种情况：死区问题死区问题？死区问题？DAGDAGDAG在判决函数完全获得定义之后，分类器的设计才在判决函数完全获得定义之后，分类器的设计才算结束，可以用于分类。通常，线性判别函数中算结束，可以用于分类。通常，线性判别函数中的权系数的权系数 是用训练或称学习的方法获得的。是用训练或称学习的方法获得的。为了讨论上的方便，先考虑两类问题。为了讨论上的方便，先考虑两类问题。在判决函数完全获得定义之后，分类器的设计才算结束，可以用于分所所谓谓训训练练，就就是是给给定定一一组组已已经经标标定定好好类类号号的的训训练练样样本本，求求出出判判别别函函数数中中的的各各参参数数。若若以以表表示示第第一一类类的的训训练练样样本本，以以表表示示第第二二类类的的训训练练样样本，则对所有训练样本，有本，则对所有训练样本，有以及以及 求求解解这这一一系系列列不不等等式式，就就可可以以解得权系数解得权系数A。所谓训练，就是给定一组已经标定好类号的训练样本，求出判别函数统计模式识别课件这显然是线性判决函数，前面所述的线性这显然是线性判决函数，前面所述的线性判别函数的各种处理方法也适用于最小距判别函数的各种处理方法也适用于最小距离分类器。离分类器。这显然是线性判决函数，前面所述的线性判别函数的各种处理方法也统计模式识别课件下图是最近邻域分类器的一个例子。下图是最近邻域分类器的一个例子。当当然然，判判别别函函数数的的形形式式可可以以取取其其它它很很多种形式，例如高次多项式等。多种形式，例如高次多项式等。下图是最近邻域分类器的一个例子。当然，判别函数的形式可以取统计模式识别课件u以两类分类问题为例：已知先验分布P(i)和观测值的类条件分布p(x|i)，i=1,2问题问题：对某个样本x，抉择x1?x2？u该决策使得在观测值x下的条件错误率P(e|x)最小。Bayes决策理论是最优的。u以后验概率为判决函数：u决策规则：即选择P(1|x)，P(2|x)中最大值对应的类作为决策结果以两类分类问题为例：已知先验分布P(i)和观测值的类条件分后验概率P(i|x)的计算uBayes公式：假设已知先验概率P(i)和观测值的类条件概率密度函数p(x|i)，i=1,2。后验概率P(i|x)的计算Bayes公式：假设已知先u比较大小不需要计算p(x)：比较大小不需要计算p(x)：u对数域中计算，变乘为加：判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略。对数域中计算，变乘为加：判别函数中与类别i无关的项，对于类别Bayes最小错误率决策例解u两类细胞识别问题：正常(1)和异常(2)u根据已有知识和经验，两类的先验概率为：正常(1)：P(1)=0.9异常(2)：P(2)=0.1对某一样本观察值x，通过计算或查表得到：p(x|1)=0.2，p(x|2)=0.4u如何对细胞x进行分类？Bayes最小错误率决策例解两类细胞识别问题：正常(1)和u利用贝叶斯公式计算两类的后验概率：决策结果利用贝叶斯公式计算两类的后验概率：决策结果p(x|1)p(x|2)p(1|x)p(2|x)类条件概率密度函数后验概率p(x|1)p(x|2)p(1|x)p(2|x)类条决策的错误率u条件错误率：（平均）错误率是条件错误率的数学期望u（平均）错误率：决策的错误率条件错误率：（平均）错误率是条件错误率的数学期望u条件错误率P(e|x)的计算:以两类问题为例，当获得观测值x后，有两种决策可能：判定 x1，或者x2。u条件错误率为：条件错误率P(e|x)的计算:以两类问题为例，当获得观测值uBayes最小错误率决策使得每个观测值下的条件错误率最小，因而保证了（平均）错误率最小。uBayes决策是一致最优决策。Bayes最小错误率决策使得每个观测值下的条件错误率最小，因u设t为两类的分界面，则在特征向量x是一维时，t为x轴上的一点。形成两个决策区域:R1(-，t)和R2(t，+)设t为两类的分界面，则在特征向量x是一维时，t为x轴上的一点统计模式识别课件统计模式识别课件统计模式识别课件统计模式识别课件n例子例子SSLSSLSSLhttp:/ 8.4 模糊模式识别简介模糊模式识别简介 在在现现实实世世界界中中，模模糊糊性性和和随随机机性性是是两两大大不不确确定定性性。尽尽管管两两者者有有本本质质的的区区别别，但但是是，二二者者之之间间却却可可以以相相互互交交叉叉。同同一一研研究究对对象象往往往往不不仅仅含含有有模模糊糊性性而而且且含含有有随随机机性性。例例如如，人人们们说说常常“明明天天是是好好天天气气的的可可能能性性有有多多大大”，“他他交交好好运运的的概概率率很很小小”，“他他很很少少能能较较早早来来上上班班”，这这里里“好好天天气气”，“好好运运”，“较较早早”都都是是模模糊糊概概念念，而而“可可能能性性有有多多大大”，“很很小小”，“很很少少”都都是是指指事事件件发发生生的的“概概率率”。对对这这类类问问题题已已经经超超出出了了经经典典概概率率论论的的范范围围。为为此此，引入模糊集合的概念。引入模糊集合的概念。8.4模糊模式识别简介统计模式识别课件在在定定义义模模糊糊子子集集的的基基础础上上，可可以以得得到到一一系系列列的的模模糊糊运运算算、模模糊糊等等价价关关系系、模模糊糊相相似似关关系系、模模糊糊数数、模模糊糊测测试试等等，为为模模糊糊模模式式识别提供了基础。识别提供了基础。在定义模糊子集的基础上，可以得到一系列的模糊运算、模糊等价关从本质上来说，模式识别所要讨论的核从本质上来说，模式识别所要讨论的核心问题，便是如何使机器能模拟人脑的心问题，便是如何使机器能模拟人脑的思维方法，来对客观事物进行更为有效思维方法，来对客观事物进行更为有效的识别和分类。一方面现有的广为运用的识别和分类。一方面现有的广为运用的统计模式识别方法与人脑进行模式识的统计模式识别方法与人脑进行模式识别的方法相比，其判别还很大，另一方别的方法相比，其判别还很大，另一方面有待识别的客观事物又往往具有不同面有待识别的客观事物又往往具有不同程度的模糊性。因此，许多学者运用模程度的模糊性。因此，许多学者运用模糊子集理论来解决模式识别的问题，并糊子集理论来解决模式识别的问题，并已经获得了可喜的应用成果。已经获得了可喜的应用成果。从本质上来说，模式识别所要讨论的核心问题，便是如何使机器能模目目前前，模模糊糊模模式式识识别别的的基基本本方方法法主主要要有：有：(1)(1)基于最大隶属原则的识别基于最大隶属原则的识别(2)(2)基于择近原则的识别基于择近原则的识别(3)(3)基基于于模模糊糊等等价价关关系系的的模模式式分分类类(4)(4)基基于于模模糊糊相相似似关关系系的的模模式式分分类类目前，模糊模式识别的基本方法主要有：8.5 8.5 人工神经网络在模式识别中的应用人工神经网络在模式识别中的应用8.68.6模式识别方法的比较模式识别方法的比较 教材教材P324P324表表8.58.5 各各具具特特点点，现现在在有有许许多多组组合合的的方方法法，如如模糊神经网络分类器等等。模糊神经网络分类器等等。8.5人工神经网络在模式识别中的应用