模式识别基础教程课件

模式识别课程模式识别(Pattern Recognition)主讲教师：宫宁生模式识别模式识别(Pattern Recognition)2提纲o模式识别概论o主要模式识别方法o模式识别过程o案例介绍oDEMO2提提 纲模式识别概论纲模式识别概论3为什么需要模式识别？o模式识别：人类学习的基本方法n人眼识别物n中医看舌苔/脉搏n图谱辨别化合物3为什么需要模式识别？模式识别：人类学习的基本方法为什么需要模式识别？模式识别：人类学习的基本方法4什么是模式？分类n确定模式n非确定模式n随机模式4什么是模式？分类什么是模式？分类5定义：模式类o模式x:具有某些量化测量值或者特征o模式类(vi)：Acollectionof“similar”(notnecessarilyidentical)objectsnInter-classvariabilitynIntra-classvariabilityo模式类的统计特性n相似性-先验概率：P(vi)n类条件概率密度：p(x|vi)The letter“T”in different typefacesCharacters that look similar5定义：模式类模式定义：模式类模式x:具有某些量化测量值或者特征具有某些量化测量值或者特征The 6定义：模式识别o依据一定的规则，将模式进行分类的过程（Classifies“patterns”into“classes”）o主要过程:n数据处理：n模式类的模型假设：n选择最优的模型并分类：6定义：模式识别依据一定的规则，将模式进行分类的过程（定义：模式识别依据一定的规则，将模式进行分类的过程（Cla7模式识别的主要问题o建模问题n描述n表示p例如：用面积和周长表示某种形状o特征提取与选择问题n维数灾难如何降维？主成分分析PCAn选择具有最大区分能力的特征线性判别分析LDAo任务特定的学习问题n贝叶斯决策理论、统计学习理论和SVM7模式识别的主要问题建模问题模式识别的主要问题建模问题8模式分类vs.模式聚类oClassificationoClusteringCategory“A”Category“B”Classification(Recognition)(SupervisedClassification)Clustering(UnsupervisedClassification)8模式分类模式分类 vs.模式聚类模式聚类ClassificationCa9典型应用o语音识别（例如：IBMViaVoice系统）o表情分析、年龄、种族、性别分类oOCR:车牌照、集装箱号码o手写体识别：汉王o手势识别：基于视觉的，基于数据手套o人脸识别、指纹识别、虹膜识别o军事目标识别o生物信息、医学图像o遥感、气象9典型应用语音识别（例如：典型应用语音识别（例如：IBM ViaVoice系统）系统）模式识别方法10参数估计近邻法直接计算判别函数非参数方法有监督学习最小距离分层聚类无监督学习静态模式（不相关）HMM时序模式（相关的静态模式）统计模式识别模板匹配结构模式识别神经网络句法模式识别统计学习理论和支持向量机模糊模式识别半监督学习模式识别方法模式识别方法10参数估计近邻法直接计算判别函数参数估计近邻法直接计算判别函数非参数方法有非参数方法有11模板匹配TemplateMatchingTemplateInput scene11模板匹配模板匹配Template MatchingTemplat12统计模式识别o模式识别最初从统计理论发展而来o基本思想：模式被描述为一组测量值组成的随机特征向量，用概率统计理论对其进行建模，用统计决策理论划分特征空间来进行分类。12统计模式识别模式识别最初从统计理论发展而来统计模式识别模式识别最初从统计理论发展而来13统计模式识别的一般过程预处理特征提取/选择分类预处理特征提取/选择学习分类规则测试模式训练模式分类训练错误率检测13统计模式识别的一般过程预处理特征提分类预处理特征提学习分统计模式识别的一般过程预处理特征提分类预处理特征提学习分14模糊模式识别o1965年Zadeh提出模糊集理论n是对传统集合理论的一种推广p传统：属于或者不属于p模糊：以一定的程度属于n模糊逻辑：相对传统二值逻辑“是或不是”n模糊数学：研究模糊集和模糊逻辑n模糊系统：应用角度14模糊模式识别模糊模式识别1965年年Zadeh提出模糊集理论提出模糊集理论15特征提取：PR的第一步o任务：提取适于分类的特征（量化测量值）o好的特征nObjectsfromthesameclasshavesimilarfeaturevalues.nObjectsfromdifferentclasseshavedifferentvalues.“Good”features“Bad”features15特征提取：特征提取：PR的第一步任务：提取适于分类的特征（量化测量的第一步任务：提取适于分类的特征（量化测量16特征提取与选择o问题变成：如何优化特征提取算子的参数n维数灾难如何降维？PCAn选择具有最大区分能力的特征LDAFeatureextractionFeatureselection16特征提取与选择问题变成：如何优化特征提取算子特征提取与选择问题变成：如何优化特征提取算子 的的17基于AdaBoost的快速人脸检测17基于基于AdaBoost的快速人脸检测的快速人脸检测18AdaBoost算法简介o在2001年的ICCV上，Compaq的研究员PaulViola和MichaelJ.Jones发表了一个实时人脸检测系统，其速度是平均每秒15帧，图像大小是384x288。n参见：PaulViola,MichaelJ.Jones.RobustReal-timeObjectDetection.CRL2001/01February2001.o系统在技术上的三个贡献：n1.用简单的矩形特征来作为人脸图像特征;n2.基于AdaBoost的分类器;n3.采用了Cascade(分级分类器)技术提高检测速度。o这种技术具有实时性的特点，而且有可能扩展到多个姿态的人脸检测。18AdaBoost算法简介在算法简介在2001年的年的ICCV上，上，Com19人脸的特征表示方法o矩形特征（Harr-like特征）n矩形特征的值是所有白色矩形中点的亮度值的和减去所有灰色矩形中点的亮度值的和，所得到的差n有4种类型的矩形特征19人脸的特征表示方法矩形特征（人脸的特征表示方法矩形特征（Harr-like特征）特征）20输入图像积分图像基于积分图像的Haar-like特征计算20输入图像积分图像基于积分图像的输入图像积分图像基于积分图像的Haar-like特征计算特征计算21AdaBoost分类器oAdaBoost分类器nAdaboost学习算法是用来提高某种简单分类算法的性能的。它通过对一些弱分类器的组合来形成一个强分类器o功能n将分类性能不好的弱分类器提升为分类性能好的强分类器的学习算法。o思想n学习一系列分类器，在这个序列中每一个分类器对它前一个分类器导致的错误分类样例给予更大的重视。21AdaBoost分类器分类器AdaBoost分类器分类器Adaboost学习算法o输入：n1.训练用人脸和非脸样本n2.指定要挑选出来的弱分类器的数目T,这也是程序循环的次数n3.利用先验知识初始化权值向量o弱分类器22其中，表示弱分类器的值，表示弱学习算法寻找出的阈值，表示不等号的方向，表示特征值，表示一个Harr-like特征。Adaboost学习算法输入：学习算法输入：22其中，其中，表示弱分类器的值表示弱分类器的值23基于AdaBoost的快速人脸检测o基于分级分类器的加速策略n大量候选窗口可以利用非常少量的特征（简单快速的分类器）就可以排除是人脸的可能性！n只有极少数需要大量的特征（更复杂的更慢的分类器来判别是否人脸）23基于基于AdaBoost的快速人脸检测基于分级分类器的加速策的快速人脸检测基于分级分类器的加速策24分级分类器的构建o采用由粗到细的思想（coarsetofine）n将数量少的重要的特征构成的分类器置于前面若干层，检测大部分人脸的同时，排除大量非脸n后面层包含大量次重要的特征对非脸进行进一步排除n每层训练用非脸样本使用前面层分类器误判为人脸的那些样本24分级分类器的构建采用由粗到细的思想（分级分类器的构建采用由粗到细的思想（coarse to 25基于AdaBoost的快速人脸检测o分级分类器的训练算法 25基于基于AdaBoost的快速人脸检测分级分类器的训练算法的快速人脸检测分级分类器的训练算法 26实验结果和系统o训练样本n正例p4800张手工标定的人脸照片作为训练样本集p1000张人脸照片作为测试集n反例p10万张反例样本人脸样本 26实验结果和系统训练样本人脸样本实验结果和系统训练样本人脸样本