资源描述
,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2016/1/14,#,模式识别与机器学习,第一章 概论,第二章统计判别,第三章 判别函数,第四章,特征选择和提取,第五章句法模式识别,第六章,统计学习理论基础,第七章有,监督学习基础算法,第八章,支持向量机,第九章,无监督学习与半监督学习,第十章,图模型基础,第十一章 集成学习,第十二章 神经网络与深度学习,本门课程的主要内容,掌握相关的概念：模式、机器学习、基本构成,例如模式的概念：,广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。,模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。,模式的直观特性,:,可观察性,可区分性,相似性,第一章概论,第一章概论,模式识别系统的基本构成,机器学习的基本构成,数据获取,特征提取和选择,预处理,分类决策,分类器设计,环境,学习,知识库,执行与评价,数据聚类,统计分类,结构模式识别,神经网络,监督学习,无监督学习,半监督学习,集成学习,增强学习,深度学习,主要分类和学习方法,在贝叶斯分类器中，构造分类器需要知道类概率密度函数。,类概率密度是正态分布，均值向量和协方差矩阵,均值和协方差矩阵的非随机参数的估计,均值和协方差矩阵的估计量定义,均值和协方差矩阵估计量的迭代运算,均值向量和协方差矩阵的贝叶斯学习,一般概念,单变量正态密度函数的均值学习,第二章统计判别,贝叶斯判别别,贝叶斯最小风险判别：,当考虑到对于某一类的错误判决要比对另一类的判决更为关键时，就需要把最小错误概率的贝叶斯判别做一些修正，提出条件平均风险,r,j,(x),第二章统计判别,线性判别函数,用判别函数分类的概念,线性判别函数的一般形式和分类问题,两类问题,多类情况：三类情况,广义线性判别函数,基本思想,广义线性判别函数的意义,线性的判别函数,判别函数选用二次多项式函数,判别函数选用,r,次多项式函数,分段线性判别函数,模式空间和权空间,第三章判别函数,Fisher,线性判别,从,d,维空间到一维空间的一般数学变换方法,Fisher,准则函数的定义,基于最佳变换向量的投影,感知器算法,线性判别函数的感知器赏罚训练算法,采用感知器算法的多类模式的分类,可训练的确定性分类器的迭代算法,梯度法,固定增量的逐次调整算法,最小平方误差算法,第三章判别函数,势函数法,判别函数的产生,分析步骤,势函数的选择,第一类势函数：对称的有限多项式展开,第二类势函数：双变量的对称函数,决策树简介,概念,二叉树,第三章判别函数,概念、意义,模式类别可分性的测度：类内散度矩阵、类间散度矩阵,特征选择：定义可分性准则函数，如类内距离小，类距离大,特征提取：,K-L,变换（,PCA),思想：,选取变换矩阵，使得降维后的新向量在最小均方差条件下接近原来的向量,x,第四章特征选择和提取,离散,K-L,变换,将原来的特征做正交变换，获得的每个数据都是原来,n,个数据的线性组合，然后从新的数据中选出少数几个，使其尽可能多地反映各类模式之间的差异，而这些特征间又尽可能相互独立，则比单纯的选择方法更灵活、更有效。,K-L,变换就是一种适用于任意概率密度函数的正交变换。,离散的有限,K-L,展开,K-L,展开式的性质,K-L,展开式系数的计算步骤,按,K-L,展开式选择特征,三条结论,实例,第四章特征选择和提取,不考,第五章句法模式识别,Machine Learning(,概念、学习方法的分类、历史,),Statistical Machine Learning,一般框架、形式化：,产生式、判别式模型：前者先推断,p(x,y),再利用贝叶斯求,p(y|x);,后者直接求解,p(y|x),过拟合和正则项（,Overtting and Regularization,）,:,经验风险最小化（,Empirical Risk Minimization,）,结构风险最小化,(Structural Risk Minimization):,所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的,VC,维，可以使学习机器在整个样本集上的期望风险得到控制。,第六章统计学习理论基础,Statistical Machine Learning,偏差方差分解（,Bias and Variance Decomposition,）,Trade-off:,A good insight into model complexity issue:,Very flexible models having low bias and high variance.,Relatively rigid models having high bias and low variance.,The model with the optimal predictive capacity is the one that leads to the best balance between bias and variance.,第六章统计学习理论基础,回归方法（,regression method),线性回归（,Linear Regression,）：,梯度下降求解：,closed form solution,随机梯度下降：,Stochastic Gradient Descent,在高斯噪声的情形下，最小化均方误差（,LMS,）的和与最大化似然（,MLE,）得到的解是一样的。,Regularized LMS,与最大化后验,MAP,在先验为,时，等价。,分类方法,感知器算法：,perceptron criterion,随机梯度下降求解,缺点,第七章有,监督学习基础算法,分类方法,Logistic,regression,MLE+SGD,求解,多类,logistic regression:,Cross Entropy Loss Function,产生式方法,高斯判别分析,(GDA):,用多变量正态分布对,p(x|y),进行建模，通过,MLE,求解。,GDA VS LR,朴素贝叶斯（,Nave Bayes,）：,X,是离散情况时的,GDA,NB VS LR,第七章有,监督学习基础算法,思想：,函数,margin,几何,margin,Optimal Margin Classier:,转成问题,线性可分,SVM,及其对偶问题,Soft Margin,及其对偶问题,Non-separable SVM,及其对偶问题,第八章,支持向量机,Lagrangian Duality,Kernel,Kernelized SVM,SMO: Sequential Minimal,SVR:,一般形式及其对偶问题,Multi-class SVM:,一对多。,VC dimension:,一般而言,VC,维,越大,学习能力就越强,学习也越复杂；可以通过,VC,维,计算学习风险的上界,第八章,支持向量机,概念,K-means:,形式化，思想,高斯混合模型及,EM,算法（思想，步骤）,层次聚类：,agglomerative clustering,：逐渐合并,divisive clustering,：逐渐拆分,第九章无监督学习与半监督学习,DBSCAN (Density-Based Spatial Clustering of Applications with,Noise),思想,All points within the cluster are mutually density-connected;,If a point is density-reachable from any point of the cluster, it is part ofthe cluster as well.,Mean-Shift Clustering,：,The main idea: iteratively locate the maxima of a density function,given data samples,A Recent Clustering Algorithm:,local density,its distance from points of higher density:,第九章无监督学习与半监督学习,流形学习,Multidimensional Scaling(MDS):,点对距离,Kernel PCA,Isomap,：保持内在几何结构（测地距离）,LLE,：映射到低维空间时要保持局部线性结构,LPP,：保持局部结构,第九章无监督学习与半监督学习,半监督学习,假设：平滑假设,Disagreement-based,方法：,Co-training,Low-density separation,方法：,transductive SVM,Graph-based SSL:,加入不同的正则项得到不同的方法,Manifold regularization,Laplacian Regularization least squares,第九章无监督学习与半监督学习,Bayesian,网络：推断、分类,Markov,链：,HMM,Likelihood evaluation:,前向、后向算法,最佳路径求解动态规划，,viterbi,参数估计, Baum-Welch,Markov,随机场,条件独立,分解,例子,条件随机场：,第十章,Graphical Models,PR/ML,中的哲学理论,No Free Lunch Theorem,Ugly Duckling Theorem,Minimum Description Length principle,Occams razor,分类器设计时重采样技术,Bagging,Boosting,AdaBoost,Active Learning,Estimating and comparing classifiers,Cross validation,第十一章,Algorithm-IndependentMachine Learning,深度学习,(DL),及其应用前沿,DL,在,CV,领域应用的启示,关键算法介绍,Perceptron,及学习算法,多层感知机,(MLP),及其,BP,算法,Auto-Encoder,CNN,及其主要变种,关于,DL,的思考与讨论,第十二章深度学习,1.18,日，,13:30-15:30,考试时间,Good Luck!,
展开阅读全文