支持向量机课件

8.6 支持向量机概述l支持向量机概述l支持向量机理论l支持向量机l核函数l支持向量机实现18.6.1 支持向量机概述支持向量机概述l1963年，Vapnik在解决模式识别问题时提出了支持向量方法,这种方法从训练集中选择一组特征子集,使得对特征子集的划分等价于对整个数据集的划分,这组特征子集就被称为支持向量(SV)。l1971年，Kimeldorf提出使用线性不等约束重新构造SV的核空间,解决了一部分线性不可分问题。l1990年，Grace,Boser和Vapnik等人开始对SVM进行研究。l1995年，Vapnik正式提出统计学习理论。28.6.2 支持向量机理论支持向量机理论lSVM从线性可分情况下的最优分类面发展而来。l最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。lSVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。l过两类样本中离分类面最近的点且平行于最优分类面的超平面上H1,H2的训练样本就叫做支持向量。3支持向量机理论（续1）4广义最优分类面5广义最优分类面（续1）l假定训练数据l可以被一个超平面分开l我们进行正归化l此时分类间隔等于l使最大间隔最大等价于使 最小6广义最优分类面（续2）l最优分类面问题可以表示成约束优化问题MinimizeSubject tol定义Lagrange函数 7广义最优分类面（续3）lLagrange函数8一个简单的例子：x1=(0,0),y1=+1x2=(1,0),y2=+1x3=(2,0),y3=-1x4=(0,2),y4=-1可调用Matlab中的二次规划程序，求得1,2,3,4的值，进而求得w和b的值。9108.6.3 支持向量机支持向量机l很多情况下，训练数据集是线性不可分的，Vapnik等人提出了用广义分类面（松弛子）来解决这一问题。l非线性问题通过非线性变换将它转化为某个高维空间中的线性问题，在这个高维空间中寻找最优分类面。11高维空间中的最优分类面l分类函数只涉及到训练样本之间的内积运算(xixj),因此,在高维空间中只需进行内积运算,这种内积运算可通过定义在原空间中的函数来实现,甚至不必知道变换的形式。lSLT指出,根据Hibert-Schmidt原理,只要一种运算满足Mercer条件,就可以作为内积使用。12Mercer条件13支持向量机l在最优分类面中采用适当的内积函数就可以实现某一非线性变换后的线性分类,而计算复杂度却没有增加。14支持向量机158.6.4 核函数核函数lSVM中不同的内积核函数将形成不同的算法,主要的核函数有三类：l多项式核函数l径向基函数lS形函数168.6.5 支持向量机实现支持向量机实现SVMlight-2.private:/usr/local/binsvm_learn,svm_classifybsvm-2.private:/usr/local/binsvm-train,svm-classify,svm-scalelibsvm-2.private:/usr/local/binsvm-train,svm-predict,svm-scale,svm-toymySVMMATLAB svm toolbox17支持向量机实现188.7 8.7 研究现状研究现状l应用研究l支持向量机研究l支持向量机算法研究198.7.1 应用研究应用研究lSVM的应用主要于模式识别领域l贝尔实验室对美国邮政手写数字库进行的实验分类器错误率人工表现2.5%决策树C4.516.2%最好的两层神经网络5.9%SVM4.0%20SVM与神经网络（NN）的对比SVM的理论基础比NN更坚实，更像一门严谨的“科学科学”（三要素：问题的表示、问题的解决、证明）SVM 严格的数学推理NN 强烈依赖于工程技巧推广能力推广能力取决于“经验风险值”和“置信范围值”，NN不能控制两者中的任何一个。NN设计者用高超的工程技巧弥补了数学上的缺陷设计特殊的结构，利用启发式算法，有时能得到出人意料的好结果。21“我们必须从一开始就澄清一个观点，就是如果某事不是科学，它并不一定不好。比如说，爱情就不是科学。因此，如果我们说某事不是科学，并不是如果我们说某事不是科学，并不是说它有什么不对，而只是说它不是科学说它有什么不对，而只是说它不是科学。”by R.Feynman from The Feynman Lectures on Physics,Addison-Wesley同理，与SVM相比，NN不像一门科学，更像一门工程技巧，但并不意味着它就一定不好！22主要应用领域l手写数字识别l语音识别l人脸识别l文本分类238.7.2 支持向量机研究支持向量机研究l如何针对不同的问题选择不同的核函数仍然是一个悬而未决的问题。l标准的SVM对噪声是不具有鲁棒性的,如何选择合适的目标函数以实现鲁棒性是至关重要的。248.7.3 支持向量机算法研究支持向量机算法研究l支持向量机的本质是解一个二次规划问题,虽然有一些经典（如对偶方法、内点算法等）,但当训练集规模很大时,这些算法面临着维数灾难问题。为此,人们提出了许多针对大规模数据集的SVM训练算法。25支持向量机算法研究（续1）l思路1：分解子问题块算法SMO算法(Sequential Minimal Optimization)l思路2：序列优化l思路3：近邻SVM26支持向量机算法研究（续2）l训练SVM的绝大多数算法都是针对分类问题,只有一小部分算法考虑了回归函数的估计问题。l提高算法效率、降低复杂度。27支持向量机算法研究（续3）lSVM增量学习算法的研究l超球面SVM算法研究One-class SVM算法lSVM多值分类器算法One-against-the-rest（一对多方法）One-against-one（一对一方法）Multi-class Objective Functions（多类SVM）Decision Directed Acyclic Graph,DDAGSVM Decision Tree超球面SVM多值分类器28总结lSVM在模式识别、回归函数估计、预测等大量应用中取得了良好的效果lSVM存在两个主要问题：二次规划的训练速度核函数的选择l前途是光明的，道路是曲折的。29结束语当你尽了自己的最大努力时，失败也是伟大的，所以不要放弃，坚持就是正确的。When You Do Your Best,Failure Is Great,So DonT Give Up,Stick To The End30感谢聆听不足之处请大家批评指导Please Criticize And Guide The Shortcomings演讲人：XXXXXX 时 间：XX年XX月XX日 31