十大经典算法朴素贝叶斯讲解课件

朴素贝叶斯算法朴素贝叶斯算法Nave Bayes朴素朴素贝贝叶斯算法叶斯算法NaveBayes1知识回顾知识回顾贝叶斯知识知知识识回回顾贝顾贝叶斯知叶斯知识识21.样本空间的划分样本空间的划分1.样样本空本空间间的划分的划分32.全概率公式全概率公式全概率公式全概率公式2.全概率公式全概率公式全概率公式全概率公式4图示图示证明证明化整为零化整为零各个击破各个击破图图示示证证明化整明化整为为零零5说明说明 全概率公式的主要用途在于它可以将一个全概率公式的主要用途在于它可以将一个复杂事件的概率计算问题复杂事件的概率计算问题,分解为若干个简单事件分解为若干个简单事件的概率计算问题的概率计算问题,最后应用概率的最后应用概率的可加性可加性求出最终求出最终结果结果.说说明明全概率公式的主要用途在于它可以将一个复全概率公式的主要用途在于它可以将一个复杂杂事件的概事件的概6称此为称此为贝叶斯公式贝叶斯公式.3.贝叶斯公式贝叶斯公式称此称此为贝为贝叶斯公式叶斯公式.3.贝贝叶斯公式叶斯公式7证明证明条件概率条件概率的概念的概念乘法定理：乘法定理：证证明条件概率的概念乘法定理：明条件概率的概念乘法定理：8由以往的数据分析得到由以往的数据分析得到的的概率概率,叫做叫做先验先验概率概率.而在得到而在得到信息之后再重新加以修正的概率信息之后再重新加以修正的概率 叫做叫做后验概率后验概率.先验概率与后验概率先验概率与后验概率由以往的数据分析得到的概率由以往的数据分析得到的概率,叫做先叫做先验验概率概率.而在得到信息之后而在得到信息之后9十大十大经经典算法朴素典算法朴素贝贝叶斯叶斯讲讲解解课课件件10l简单的说，贝叶斯定理是基于假设的先验概率、简单的说，贝叶斯定理是基于假设的先验概率、给定假设下观察到不同数据的概率，提供了一给定假设下观察到不同数据的概率，提供了一种计算后验概率的方法。种计算后验概率的方法。l在人工智能领域，贝叶斯方法是一种非常具有在人工智能领域，贝叶斯方法是一种非常具有代表性的不确定性知识表示和推理方法。代表性的不确定性知识表示和推理方法。贝叶斯理论贝叶斯理论简单简单的的说说，贝贝叶斯定理是基于假叶斯定理是基于假设设的先的先验验概率、概率、给给定假定假设设下下观观察到不察到不11贝叶斯定理：贝叶斯定理：lP(A)是A的先验概率或边缘概率。之所以称为“先验”是因为它不考虑任何B方面的因素。lP(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。lP(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。lP(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）.贝贝叶斯定理：叶斯定理：P(A)是是A的先的先验验概率或概率或边缘边缘概率。之所以称概率。之所以称为为“先先12贝叶斯定理：贝叶斯定理：贝贝叶斯定理：叶斯定理：13关于贝叶斯分类：关于贝叶斯分类：对于贝叶斯网络分类器，若某一待分类的样本D，其分类特征值为 ，则样本D 属于类别yi 的概率P(C=yi|X1=x1,X2=x 2,.,Xn=x n)，(i=1,2,.,m)应满足下式：而由贝叶斯公式：其中，P(C=ci)可由领域专家的经验得到,而P(X=x|C=ci)和P(X=x)的计算则较困难。关于关于贝贝叶斯分叶斯分类类：对对于于贝贝叶斯网叶斯网络络分分类类器，若某一待分器，若某一待分类类的的样样本本D，14朴素贝叶斯算法原理：朴素贝叶斯算法原理：朴素朴素贝贝叶斯算法原理：叶斯算法原理：15朴素贝叶斯算法原理：朴素贝叶斯算法原理：朴素朴素贝贝叶斯算法原理：叶斯算法原理：16朴素贝叶斯算法原理：朴素贝叶斯算法原理：朴素朴素贝贝叶斯算法原理：叶斯算法原理：17朴素贝叶斯算法原理：朴素贝叶斯算法原理：朴素朴素贝贝叶斯算法原理：叶斯算法原理：18朴素贝叶斯算法原理：朴素贝叶斯算法原理：朴素朴素贝贝叶斯算法原理：叶斯算法原理：19贝叶斯算法处理流程：贝叶斯算法处理流程：贝贝叶斯算法叶斯算法处处理流程：理流程：20贝叶斯算法的处理流程：贝叶斯算法的处理流程：l第一阶段第一阶段准备阶段：准备阶段：该阶段为朴素贝叶斯分类做必要的准备。主要是依据具体情况确定特征属性，并且对特征属性进行适当划分。然后就是对一部分待分类项进行人工划分，以确定训练样本。这一阶段的输入是所有的待分类项，输出时特征属性和训练样本。分类器的质量很大程度上依赖于特征属性及其划分以及训练样本的质量。贝贝叶斯算法的叶斯算法的处处理流程：第一理流程：第一阶阶段段准准备阶备阶段：段：21贝叶斯算法处理流程：贝叶斯算法处理流程：l第二阶段第二阶段分类器训练阶段：分类器训练阶段：主要工作是计算每个类别在训练样本中出现频率以及每个特征属性划分对每个类别的条件概率估计。输入是特征属性和训练样本，输出是分类器。l第三阶段第三阶段应用阶段：应用阶段：这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。贝贝叶斯算法叶斯算法处处理流程：第二理流程：第二阶阶段段分分类类器器训练阶训练阶段：段：22购买电脑实例：购买电脑实例：购买电脑实购买电脑实例：例：23购买电脑实例：购买电脑实例：购买电脑实购买电脑实例：例：24购买电脑实例：购买电脑实例：（2）计算每个特征属性对于每个类别的条件概率：P(age=“30”|buys_computer=“yes”)=2/9=0.222P(income=“medium”|buys_computer=“yes”)=4/9=0.444P(student=“yes”|buys_computer=“yes”)=6/9=0.667P(credit_rating=“fair”|buys_computer=“yes”)=6/9=0.667P(age=“30”|buys_computer=“no”)=3/5=0.600 P(income=“medium”|buys_computer=“no”)=2/5=0.400P(student=“yes”|buys_computer=“no”)=1/5=0.2P(credit_rating=“fair”|buys_computer=“no”)=2/5=0.400购买电脑实购买电脑实例：（例：（2）计计算每个特征属性算每个特征属性对对于每个于每个类别类别的条件概率：的条件概率：25购买电脑实例：购买电脑实例：购买电脑实购买电脑实例：例：26购买电脑实例：购买电脑实例：P(X|buys_computer=“no”)P(buys_computer=“no”)=0.0190.357=0.007 因此，对于样本X，朴素贝叶斯分类预测buys_computer=”yes”特别要注意的是：朴素贝叶斯的核心在于它假设向量的所有分量之间是独立的。购买电脑实购买电脑实例：例：P(X|buys_computer=“27总结总结l朴素贝叶斯算法的优点：a.算法逻辑简单，易于实现；b.分类过程中时空开销小；c.算法稳定，对于不同的数据特点其分类性能差别不大，健壮性比较好。总结总结朴素朴素贝贝叶斯算法的叶斯算法的优优点：点：28总结总结l那么那么“贝叶斯分类法的效率如何呢？贝叶斯分类法的效率如何呢？”该分类法与决策树和神经网络分类法的各种比较试验表明，在某些领域，贝叶斯分类法足以与它们相媲美。理论上讲，与其他所有分类算法相比，贝叶斯分类具有最小的错误率，然而，实践中并非总是如此。这是因为对其使用的假定（如类条件独立性）的不正确性，以及缺乏可用的概率数据造成的。贝叶斯分类法还可以用来为不直接使用贝叶斯定理的其他分类法提供理论判定。例如，在某些假定下，可以证明：与朴素贝叶斯分类法一样，许多神经网络和曲线拟合算法输出的最大的后验假定。总结总结那么那么“贝贝叶斯分叶斯分类类法的效率如何呢？法的效率如何呢？”29对比决策树分类对比决策树分类l整棵决策树就对应着整棵决策树就对应着一组析取表达式规则一组析取表达式规则。对对比决策比决策树树分分类类整棵决策整棵决策树树就就对应对应着一着一组组析取表达式析取表达式规则规则。30总结：总结：总结总结：31扩展：扩展：扩扩展：展：32扩展：扩展：l对于第二个问题：朴素贝叶斯算法是在假定各个特征属性相互独立的情况下提出来，这在现实生活中是很难实现的，所以针对这个问题人们做了大量工作解决这个缺点。（1）如果特征属性之间是有联系的，并且是一个有向无环图，可以采用另一个相关的贝叶斯分类算法贝叶斯网络。在此不再介绍。（2）除了贝叶斯网络还有kononenko提出的semi-nave bayesian 算法，称为半朴素贝叶斯算法，扩扩展：展：对对于第二个于第二个问题问题：朴素：朴素贝贝叶斯算法是在假定各个特征属性相互叶斯算法是在假定各个特征属性相互33扩展：扩展：l该算法就是将特征相关的属性分成一组，然后假设不同组中的属性是相互独立的，同一组中的属性是相互关联的。l（3）还有一种具有树结构的TAN（tree augmented nave Bayes）分类器，它放松了朴素贝叶斯中的独立性假设条件，允许每个属性结点最多可以依赖一个非类结点。TAN具有较好的综合性能。算是一种受限制的贝叶斯网络算法。扩扩展：展：该该算法就是将特征相关的属性分成一算法就是将特征相关的属性分成一组组，然后假，然后假设设不同不同组组中的中的34Thank you!Thank you!Thankyou!35