第6章-贝叶斯学习分析课件

第6章 贝叶斯学习第6章 贝叶斯学习贝叶斯法则uu给定训练数据集D，确定假设空间H中的最佳假设uu什么是最佳假设？在给定数据集在给定数据集DD的基础上，的基础上，H H中不同假设里发生中不同假设里发生概率最大（最可能发生）的一个概率最大（最可能发生）的一个uu贝叶斯法则可以通过直接计算找到这种最可能性贝叶斯法则给定训练数据集D，确定假设空间H中的最佳假设贝叶斯公式uuP(h)：h的先验概率(prior probability)，反映了事先拥有的关于h的背景知识uuP(D)：得到的训练数据D的先验概率uuP(D|h)：若h成立，则观察到D的概率uuP(h|D)：给定训练数据D时，h成立的概率贝叶斯公式P(h)：h的先验概率(prior probabi公式分析uuP(h|D)称为后验概率，相对于先验概率uu如果D独立于h时被观察到的可能性越大，那么D对h的支持度也越小uu如果h的先验概率越大，则在数据D的条件下出现h的可能性也越大uu求每一假设h的P(h|D)，取其中最大者，为MAP假设（maximum a posteriori）公式分析P(h|D)称为后验概率，相对于先验概率基本概率公式uu两事件两事件A A和和B B交的概率：交的概率：uu两事件两事件A A和和B B并的概率：并的概率：uu给定给定DD时时h h的后验概率：的后验概率：uu全概率法则：全概率法则：若事件互斥且若事件互斥且则则基本概率公式两事件A和B交的概率：则6.1 简介uu贝叶斯学习提供了一种推理的概率手段：即待考查的量遵循某种概率分布即待考查的量遵循某种概率分布且可根据这些概率及已观察到的数据进行推理且可根据这些概率及已观察到的数据进行推理以作出最优决策以作出最优决策uu贝叶斯学习为直接操作概率的学习算法提供了基础uu贝叶斯学习也为其他算法的分析提供了理论框架6.1 简介贝叶斯学习提供了一种推理的概率手段：贝叶斯学习与机器学习的关系uu贝叶斯学习算法能够显式计算假设的概率朴素贝叶斯分类器朴素贝叶斯分类器利用朴素贝叶斯分类器分类进行文本文档分类利用朴素贝叶斯分类器分类进行文本文档分类uu为理解许多算法提供了有效手段，这些算法不一定直接操纵概率数据在使用神经网络训练收敛判据时，可以选择比在使用神经网络训练收敛判据时，可以选择比误差平方和最小原则更合适的交叉熵原则误差平方和最小原则更合适的交叉熵原则贝叶斯学习与机器学习的关系贝叶斯学习算法能够显式计算假设的概贝叶斯学习方法的特性uu观察到的每个训练样例可以增量地降低或增高某假设的估计概率uu先验知识可以与观察数据一起决定假设的最终概率两类先验知识：候选假设的先验概率；每个可两类先验知识：候选假设的先验概率；每个可能假设在可观察数据中的概率分布能假设在可观察数据中的概率分布uu允许假设做出不确定性的预测uu新实例可以由多个假设的概率加权和确定uu重要的算法评价理论依据贝叶斯学习方法的特性观察到的每个训练样例可以增量地降低或增高举例uu医疗诊断问题做决定做决定：（：（1 1）得癌症；（）得癌症；（2 2）无癌症）无癌症uu诊断依据：某化验测试，测试结果为+或-uu先验知识：所有人口中此癌症的发生概率为所有人口中此癌症的发生概率为0.0080.008测试有病的准确率为测试有病的准确率为0.980.98测试无病的准确率为测试无病的准确率为0.970.97uu现在，某病人测试结果为+，问是否可以确诊此病人有病？举例医疗诊断问题举例uu假设在某种病症的化学检测中：对有病的病人，检验的阳性率为对有病的病人，检验的阳性率为95%95%对没病者，检验的阳性率为对没病者，检验的阳性率为5%5%该病的发病率为该病的发病率为0.5%0.5%uu现在随便从街上拉一个人做检测，结果阳性，问此人患此病的概率是多少？举例假设在某种病症的化学检测中：贝叶斯学习uu利用贝叶斯法则进行概念学习给定训练数据下求后验概率给定训练数据下求后验概率从先验概率到后验概率的概率改变体现学习效从先验概率到后验概率的概率改变体现学习效果果uuBRUTE-FORCE贝叶斯概念学习1.对于对于H H中每个假设中每个假设h h，计算后验概率，计算后验概率2.输出有最高后验概率的假设输出有最高后验概率的假设h hMAPMAP贝叶斯学习利用贝叶斯法则进行概念学习贝叶斯最优分类器uu前面讨论问题：给定训练数据，最可能的假设是什么uu需讨论的问题：给定训练数据，对新的实例的最可能分类是什么可以直接利用可以直接利用MAPMAP假设来分类新实例假设来分类新实例也有更好的算法也有更好的算法贝叶斯最优分类器前面讨论问题：给定训练数据，最可能的假设是什6.7 贝叶斯最优分类器uuMAP假设分类的问题 P125uu新实例的最可能分类应该通过合并所有假设的预测得到即即 用后验概率来加权用后验概率来加权uu贝叶斯最优分类器(Bayes Optimal Classifier)：uu分类结果可以对应于H中不存在的假设 P1266.7 贝叶斯最优分类器MAP假设分类的问题 P1256.8 GIBBS算法uu基于给定训练数据，贝叶斯最优分类器可以给出最好性能uu但计算开销很大uuGIBBS算法：按照按照H H上的后验概率分布，从上的后验概率分布，从H H中随机选取假设中随机选取假设h h使用使用h h来处理待分类实例来处理待分类实例误分类率：最多为贝叶斯最优分类器的两倍误分类率：最多为贝叶斯最优分类器的两倍6.8 GIBBS算法基于给定训练数据，贝叶斯最优分类器可以6.9 朴素贝叶斯分类器uu实用性很高的算法uu学习任务：每个实例每个实例x x由属性的合取表示由属性的合取表示目标函数目标函数f(x)f(x)从有限集会从有限集会V V中取值中取值学习器根据提供的一系列关于目标函数的训练学习器根据提供的一系列关于目标函数的训练样例以及新实例（属性值的元组），给出新实样例以及新实例（属性值的元组），给出新实例的分类例的分类6.9 朴素贝叶斯分类器实用性很高的算法6.9 朴素贝叶斯分类器6.9 朴素贝叶斯分类器举例：根据天气情况判断某人是否会打网球朴素贝叶斯分类器举例：根据天气情况判断某人是否会打网球朴素贝叶斯分类器是否将要打网球？uu4个天气属性 OutlookOutlook Temperature Temperature Humidity Humidity Wind Winduu对新实例进行预测：yes or no是否将要打网球？4个天气属性举例：学习分类文本朴素贝叶斯分类器举例：学习分类文本朴素贝叶斯分类器问题框架uu目标：要求计算机学习从大量的在线文本文档中自动过滤出最相关文档给读者uu目标值：like 和 dislikeuu每个位置上的每个单词定义为一个属性值uu简化：每个属性的条件概率相互独立每个属性的条件概率相互独立特定单词出现的概率独立于单词所在的位置特定单词出现的概率独立于单词所在的位置问题框架目标：要求计算机学习从大量的在线文本文档中自动过滤出6.11 贝叶斯信念网uu最优贝叶斯分类器要求考虑每个属性与其他属性的关系，太繁琐，而且不现实uu朴素贝叶斯分类器要求每个属性的条件概率相互独立，限制太严格uu折中：贝叶斯信念网比朴素贝叶斯分类器限制少比朴素贝叶斯分类器限制少比最优贝叶斯分类器切实可行比最优贝叶斯分类器切实可行6.11 贝叶斯信念网最优贝叶斯分类器要求考虑每个属性与其他EM算法uu用处：变量的值从来没有直接观察到的情况uu问题：估计k个高斯分布的均值uuEM算法的一般表述uuK均值算法的推导EM算法用处：变量的值从来没有直接观察到的情况6.12.1 估计k个高斯分布的均值uu得到一些数据：来自于来自于k k个正态分布个正态分布 首先随机选择一个正态分布首先随机选择一个正态分布 然后依概率取到随机变量的值然后依概率取到随机变量的值uu求正态分布的参数uu难点1：不知道正态分布是如何选取的uu难点2：通过不确定归属的数据来估计正态分布的参数6.12.1 估计k个高斯分布的均值得到一些数据：6.12.1 估计k个高斯分布的均值uu简单情况：只有两个正态分布只有两个正态分布 各个正态分布基于均匀的概率进行选择各个正态分布基于均匀的概率进行选择 各个正态分布具有相同的方差各个正态分布具有相同的方差2 2，且，且2 2已知已知uu已知：采样得到的数据集x1x1，x2x2，。，。uu求正态分布的期望：1 和26.12.1 估计k个高斯分布的均值简单情况：6.12.1 估计k个高斯分布的均值uu问题解决思路：假设假设 h=h=然后求能使检测数据集然后求能使检测数据集DD出现概率最大的假设出现概率最大的假设h h即为即为找到极大似然假设找到极大似然假设即找到使即找到使P(D|h)P(D|h)最大的假设最大的假设h huu单个的概率分布时：P1376.12.1 估计k个高斯分布的均值问题解决思路：6.12.1 估计k个高斯分布的均值uuK个不同正态分布的混合 每个实例完整描述为三元组每个实例完整描述为三元组x 因为因为z zi1i1和和z zi2i2未知，所以使用未知，所以使用EMEM算法算法uuEM算法的目的：搜索一个极大似然假设uuEM算法的步骤：根据当前假设根据当前假设 不断地估计隐藏变不断地估计隐藏变量量z zij ij的期望值的期望值然后再用隐藏变量的期望值重新计算极大似然然后再用隐藏变量的期望值重新计算极大似然假设假设6.12.1 估计k个高斯分布的均值K个不同正态分布的混合EM算法实例基本步骤1基本步骤2EM算法实例基本步骤1EM两公式EM两公式