第1章贝叶斯分类课件

贝叶斯分类器贝叶斯分类器贝叶斯分类器贝叶斯分类器part41.1.概率论基本知识概率论基本知识1.11.1事件事件确定事件：概念是确定的，发生也是确定的；确定事件：概念是确定的，发生也是确定的；随机事件：概念是确定的，发生是不确定的；随机事件：概念是确定的，发生是不确定的；模糊事件：概念本身就不确定。模糊事件：概念本身就不确定。1.21.2 随机变量随机变量随机变量：随机事件的数量表示；随机变量：随机事件的数量表示；离散随机变量：取值为离散的随机变量离散随机变量：取值为离散的随机变量 ；连续随机变量：取值为连续的随机变量连续随机变量：取值为连续的随机变量 ；1.1.概率论基本知识概率论基本知识1.31.3 频率和概率频率和概率(1)(1)频率：试验在相同的条件下重复频率：试验在相同的条件下重复N N次，次，其中其中M M次事件次事件A A发生，则发生，则A A发生的频率为：发生的频率为：f fN N(A)=M/N(A)=M/N；(2)(2)概率：当概率：当N N很大时，频率会趋向一个很大时，频率会趋向一个稳定值，称为稳定值，称为A A的概率：的概率：1.41.4 联合概率和条件概率联合概率和条件概率联合概率：设联合概率：设A A，B B是两个随机事件，是两个随机事件，A A和和B B同时发生的概率称为联合概率，记为：同时发生的概率称为联合概率，记为：P(A,B)P(A,B)；条件概率：在条件概率：在B B事件发生的条件下，事件发生的条件下，A A事事件发生的概率称为条件概率，记为：件发生的概率称为条件概率，记为：P(A|B)P(A|B)；乘法定理：乘法定理：P(A|B)=P(A,B)/P(B)P(A|B)=P(A,B)/P(B)。1.1.概率论基本知识概率论基本知识1.1.概率论基本知识概率论基本知识1.5.1.5.先验概率和后验概率先验概率和后验概率事情还没有发生事情还没有发生,要求这件事情发生的可能性的要求这件事情发生的可能性的大小大小,是是先验概率先验概率.事情已经发生事情已经发生,要求这件事情发生的原因是由某要求这件事情发生的原因是由某个因素引起的可能性的大小个因素引起的可能性的大小,是是后验概率后验概率.先验概率是在缺乏某个事实的情况下描述一个变先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率是在考虑了一个事实之后的条件量；而后验概率是在考虑了一个事实之后的条件概率。概率。先验概率通常是经验丰富的专家的纯主观的估计。先验概率通常是经验丰富的专家的纯主观的估计。后验概率可以根据通过贝叶斯公式，用先验概率后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。和似然函数计算出来。1.1.概率论基本知识概率论基本知识1.61.6概率密度函数概率密度函数概率分布函数：设概率分布函数：设X X为连续型随机变量，为连续型随机变量，定义分布函数；定义分布函数；F(x)=P(XF(x)=P(Xx)x)；概率密度函数：如果存在一个非负函数概率密度函数：如果存在一个非负函数p(x)p(x)使得下式成立，则使得下式成立，则p(x)p(x)称为的概率称为的概率密度函数：密度函数：1.61.6 全概公式全概公式互不相容事件：如果试验时，若干个随互不相容事件：如果试验时，若干个随机事件中任何两个事件都不可能同时发机事件中任何两个事件都不可能同时发生，则称它们是互不相容的。生，则称它们是互不相容的。全概公式：若事件全概公式：若事件B只能与两两不相容的只能与两两不相容的事件事件A A1 1,A,A2 2,A,AN N之一同时发生，则有：之一同时发生，则有：1.1.概率论基本知识概率论基本知识1.1.概率论基本知识概率论基本知识1.71.7 贝叶斯公式贝叶斯公式离散形式：离散形式：A,BA,B为离散随机变量：为离散随机变量：连续形式：连续形式：A A为离散随机变量，为离散随机变量，B B为连续随机为连续随机变量：变量：P(A,B)=P(B,A)2 2 BayesBayes概率分类器概率分类器2.12.1 问题提出问题提出已知：已知：c c个类别的先验概率个类别的先验概率P(P(i i)类条件概率条件概率密度函数密度函数p p(x|(x|i i)；对类别未知样本类别未知样本x x进行分类。进行分类。2 2 BayesBayes概率分类器概率分类器2.22.2 采用采用BayesBayes分类器的先决条件分类器的先决条件决策分类的类别数是一定的决策分类的类别数是一定的设有设有c c个模式类个模式类i i（i=1i=1，2 2，c c）各类出现的先验概率各类出现的先验概率P(P(i i)已知已知类条件概率密度函数类条件概率密度函数p p(x|(x|i i)已知已知使用什么使用什么样的原的原则可以做到可以做到错误概率最小呢？概率最小呢？前提就是要知道一个前提就是要知道一个样品分属于不同品分属于不同类别的可能性，表示成的可能性，表示成p(i|x)计算后算后验概率最大的概率最大的类来分来分类，这样就是就是错误最小的方式。最小的方式。2.32.3 两类分类的最小错误率两类分类的最小错误率BayesBayes分类决策规则分类决策规则的后验概率形式的后验概率形式设设N个样本分为两类个样本分为两类1，2。每个样本抽出每个样本抽出n个特征，个特征，x=（x1，x2，x3，xn）T其中，其中，P P(i i|x)为状态后验概率由为状态后验概率由BayesBayes公式计算：公式计算：2 2 BayesBayes概率分类器概率分类器2.42.4决策规则的类条件概率密度形式决策规则的类条件概率密度形式两类最小错误率两类最小错误率BayesBayes分类决策规则的等价条分类决策规则的等价条件概率密度形式：件概率密度形式：2 2 BayesBayes概率分类器概率分类器2.42.4决策规则的似然比形式决策规则的似然比形式2 2 BayesBayes概率分类器概率分类器2.52.5决策规则的似然比对数形式决策规则的似然比对数形式两类最小错误率两类最小错误率BayesBayes分类决策规则的等分类决策规则的等价似然比取自然对数形式：价似然比取自然对数形式：2 2 BayesBayes概率分类器概率分类器2.62.6贝叶斯决策函数贝叶斯决策函数2 2类分类的贝叶斯决策函数类分类的贝叶斯决策函数决策函数表述的决策规则：2 2 BayesBayes概率分类器概率分类器2.72.7决策域与决策边界决策域与决策边界2 2类贝叶斯决策规则把类贝叶斯决策规则把n n维特征空间分成了维特征空间分成了2 2个决策域个决策域决策域的边界称为决策边界，边界方程（或决策面方程）决策域的边界称为决策边界，边界方程（或决策面方程）满足：满足：g(x)=0g(x)=0决策边界（特征空间为决策边界（特征空间为n n维）维）n=1n=1时，决策边界为分界点时，决策边界为分界点n=2n=2时，决策边界为曲线时，决策边界为曲线n=3n=3时，决策边界为曲面时，决策边界为曲面n3n3时，决策边界为超曲面时，决策边界为超曲面2 2 BayesBayes概率分类器概率分类器g(x)阈值单元2 2类分类的类分类的BayesBayes分类器分类器2 2 BayesBayes概率分类器概率分类器3.13.1多类情况下的最小错误率多类情况下的最小错误率BayesBayes分类决策规则分类决策规则设设N个样本分为个样本分为c类类1，2，c。每个样本抽出每个样本抽出n个特征，个特征，x=（x1，x2，x3，xn）T3 3 多类多类BayesBayes分类器分类器3 3 多类多类BayesBayes分类器分类器3.23.2 C C类情况下的贝叶斯决策函数类情况下的贝叶斯决策函数3.33.3 C C类情况下的贝叶斯决策规则类情况下的贝叶斯决策规则3 3 多类多类BayesBayes分类器分类器3.43.4多类情况下的决策域与决策边界多类情况下的决策域与决策边界c c类贝叶斯决策规则把类贝叶斯决策规则把n n维特征空间分成维特征空间分成了了c c个决策域个决策域决策域的边界由决策函数确定决策域的边界由决策函数确定对于对于2 2个相邻的决策域个相邻的决策域RiRi和和RjRj，其边界方，其边界方程满足：程满足：g gi i(x)=g(x)=gj j(x)(x)3 3 多类多类BayesBayes分类器分类器多类多类BayesBayes分类器分类器g1(x)Maxg(x)g2(x)gn(x)3 3 多类多类BayesBayes分类器分类器4 4 最小风险率最小风险率BayesBayes分类分类风险即为损失风险即为损失条件风险条件风险将样本向量将样本向量x x判属某类所造成的损失的条件判属某类所造成的损失的条件数学期望数学期望2 2类分类的最小风险类分类的最小风险BayesBayes决策思想决策思想对于待决策对于待决策x x，如果将其决策为类，如果将其决策为类1 1的风险的风险大于决策为类大于决策为类2 2的风险，则待决策的风险，则待决策x x属于类属于类1 1；反之，则待决策；反之，则待决策x x属于类属于类2 2。4.14.1 2 2类情况下模式判决条件风险类情况下模式判决条件风险用用L Lijij(i,ji,j=1,2)=1,2)表示表示x x本属于本属于j j类而但被判类而但被判属属i i类所造成的损失，则：类所造成的损失，则：4 4 最小风险率最小风险率BayesBayes分类分类4.34.3 基于最小风险的基于最小风险的2 2类贝叶斯决策规则：类贝叶斯决策规则：4 4 最小风险率最小风险率BayesBayes分类分类4.44.4多类情况下最小风险率多类情况下最小风险率BayesBayes决策决策c c类条件风险定义类条件风险定义：基于最小风险的基于最小风险的c c类贝叶斯决策规则类贝叶斯决策规则：4 4 最小风险率最小风险率BayesBayes分类分类4.54.5 最小风险率最小风险率BayesBayes决策与决策与最小错误率最小错误率BayesBayes决策的关系决策的关系2 2类情况下，似然比表示的最小风险贝叶斯决策规则类情况下，似然比表示的最小风险贝叶斯决策规则：2 2类情况下，似然比表示的最小错误率贝叶斯决策规则类情况下，似然比表示的最小错误率贝叶斯决策规则：如果正确决策的损失为如果正确决策的损失为0 0（L L1111=L=L2222=0=0），错误决策损失相等），错误决策损失相等（L L1212=L=L2121），则两种决策等价），则两种决策等价最小错误率贝叶斯决策是最小风险率贝叶斯决策的特例最小错误率贝叶斯决策是最小风险率贝叶斯决策的特例5.1正态分布判别函数正态分布判别函数 1、为什么采用正态分布：、为什么采用正态分布：a、正态分布在物理上是合理的、广泛的。、正态分布在物理上是合理的、广泛的。b、正态分布数学上简单，、正态分布数学上简单，N(,)只有均值和方差两个参数。只有均值和方差两个参数。v5 正态分布决策理论正态分布决策理论如果在特征空间中的某一类样本，较多地分布在这一类均值附近，远离均值点的样本如果在特征空间中的某一类样本，较多地分布在这一类均值附近，远离均值点的样本比较少，此时用正态分布作为这一类的概率模型是合理的。比较少，此时用正态分布作为这一类的概率模型是合理的。v 5.2、单变量正态分布、单变量正态分布：v5 正态分布决策理论正态分布决策理论5.35.3、（多变量）多维正态分布、（多变量）多维正态分布(1)(1)函数形式：函数形式：v5 正态分布决策理论正态分布决策理论v5 正态分布决策理论正态分布决策理论5 正态分布决策理论正态分布决策理论(1)不相关性等价于独立性不相关性等价于独立性证明：5 正态分布决策理论正态分布决策理论(2)(2)(3)(3)5.4 判别函数：判别函数：类的条件概率密度用正态来类的条件概率密度用正态来表示：表示：v5 正态分布决策理论正态分布决策理论5.5 最小错误率最小错误率(Bayes)分类器：分类器：从最小错误率这个角度来分析从最小错误率这个角度来分析Bayes 分类器分类器 1.第一种情况：各个特征统计独立，且同方差情第一种情况：各个特征统计独立，且同方差情况。况。(最简单情况最简单情况)v5 正态分布决策理论正态分布决策理论 判别函数判别函数：v5 正态分布决策理论正态分布决策理论v5 正态分布决策理论正态分布决策理论v5 正态分布决策理论正态分布决策理论v如果如果M类先验概率也相等情况：类先验概率也相等情况：最小距离分类器：未知最小距离分类器：未知x与与i相减，找最近的相减，找最近的i把把x归类归类2、第二种情况：、第二种情况：i 相等，即各类协方差相等。未知未知x，把，把x与各类均值相减，把与各类均值相减，把x归于最近一类。归于最近一类。最小距离分类器。最小距离分类器。v5 正态分布决策理论正态分布决策理论v5 正态分布决策理论正态分布决策理论3、第三种情况、第三种情况(一般情况一般情况)：为任意，各类协方差矩阵不等，为任意，各类协方差矩阵不等，二次项二次项xT x与与i有关。所以判别函数为二次型函数。有关。所以判别函数为二次型函数。v5 正态分布决策理论正态分布决策理论v例例1、有训练集资料矩阵如下表所示，现已知，、有训练集资料矩阵如下表所示，现已知，N=9、N1=5、N2=4、d=2、M=2，试问，试问，X=(0,0)T应属于哪一类？应属于哪一类？v解解1、假定二类协方差假定二类协方差 矩阵不等（矩阵不等（12）则均值则均值:训练样本号训练样本号k k1 2 3 4 5 1 2 3 4 特征特征 x x1 1特征特征 x x2 21 1 0 -1 -1 0 1 0 -1 0 1 1 1 0-1 -2 -2 -2类别类别1 2v解解2 2、假定两类协方差矩阵相等=1+248写在最后写在最后成功的基础在于好的学习习惯成功的基础在于好的学习习惯The foundation of success lies in good habitsThe foundation of success lies in good habits 结束语结束语当当你尽了自己的最大努力你尽了自己的最大努力时时，失败失败也是伟大也是伟大的，的，所以不要放弃，坚持就是正确的。所以不要放弃，坚持就是正确的。When You Do Your Best,Failure Is Great,So DonT Give Up,Stick To The End演讲演讲人：人：XXXXXX 时时 间：间：XX年年XX月月XX日日