贝叶斯决策理论教材课件

路漫漫其悠远路漫漫其悠远少壮不努力，老大徒悲伤少壮不努力，老大徒悲伤少壮不努力，老大徒悲伤少壮不努力，老大徒悲伤2024/7/22贝叶斯决策理论教材贝叶斯决策理论教材路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂v模式识别是根据对象特征值将其分类。d个特征组成特征向量x=x1,xdT，生成d 维特征空间，在特征空间一个 x 称为一个模式样本。vBayes决策理论是用概率统计方法研究决策问题。为什么可用Bayes决策理论分类？样本的不确定性：样本从总体中抽取，特征值都是随机变量，在相同条件下重复观测取值不同，故x为随机向量。特征选择的不完善引起的不确定性；测量中有随机噪声存在。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂另一方面从样本的可分性来看：v当各类模式特征之间有明显的可分性时，可用直线或曲线(面)设计分类器，有较好的效果。v当各类别之间出现混淆现象时，则分类困难。这时需要采用统计方法，对模式样本的统计特性进行观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进行分类决策等。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯决策常用的准则贝叶斯决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂引言引言v机器自动识别分类，能不能避免错分类，做到百分机器自动识别分类，能不能避免错分类，做到百分之百正确？怎样才能减少错误？之百正确？怎样才能减少错误？v错分类往往难以避免，因此就要考虑减小因错分类错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，那么有没有可能对危害大的错误造成的危害损失，那么有没有可能对危害大的错误严格控制？严格控制？v什么是先验概率、类概率密度函数和后验概率？它什么是先验概率、类概率密度函数和后验概率？它们的定义和相互关系如何们的定义和相互关系如何?贝叶斯公式正是体现三贝叶斯公式正是体现三者关系的式子。者关系的式子。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂引言v贝叶斯决策理论贝叶斯决策理论贝叶斯统计决策理论是处理模式分类问题的基本理贝叶斯统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器（论之一，对模式分析和分类器（Classifier）的设计）的设计起指导作用。起指导作用。v贝叶斯决策的两个要求贝叶斯决策的两个要求各个类别的总体概率分布各个类别的总体概率分布(先验概率和类条件概先验概率和类条件概率密度率密度)是已知的是已知的 要决策分类的类别数是一定的要决策分类的类别数是一定的路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂引言vv在在在在连续情况连续情况连续情况连续情况下，假设对要识别的物理对象有下，假设对要识别的物理对象有下，假设对要识别的物理对象有下，假设对要识别的物理对象有d d种特征种特征种特征种特征观察量观察量观察量观察量x1 1,x2 2,xd d，这些特征的所有可能的取值范围这些特征的所有可能的取值范围这些特征的所有可能的取值范围这些特征的所有可能的取值范围构成了构成了构成了构成了d d维维维维特征空间特征空间。vv称向量称向量称向量称向量vv假设要研究的分类问题有假设要研究的分类问题有假设要研究的分类问题有假设要研究的分类问题有c c个类别，个类别，个类别，个类别，类型空间类型空间表示表示表示表示为为为为：n为为d维维特征向量特征向量。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂引言v评价决策有多种标准，对于同一个问题，采用不同评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下的标准会得到不同意义下“最优最优”的决策。的决策。v贝叶斯决策常用的准则：贝叶斯决策常用的准则：最小错误率准则最小错误率准则 最小风险准则最小风险准则 Neyman-Pearson准则准则 最小最大决策准则最小最大决策准则路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯决策常用的准则贝叶斯决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂Bayes决策准则决策准则v最小错误率准则最小错误率准则v最小风险准则最小风险准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策准则路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则n n黑色：第一类黑色：第一类黑色：第一类黑色：第一类n n粉色：第二类粉色：第二类粉色：第二类粉色：第二类n n绿色：哪一类？绿色：哪一类？绿色：哪一类？绿色：哪一类？n n统计决策理论就统计决策理论就统计决策理论就统计决策理论就是根据每一类总体是根据每一类总体是根据每一类总体是根据每一类总体的概率分布决定未的概率分布决定未的概率分布决定未的概率分布决定未知类别的样本属于知类别的样本属于知类别的样本属于知类别的样本属于哪一类！哪一类！哪一类！哪一类！路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则v先验概率：先验概率：v类条件概率：类条件概率：v后验概率：后验概率：v贝叶斯公式贝叶斯公式n n未获得观测数据之前类别的分布未获得观测数据之前类别的分布未获得观测数据之前类别的分布未获得观测数据之前类别的分布n n观测数据在各类别种情况下的分观测数据在各类别种情况下的分观测数据在各类别种情况下的分观测数据在各类别种情况下的分布布布布n nX X属于哪一类的概率属于哪一类的概率属于哪一类的概率属于哪一类的概率n其中：其中：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则 例：例：医生要根据病人血液中白细胞的浓度来判断病医生要根据病人血液中白细胞的浓度来判断病医生要根据病人血液中白细胞的浓度来判断病医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。人是否患血液病。人是否患血液病。人是否患血液病。两类识别问题：患病，未患病两类识别问题：患病，未患病两类识别问题：患病，未患病两类识别问题：患病，未患病根据医学知识和以往的经验，医生知道：根据医学知识和以往的经验，医生知道：根据医学知识和以往的经验，医生知道：根据医学知识和以往的经验，医生知道：vv患病的人，白细胞的浓度服从均值患病的人，白细胞的浓度服从均值患病的人，白细胞的浓度服从均值患病的人，白细胞的浓度服从均值20002000方差方差方差方差10001000的正的正的正的正态分布；未患病的人，白细胞的浓度服从均值态分布；未患病的人，白细胞的浓度服从均值态分布；未患病的人，白细胞的浓度服从均值态分布；未患病的人，白细胞的浓度服从均值70007000，方差方差方差方差30003000的正态分布；的正态分布；的正态分布；的正态分布；（类条件概率）（类条件概率）（类条件概率）（类条件概率）vv一般人群中，患病的人数比例为一般人群中，患病的人数比例为一般人群中，患病的人数比例为一般人群中，患病的人数比例为0.5%0.5%；（先验概率）（先验概率）（先验概率）（先验概率）vv一个人的白细胞浓度时一个人的白细胞浓度时一个人的白细胞浓度时一个人的白细胞浓度时31003100，医生应该做出怎样的判，医生应该做出怎样的判，医生应该做出怎样的判，医生应该做出怎样的判断？断？断？断？（后验概率？）（后验概率？）（后验概率？）（后验概率？）路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则v数学表示：数学表示：表示表示类别这类别这一随机一随机变变量量1：表示患病表示患病2：表示不患病表示不患病 X：表示白表示白细细胞胞浓浓度度这这一随机一随机变变量量 x：表示白表示白细细胞胞浓浓度度值值路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则vv医生根据已经掌握的知识知道类别的先验医生根据已经掌握的知识知道类别的先验分布：分布：n先验概率分布：先验概率分布：未获得观测数据（病人白未获得观测数据（病人白细胞浓度）之前类别的分布。细胞浓度）之前类别的分布。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则vv观测数据白细胞浓度分别在两种情况下的类观测数据白细胞浓度分别在两种情况下的类条件概率分布：条件概率分布：vv已知先验分布和观测值的类条件概率分布，已知先验分布和观测值的类条件概率分布，就可以用贝叶斯理论求得就可以用贝叶斯理论求得x属于哪一类的后属于哪一类的后验概率：验概率：和和路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则最小错误率准则v最小错误率准则最小错误率准则以先验概率、类条以先验概率、类条件概率密度、特征件概率密度、特征值（向量）为输入值（向量）为输入以后验概率作为类以后验概率作为类别判断的依据别判断的依据贝叶斯公式保证了贝叶斯公式保证了错误率最小错误率最小路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则v最小错误率的贝叶斯决策最小错误率的贝叶斯决策规则为：规则为：如果如果 大于大于 ，则把则把x归于患病状态，反之归于患病状态，反之则归于未患病状态。则归于未患病状态。（最（最大后验概率决策）大后验概率决策）nx1=x2?路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则v最小错误率准则的平均错误率：最小错误率准则的平均错误率：nx2=x3nx2和和x3 都是都是np(x,1)=p(x,2)n的根的根n，因此，因此n是两类分是两类分界界路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则v最小错误率准则的平均错误率：最小错误率准则的平均错误率：记平均错误率为记平均错误率为P(e)，令，令 t=x2=x3，则则 路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则v平均错误率是否最小？平均错误率是否最小？路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则v似然比公式似然比公式n则：则：n等价于：等价于：n似然比公式似然比公式路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则v特例特例1：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则v特例特例2：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则v形式逻辑（经典确定性推理）形式逻辑（经典确定性推理）以鲈鱼和鲑鱼分类为例：以鲈鱼和鲑鱼分类为例：假言：如果鱼的长度假言：如果鱼的长度 大于大于45cm，则该鱼为，则该鱼为 鲈鱼鲈鱼 ，否则该鱼为鲑鱼，否则该鱼为鲑鱼前提：现在某条鱼前提：现在某条鱼 结论：该鱼为鲑鱼结论：该鱼为鲑鱼v概率推理（不确定性推理）概率推理（不确定性推理）路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小错误率准则v例子：例子：给定给定 ，类条件概率密度如图。，类条件概率密度如图。现有一条鱼现有一条鱼 x=38cm，若采用最小错误率决策，该鱼应该为哪一类？若采用最小错误率决策，该鱼应该为哪一类？n故判决：故判决：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂Bayes决策准则决策准则v最小错误率准则最小错误率准则v最小风险准则最小风险准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策准则路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小风险准则v最小风险贝叶斯决策：最小风险贝叶斯决策：考虑各种错误造成损失不考虑各种错误造成损失不同而提出的一种决策规则。同而提出的一种决策规则。v条件风险：条件风险：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小风险准则v期望风险：期望风险：对于对于x的不同观察值，采取决策的不同观察值，采取决策i时时，其其条件条件风险风险大小大小是不同的。所以究竟采取哪一种决是不同的。所以究竟采取哪一种决策将随策将随x的取的取值值而定。而定。这样这样，决策，决策可以看成随机向可以看成随机向量量x的函数，的函数，记为记为(x)。可以定。可以定义义期望期望风险风险Rexp为为：v期望期望风险风险反映反映对对整个空整个空间间上所有上所有x的取的取值值采取相采取相应应的的决策决策(x)所所带带来的来的平均平均风险风险，也即条件，也即条件风险风险在特征在特征空空间间的平均的平均值值。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小风险准则v两分类问题的例子：两分类问题的例子：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂v似然比公式似然比公式路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂0-1 损失v当作出正确决策时（当作出正确决策时（i=j）时没有损失，而对）时没有损失，而对任何错误的决策，其损失为任何错误的决策，其损失为1。此时定义的损。此时定义的损失函数为失函数为0-1损失函数。损失函数。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小风险准则v不同的损失函数决定了不同的似然比判决阈不同的损失函数决定了不同的似然比判决阈值值：n每一类的判决域每一类的判决域可能是不连续的可能是不连续的!n a：0-1损失损失n b：1221路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小风险准则v最小风险贝叶斯决策的步骤：最小风险贝叶斯决策的步骤：1）根据先验概率和类条件概率计算出后验概率；）根据先验概率和类条件概率计算出后验概率；2）利用后验概率和损失矩阵计算采取每种决策）利用后验概率和损失矩阵计算采取每种决策的条件风险；的条件风险；3）比较各个条件风险的值，条件风险最小的决）比较各个条件风险的值，条件风险最小的决策即为最小风险贝叶斯决策策即为最小风险贝叶斯决策路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小风险准则路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小风险准则v对于贝叶斯最小风险决策，如果损失函数为对于贝叶斯最小风险决策，如果损失函数为“0-1损失损失”，即取如下的形式：，即取如下的形式：那么，条件风险为：那么，条件风险为：此时，此时，贝叶斯最小风险决策与最小错误率决策等贝叶斯最小风险决策与最小错误率决策等价价。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂Bayes决策准则决策准则v最小错误率准则最小错误率准则v最小风险准则最小风险准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策准则路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂Neyman-Pearson准则准则v最小错误率准则最小错误率准则:后验概率最大化，理论上错误率最小后验概率最大化，理论上错误率最小v最小风险准则：最小风险准则：风险函数最小化，理论上总风险最小风险函数最小化，理论上总风险最小v在先验概率和损失未知的情况下如何决策？在先验概率和损失未知的情况下如何决策？路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂Neyman-Pearson准则准则v问题：先验概率和损失未知问题：先验概率和损失未知通常情况下，无法确定损失。通常情况下，无法确定损失。先验概率未知，是一个确定的值先验概率未知，是一个确定的值某一种错误较另一种错误更为重要。某一种错误较另一种错误更为重要。v基本思想：基本思想：要求一类错误率控制在很小，在满足此条件的前要求一类错误率控制在很小，在满足此条件的前提下再使另一类错误率尽可能小。提下再使另一类错误率尽可能小。用用lagrange乘子法求条件极值乘子法求条件极值路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂Neyman-Pearson准则准则v对两分类问题，错误率可以写为：对两分类问题，错误率可以写为：v由于由于P(1)和和P(2)对具体问题往往是确定的对具体问题往往是确定的（但是未知），一般称（但是未知），一般称P1(e)和和P2(e)为两类错为两类错误率。误率。P1(e)和和P2(e)的的值值决定了决定了P(e)的的值值。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂Neyman-Pearson准则准则路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂Neyman-Pearson准则准则v为了求为了求L的极值点，将的极值点，将 L 分别对分别对 t 和和求偏求偏导：v注意：这里分析注意：这里分析的是两类错误率，的是两类错误率，与先验概率无关！与先验概率无关！v决策准则决策准则？路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂Neyman-Pearson准则准则v最小错误率准则的等价形式最小错误率准则的等价形式vNeyman-Pearson准则准则 两者都以似然比为基础，在未知先验概率时使用两者都以似然比为基础，在未知先验概率时使用Neyman-Pearson准则。准则。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂Bayes决策准则决策准则v最小错误率准则最小错误率准则v最小风险准则最小风险准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策准则路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小最大决策准则最小最大决策准则vNeyman-Pearson准则准则假定先验概率是一个确定的值假定先验概率是一个确定的值，此时判定结果会受到先验概率的影响。此时判定结果会受到先验概率的影响。v实际中，类先验概率实际中，类先验概率 P P(i i)往往不能精确知道或在往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决所以应考虑如何解决在在 P P(i i)不确知或变动的情况不确知或变动的情况下使期望风险变大的问题下使期望风险变大的问题。v最小最大决策准则：最小最大决策准则：在最差的条件下争取最好的结在最差的条件下争取最好的结果，果，使最大风险最小！使最大风险最小！路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小最大决策准则最小最大决策准则v分析期望风险分析期望风险 R 与先验概率与先验概率 P(1)的关系：的关系：对于两类问题，设一种分类识别决策将特征对于两类问题，设一种分类识别决策将特征空间空间R划分为两个子空间划分为两个子空间 R1 和和 R2，记，记ij为将属于为将属于 i 类的模式类的模式判为判为j 类的损失函数，各种类的损失函数，各种判决判决的期的期望风险为：望风险为：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小最大决策准则最小最大决策准则将将)(1)(12-=PP和和带入上式：带入上式：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小最大决策准则最小最大决策准则v期望风险期望风险可写成：可写成：v一旦一旦 R1 和和 R2 确定，确定，a和和b为常数为常数v一旦一旦 R1 和和 R2 确定，确定，R 与与 P(1)成成线线性关系性关系v选择选择使使 b=0 的的R1 和和 R2，期望风险与，期望风险与P(1)无关！无关！路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小最大决策准则最小最大决策准则PA(1)1 p(1)ACDR*BR*B0DCnR1,R2不变不变nR1,R2改变改变PB(1)b=0此时最大此时最大风险最小风险最小,D=ab=0 时的时的p(1)路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小最大决策准则最小最大决策准则v求 b=0 时的时的 p(1)等价于在R随着p(1)的变化曲线上求：时的时的p(1)。v在在 b=0 时的时的 决策条件下，决策条件下，期望风险与期望风险与p(1)无关，无关，值为值为a，此时，此时，R的最大值最小。这种决策准则称为的最大值最小。这种决策准则称为最小最大决策准则最小最大决策准则。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂最小最大决策准则最小最大决策准则v由于：由于：v当采用当采用0-1损失函数时，损失函数时，b=0可推导出：可推导出：n此时，最小最大损失判决所导出的最佳分界面应此时，最小最大损失判决所导出的最佳分界面应使两类错误概率相等！使两类错误概率相等！路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯决策常用的准则贝叶斯决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂概念描述v分类器分类器v判别函数判别函数v决策面决策面路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂v决策域：待识别的特征向量落在哪个决策域，该样本就被判为哪一类。v决策面：决策域的边界面。在数学上用解析形式表示成决策面方程。v判别函数：用于表达决策规则的某些函数。v判别函数和决策面方程是密切相关的，并且都是由相应的判决准则所确定的。分类器，判别函数，决策面分类器，判别函数，决策面路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂例：两类别问题按最小错误率做决策v相应的判别函数：gi(x)=p(wi|x),i=1,2v决策面方程：g1(x)=g2(x)v决策规则:如果gi(x)gj(x)i,j=1,2 且i不等于j，则x属于wi路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂分类器，判别函数，决策面分类器，判别函数，决策面v分类器最常用的表述方式为判别函数：分类器最常用的表述方式为判别函数：v基于判别函数的判决基于判别函数的判决每个类别对应一个判别函数。每个类别对应一个判别函数。如果：如果：则模式为则模式为路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂分类器，判别函数，决策面分类器，判别函数，决策面判别函数判别函数Discriminate functions路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂示例示例v基于最小误差概率的贝叶斯分类器基于最小误差概率的贝叶斯分类器v基于最小总风险的贝叶斯分类器基于最小总风险的贝叶斯分类器路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂Note:v只要满足如下条件只要满足如下条件,则表达则表达同样的判决规则可同样的判决规则可能采用不同的判别函数能采用不同的判别函数：用用f(gi(x)替换替换gi(x)，其中，其中f(*)为单调递增函数为单调递增函数 例如：例如：v gi(x)kgi(x),k为正常数为正常数v gi(x)gi(x)+k,k为任意常数为任意常数v gi(x)log(gi(x)路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂分类器，判别函数，决策面分类器，判别函数，决策面v特殊的，对于两分类问题，也可以只用一个特殊的，对于两分类问题，也可以只用一个判别函数判别函数 令：令：v判决规则判决规则v例如：例如：如果：如果：则模式为则模式为否则为否则为路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂分类器，判别函数，决策面分类器，判别函数，决策面v判决区域判决区域:判决区域判决区域 Ri 是特征空间中的一个子空间，判决规则是特征空间中的一个子空间，判决规则将所有落入将所有落入 Ri 的样本的样本x分类为类别分类为类别i。v决策面（决策面（Decision Surface）：）：判决边界是特征空间中划分判决区域的判决边界是特征空间中划分判决区域的（超）平（超）平面面在判决边界上，在判决边界上，通常有两类或多类的判别函数值通常有两类或多类的判别函数值相等相等路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂分类器，判别函数，决策面分类器，判别函数，决策面v判别函数和决策面：判别函数和决策面：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂分类器，判别函数，决策面分类器，判别函数，决策面n分类分类器设计器设计就是设就是设计判别计判别函数，函数，求出判求出判定面方定面方程程g(x)!路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯决策常用的准则贝叶斯决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂正态分布的统计决策正态分布的统计决策v为什么研究正态分布？为什么研究正态分布？物理上的合理性：较符合很多实际情况，观测值物理上的合理性：较符合很多实际情况，观测值通常是很多种因素共同作用的结果，根据通常是很多种因素共同作用的结果，根据中心中心极限定理极限定理，服从正态分布。，服从正态分布。数学上比较简单：参数个数少数学上比较简单：参数个数少v单变量正态分布单变量正态分布v多元正态分布多元正态分布路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂正态分布的统计决策正态分布的统计决策v单变量正态分布密度函数（高斯分布）：单变量正态分布密度函数（高斯分布）：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂正态分布的统计决策正态分布的统计决策v多元正态分布函数多元正态分布函数n期望期望(均值向量均值向量)n协方差矩阵协方差矩阵n(对称非负定对称非负定)路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂多元正态分布的性质多元正态分布的性质v参数个数：参数个数：d+d(d+1)/2 均值向量：均值向量：d个参数个参数 协方差矩阵：对称的协方差矩阵：对称的d维矩阵，维矩阵，d(d+1)/2个参数个参数v等密度点的轨迹为一超椭球面等密度点的轨迹为一超椭球面n要使密度要使密度p(x)值不变，需指数项为常数，即：值不变，需指数项为常数，即：n超椭球超椭球面面路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂多元正态分布的性质多元正态分布的性质v马氏距离马氏距离(Mahanlanobis Distance)(Mahanlanobis Distance)：与与 欧式距离：欧式距离：不同，不同，马氏距离考氏距离考虑数据的数据的统计分布，在模式分布，在模式识别中有广泛的用中有广泛的用处。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂多元正态分布的性质多元正态分布的性质v正态分布的随机变量，正态分布的随机变量，不相关等价于独立不相关等价于独立路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂多元正态分布的性质多元正态分布的性质v线性变换仍是正态分布线性变换仍是正态分布v线性组合仍是正态分布（线性变换的特例）线性组合仍是正态分布（线性变换的特例）n一维正一维正态随机变态随机变量量路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂正态分布的判别函数正态分布的判别函数v贝叶斯判别函数可以写成对数形式：贝叶斯判别函数可以写成对数形式：类条件概率密度函数为正态分布时：类条件概率密度函数为正态分布时：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂正态分布的判别函数正态分布的判别函数v情况一：情况一：各类协方差阵相等，且各特征各类协方差阵相等，且各特征独立独立，方，方差相等差相等v情况二：情况二：各类协方差阵相等各类协方差阵相等v情况三：情况三：各类协方差阵不相等各类协方差阵不相等 任意的任意的路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂情况一：情况一：n将将n代入代入n得到决策函数得到决策函数n展开决策函数展开决策函数n其中，二次项其中，二次项n对所有的对所有的 i 是相等的是相等的路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂n正交正交n因此，等价的判决函数为：因此，等价的判决函数为：n其中：其中：n决策决策面面n可以写成：可以写成：n其中：其中：n过过 与与n的超平面的超平面路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂n当当n，n但是，如果但是，如果n当当n，n向先验概率小的方向偏移。向先验概率小的方向偏移。n位于两中心的中点；位于两中心的中点；n相对于平方距离相对于平方距离n较小，那么判决边界的位置相较小，那么判决边界的位置相n对于确切的先验概率值并不敏感。对于确切的先验概率值并不敏感。n在此情况下，最优判决的规则为：在此情况下，最优判决的规则为：n 为将某特征向量为将某特征向量x归类，通过测量每一归类，通过测量每一x到到c个均值向量中个均值向量中n心的每一个欧氏距离，并将心的每一个欧氏距离，并将x归为离它最近的那一类。这样的归为离它最近的那一类。这样的n分类器称为分类器称为“最小距离分类器最小距离分类器”。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂情况一：最小距离分类器情况一：最小距离分类器n最小距离分类器最小距离分类器n判决边界是判决边界是d-1维超平面，垂直于两类中心的连线维超平面，垂直于两类中心的连线路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂情况一：最小距离分类器情况一：最小距离分类器v上述结果表示在二维特征空间里，如下图所示：上述结果表示在二维特征空间里，如下图所示：可以推广到多可以推广到多类的情况，的情况，注意注意这种分种分类方法没有不确定的区方法没有不确定的区域。域。n向先验概率向先验概率两两类判决面判决面与与垂直，垂直，的中点的中点时n其交点为其交点为为时n较小类型的均值点偏移。较小类型的均值点偏移。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂各各类的的协方差矩方差矩阵相等，在几何上，相当于各相等，在几何上，相当于各类样本本集中在以集中在以该类均均值为中心的同样大小和形状的超椭为中心的同样大小和形状的超椭球内。球内。情况二：情况二：n决策函数决策函数不不变，与，与 i 无关：无关：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂一个特例：一个特例：当当时，各，各样本先本先验概率相等。概率相等。其中：其中：为x到均到均值点点的的“马氏距离氏距离”（Mahalanobis）的平方。）的平方。对于于样本本x 只要只要计算出算出，把，把x归于于最小最小的的类别。进一步简化：进一步简化：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂n一般地，决策函数一般地，决策函数n展开决策函数展开决策函数n对所有的对所有的 i 是相等的，则是相等的，则n其中：其中：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂n正交正交n决策面决策面n可以写成：可以写成：n其中：其中：n过过 与与n的超平面的超平面n由于由于n并非沿着并非沿着n方向，方向，因此分界面并非与均值因此分界面并非与均值n间的连线垂直正交。间的连线垂直正交。路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂当各当各类先先验概率不相等概率不相等时，不在，不在的中的中点上，而是偏向先验概点上，而是偏向先验概率较小的均值点。率较小的均值点。上述结果表示在二维特征空间里，如下图所示：上述结果表示在二维特征空间里，如下图所示：当各当各类先先验概率相等概率相等时，判决面与的交点判决面与的交点路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂n时时n决策面向先验决策面向先验概率小的方向偏概率小的方向偏移移路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂情况三：情况三：任意的任意的去掉与去掉与i无关的无关的项：n可以写可以写为：其中二次其中二次项，一次，一次项系数和常数系数和常数项分分别为：n由于：由于：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂对应的决策面的决策面为超二次曲面。超二次曲面。n第第 i 类和第和第 j 类的决策面的决策面为：n随着随着n的不同，超二次曲面可以的不同，超二次曲面可以n为：为：超球面、超椭球面、超抛物面、超双曲面，或超超球面、超椭球面、超抛物面、超双曲面，或超平面等。平面等。n即：即：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂n甚至在方差不相等的一维高斯分布情况下，其判决甚至在方差不相等的一维高斯分布情况下，其判决区域也可以不连通！区域也可以不连通！路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂n情况三：情况三：各类协方差不同，决策面为为超二次曲面。各类协方差不同，决策面为为超二次曲面。上述结果表示在二维特征空间里，如下图所示：上述结果表示在二维特征空间里，如下图所示：路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂正态分布的判别函数正态分布的判别函数v例：两类正态分布样本：例：两类正态分布样本：n求决策面方程求决策面方程路漫漫其悠远路漫漫其悠远锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂锲而不舍，金石可镂n令令