第2章正态分布时的统计决策课件

,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Made in,CV&PRLab of Shandong University,Made in,CV&PRLab,of Shandong University,2.10,正态分布时的统计决策,2.10.1,正态分布概率密度函数的定义及性质,1,2.10.2,正态分布中的,Bayes,分类方法,2,Made in,CV&PRLab,of Shandong University,在统计决策理论中，涉及到类条件概率密度函数 。对许多实际的数据集，正态分布通常是合理的近似。如果在特征空间中的某一类样本，较多地分布在这一类均值附近，远离均值点的样本比较少，此时用正态分布作为这一类的概率模型是合理的。另外，正态分布概率模型有许多好的性质，有利于作数学分析。概括起来就是：,（,1,）物理上的合理性；（,2,）数学上的简单性,下面重点讨论正态分布分布及其性质，以及正态分布下的,Bayes,决策理论。,2.10,正态分布时的统计决策,Made in,CV&PRLab,of Shandong University,1,单变量正态分布,定义： （,2.8.1-1,）,其中： 为随机变量,x,的期望，也就是平均值；,为,x,的方差， 为均方差，又称为标准差。,（,2.8.1-2,）,（,2.8.1-3,）,2.10.1,正态分布概率密度函数的定义及性质,Made in,CV&PRLab,of Shandong University,概率密度函数的一般图形如下：,Made in,CV&PRLab,of Shandong University,具有以下性质：,从 的图形上可以看出，只要有两个参数 就可以完全确定其曲线。为了简单，常记 为 。若从服从正态分布的总体中随机抽取样本,x,，约有,95,的样本落在 中。样本的分散程度可以用 来表示， 越大分散程度越大。,（,2.8.1-4,）,Made in,CV&PRLab,of Shandong University,2,多元正态分布,定义： （,3.1-5,）,其中： 为,d,维随机向量，对于,d,维随机向量,x,，它的均值向量 是,d,维的。也就是：,为,d,维均值向量。,是 维协方差矩阵， 是 的逆矩阵， 为 的行列式。协方差矩阵 是对称的，其中有 个独立元素。由于 可由 和 完全确定，所以实际上 可由,个独立元素来确定。,Made in,CV&PRLab,of Shandong University,是 的转置，且：,、 分别是向量,x,和矩阵 的期望。,具体说：若 是 的第,i,个分量， 是 的第,i,个分量， 是 的第,i,、,j,个元素。,（,3.1-6,）；其中为边缘分布,Made in,CV&PRLab,of Shandong University,对于二维随机变量,X,和,Y,作为一个整体，其分布函数,F,（,x,，,y,），而,X,和,Y,都是随机变量，各别也有分布函数,FX(x),、,FY(y),，分别称为二维随机变量（,X,，,Y,）关于,X,和,Y,的边缘分布函数。有：,和,对于离散随机变量有：,从中得到,X,的分布律为：,同样，,Y,的分布律为：,Made in,CV&PRLab,of Shandong University,对于连续型随机变量（,X,，,Y,），假定它的概率密度为 ，由：,知道，,X,的概率密度为：,同样也可以求出,Y,的概率密度函数。,Made in,CV&PRLab,of Shandong University,而：,（,3.1-7,）,（,3.1-8,）,协方差,矩阵,：,是一个对称矩阵，只考虑 为正定矩阵的情况，也就是 所有的子式都大于,0,。即 ， ，,同单变量正态分布一样，多元正态分布 可以由 和 完全确定，常记为 。,Made in,CV&PRLab,of Shandong University,3,多元正态分布的性质,（,1,）参数 对分布的决定性,对于,d,维随机向量,x,，它的均值向量 也是,d,维的，协方差矩阵是对称的，其中有 个独立元素。 可由 完全确定，实际上 可由 个独立元素决定。常记为： 。,（,2,）等密度点的轨迹为一超椭球面,由 的定义公式（,3.1-5,）可知，当右边指数项为常数时，密度 的值不变，所以等密度点满足：,Made in,CV&PRLab,of Shandong University,可以证明，上式的解是一个超椭球面，其主轴方向取决于 的本征向量（特征向量），主轴的长度与相应的本征值成正比。如下图所示：,Made in,CV&PRLab,of Shandong University,从上图可以看出，从正态分布总体中抽取的样本大部分落在由 和 所确定的一个区域里，这个区域的中心由均值向量 决定，区域的大小由协方差矩阵决定。,在数理统计中，令： 式中 称为,x,到 的马氏距离（,Mahalanobis,）距离。所以，等密度点轨迹是,x,到 的马氏距离 为常数的超椭球面。该超椭球面构成的球体的大小是样本对于均值向量的“离散度度量”。,体积：,Made in,CV&PRLab,of Shandong University,d,为偶数,d,为奇数,如果,d,确定了，则 不变，,v,与 有关。也就是对于给定的维数,d,，样本离散度随 而变。,Made in,CV&PRLab,of Shandong University,（,3,）不相关性等价于独立性,概率论中，两个随机变量 和 之间不相关，并不意味着它们一定独立。如果 和 之间不相关，则的数学期望有：,如果 和 相互独立，则有：,独立性是比不相关更强的条件。不相关反映了 和 的总体性质。如果 和 相互独立，则它们之间一定不相关，反之则不成立。但是对服从正态分布的两个分量 和 ，若 与 互不相关，则它们之间一定独立。,证明：根据定义，,和,的协方差,又根据不相关定义,有：,又：,，,所以：有,Made in,CV&PRLab,of Shandong University,协方差矩阵,成为对角阵。,，,可以计算出：,Made in,CV&PRLab,of Shandong University,因此，,根据独立性的定义：正态分布随机向量的各分量间互不相关性与相互独立等价。,Made in,CV&PRLab,of Shandong University,（,4,）边缘分布与条件分布的等价性,不难证明正态随机向量的边缘分布与条件分布仍服从正态分布。从（,3,）证明得出的结论 表达式，如果,x,用 表示，有：,也就是说，边缘分布 服从均值为 ，方差为 的正态分布：,同理，,Made in,CV&PRLab,of Shandong University,另外，条件分布，给定 的条件下 的分布：,代入上式， 服从正态分布，同理 也服从正态分布。,Made in,CV&PRLab,of Shandong University,（,5,）线性变换的正态性,对于多元随机向量的线性变换，仍为多元正态分布的随机向量。,就是：,x,服从正态分布 ，对,x,作线性变换 ，其中,A,为线性变换矩阵，且 ，则,y,服从正态分布：,Made in,CV&PRLab,of Shandong University,（,6,）线性组合的正态性,若,x,为多元正态随机向量，则线性组合是一维的正态随机变量：,其中，,a,与,x,同维。,Made in,CV&PRLab,of Shandong University,2.10.2,正态分布中的,Bayes,分类方法,在上一章，我们已经把基于,Bayes,公式的几种分类判决规则抽象为相应的判决函数和决策面方程。这几种方法中,Bayes,最小错误率判决规则是一种最基本的方法。如果取,0,1,损失函数，最小风险判决规则和最大似然比判决规则均与最小错误判决规则等价。为了方便，我们以最小错误判决规则为例来研究,Bayes,分类方法在正态分布中的应用。,由最小错误率判决规则抽象出来的判决函数如下：,Made in,CV&PRLab,of Shandong University,如果类概率密度是正态分布的，则,由于对数函数是一个单调变化的函数，上式右边取对数后作为判决函数,使用不会改变类型区域的划分。因此：,其中，,域的划分，可以去掉。,与类型无关，所有函数皆加上此项后，并不影响区,Made in,CV&PRLab,of Shandong University,下面对几种特殊情况进行讨论。,1,情况一： ， 该情况下，每类的协方差矩阵相等，而且类的各特征间相互独立（由上节的性质得知），具有相等的方差 。,因此：,将上两式代入 ：,Made in,CV&PRLab,of Shandong University,上式中的第,2,、,3,项与类别无关，可以忽略，因此 可以简化为：,其中： ， ，为,x,到类 的均值向量 的“欧氏距离”的平方。,讨论一个特殊情况， ，所有各类概率相等。则：,此时，对,x,的归类表示为：计算,x,到各类均值 的欧氏距离的平方 ，,然后把,x,归于具有,Made in,CV&PRLab,of Shandong University,的类（即 最大）。这种分类器叫最小距离分类器。,Made in,CV&PRLab,of Shandong University,接着对 进一步化简：,式中： 与,i,无关，可以忽略：,式中：,Made in,CV&PRLab,of Shandong University,是一个线性函数。,决策规则：对某个,x,计算 ， ，若 ，则决策 。,由于为 线性函数，其决策面由线性方程 构成，决策面是一个超平面。,Made in,CV&PRLab,of Shandong University,上述结果表示在二维特征空间里，如下图所示：,Made in,CV&PRLab,of Shandong University,两个同心圆是两类概率分布等密度点轨迹，两个圆心就是两类的均值点。,两类的区分线 与 垂直，其交点为 。 一般不是的中点，但当 时， 为 的中点。若 时， 向先验概率较小的那个类型的均值点偏移。可以,推广到多类的情况，注意这种分类方法没有不确定的区域。,Made in,CV&PRLab,of Shandong University,2.,情况二：,各类的协方差矩阵相等，在几何上，相当于各类样本集中在以该类均值为中心的同样大小和形状的超椭球内。,不变，与,i,无关：,Made in,CV&PRLab,of Shandong University,一个特例，当 时，各样本先验概率相等。,其中：,为,x,到均值点 的“马氏距离”的平方（,Mahalanobis,）。,进一步简化：,对于样本,x,只要计算出 ，把,x,归于 最小的类别。,接着对 化简：,Made in,CV&PRLab,of Shandong University,去掉与 无关的项：,其中：,也是一个线性函数，对应的决策面也是一个超平面。,Made in,CV&PRLab,of Shandong University,对于 和 相邻，决策面方程：,其中：,与第一种情况不同，此时决策面通过 ，但不与 正交（垂直）。,Made in,CV&PRLab,of Shandong University,二维情况：,Made in,CV&PRLab,of Shandong University,当各类先验概率相等时,位于 的中点上。当各类先验概率不相等时， 不在 的中点上，而是偏向先验概率较小的均值点。,Made in,CV&PRLab,of Shandong University,3,第三种情况,各类协方差矩阵不等： ，,由于：,去掉与 无关的项 ，得：,表示为：,其中：,Made in,CV&PRLab,of Shandong University,维向量,此时 表示为 的二次型。,对于 和 相邻，决策面应为：,Made in,CV&PRLab,of Shandong University,该曲线为超二次曲面。随 、 、 的不同，超二次曲面为：超球面、超椭球面、超抛物面、超双曲面，或超平面等。,假设特征空间是二维的，模式样本的两个分量之间是相互独立的，所以协方差矩阵是,2X2,维的对角矩阵。令各类的先验概率相等，那么不同类型区域的划分取决于各类的均值向量和两个方差项的差异，而决策面的形状主要取决于两个方差项的差异。,Made in,CV&PRLab,of Shandong University,（,1,）若 ， ，且 ，则两类的概率分布等密度线分别是以各自均值点为圆心的同心圆，圆的大小与相应的方差相一致。由于 ，所以来自类型 的样本更密集于它的均值点附近；同时，由于园的对称性，决策面为包围均值点 的一个圆。,Made in,CV&PRLab,of Shandong University,Made in,CV&PRLab,of Shandong University,（,2,）若在上图的,(a),的基础上增大分量,x2,的方差 和 ，使 和 ，这样图,(a),中的圆在,x2,方向上伸展，而变成椭圆，如图,(b),所示，决策面也变成了椭圆。,（,3,）若 ， ，在这种情况下，分量,x2,大的样本,x,很可能来自类型 ，使决策面变成一条抛物线，如图,(c),所示。,Made in,CV&PRLab,of Shandong University,（,4,）若在,(c),的基础上增大 ，使 ， ，,在这种情况下，决策面变成双曲线，如图,(d),所示。,（,5,）在一非常特殊的对称条件下，使,(d),中的双曲线向一对互 相垂直的直线退化，如图,(e),所示。在这种情况下，两种类型是线性可分的。,清华,模式识别,书上,P34,中间用图讨论了几种决策面的变化。,Made in,CV&PRLab,of Shandong University,例,1,：设在三维特征空间里，两类的类概率密度是正态分布的，分别在两个类型中获得,4,个样本，位于一个单位立方体的顶点上，如下图。两类的先验概率相等，试确定两类之间的决策面及相应的类型区域和。,Made in,CV&PRLab,of Shandong University,解： 和 表示两个类型，由图可知，两个类型的样本：,： ， ， ，,： ， ， ， 用各类样本的算术平均值近似代替各类均值向量，也就是：,为 中的样本数， 表示 的第 个样本。,协方差矩阵由其定义求得：,Made in,CV&PRLab,of Shandong University,式中 为类 的自相关函数。,由题中所给条件： ，,有： ，,Made in,CV&PRLab,of Shandong University,同理：,Made in,CV&PRLab,of Shandong University,因此， 符合情况二。用情况二的公式确定决策面。,Made in,CV&PRLab,of Shandong University,决策面为,，,，,先验概率相等,，,Made in,CV&PRLab,of Shandong University,决策方程：,也就是：,Made in,CV&PRLab,of Shandong University,如下图所示。,w,指向的一侧为正，是,w1,的区域,R1,，负向的一侧为,w2,。,Thank You !,