多元统计分析第4章作业题选讲

多元统计分析多元统计分析第第4 4章章 判别分析）判别分析）4.1 4.1 判别分析和聚类分析有何区别？判别分析和聚类分析有何区别？答：答：判别分析是根据一定的判别准则，判定一个样本归属于判别分析是根据一定的判别准则，判定一个样本归属于哪一类哪一类。具体而言，设有。具体而言，设有n个样本，对每个样本测得个样本，对每个样本测得p项指标项指标（变量）的数据，已知每个样本属于（变量）的数据，已知每个样本属于k个类别（或总体）中个类别（或总体）中的某一类，通过找出一个最优的划分，使得不同类别的样本的某一类，通过找出一个最优的划分，使得不同类别的样本尽可能地区别开，并判别该样本属于哪个总体。尽可能地区别开，并判别该样本属于哪个总体。聚类分析是聚类分析是分析如何对样品（或变量）进行量化分类的问题分析如何对样品（或变量）进行量化分类的问题。在聚类之。在聚类之前，我们并不知道总体，而是通过一次次的聚类，使相近的前，我们并不知道总体，而是通过一次次的聚类，使相近的样品（或变量）聚合形成总体。样品（或变量）聚合形成总体。通俗来讲，判别分析是在已通俗来讲，判别分析是在已知有多少类及是什么类的情况下进行分类，而聚类分析是在知有多少类及是什么类的情况下进行分类，而聚类分析是在不知道类的情况下进行分类不知道类的情况下进行分类。多元统计分析多元统计分析第第4 4章章 判别分析）判别分析）4.2 4.2 简述距离判别法的基本思想和方法。简述距离判别法的基本思想和方法。答：距离判别的基本思想是计算样品与答：距离判别的基本思想是计算样品与各个各个总体之间的总体之间的距离距离（通常是马氏（通常是马氏距离），把样品判别为样品到总体距离最小的距离），把样品判别为样品到总体距离最小的总体。距离判别问题分为两个总体的距离判别问题和多总体。距离判别问题分为两个总体的距离判别问题和多个总体的距离判别问题。个总体的距离判别问题。两个总体的距离判别问题两个总体的距离判别问题设有协方差矩阵设有协方差矩阵相等的两个总体相等的两个总体G1和和G2，其均值分别是，其均值分别是 1和和 2，对于一个新的样品，对于一个新的样品X，要判断它来自哪个总体。计算，要判断它来自哪个总体。计算新样品新样品X到两个总体的马氏距离到两个总体的马氏距离d2（X，G1）和和d2（X，G2），则则多元统计分析多元统计分析22112222122212,=,若若待判，若GdGdGGdGdGdGdGxxxxxxxx21,1,2.iiidxxxiv令令 ，其中，其中 ，则上述判别规则可简化为：，则上述判别规则可简化为：Wxax1212112a 12,0,0=0若若待判，若GWGWWxxxxx多元统计分析多元统计分析多多个总体的个总体的距离判别问题距离判别问题v设有设有k个组个组1,2,k，它们的均值分别是，它们的均值分别是1,2,k，协方，协方差矩阵分别是差矩阵分别是1(0),2(0),k(0)，x到总体到总体i的平方马氏的平方马氏距离为距离为判别规则为判别规则为若若1=2=k=，则上述判别规则可作进一步简化。，则上述判别规则可作进一步简化。d2(x,i)=(xi)1(xi)=x1x2i1x+i1i =x1x2(Iix+ci)其中其中 ，判别规则简化，判别规则简化为为21,1,2,iiiidikxxx221,min,llii kdd xxx若111,1,2,2iiiiicik I 1,maxllliii kcc xI xI x若多元统计分析多元统计分析1 1,2 2,k k不全相等不全相等的情形的情形221,min,llii kdd xxx若21,1,2,iiiidikxxxSxx221,min,llii kdd 然后，做出判别：若xxx21,1,2,iiiidik首先，计算：xxx多元统计分析多元统计分析4.3 4.3 简述简述贝叶斯判别法的基本思想和方法贝叶斯判别法的基本思想和方法。kGGG,2112(x),(x),(x)kfffkqqq,210iq11kiiq 设设k k个总个总 的概率密度函数分别为的概率密度函数分别为 ，假设假设k k个个总体出现总体出现的概率分别为：的概率分别为：，。进行贝叶斯判别，通常有两大准则，一是依据后验概率最进行贝叶斯判别，通常有两大准则，一是依据后验概率最大准则；二是依据平均误判损失最小准则；同时要求已知：大准则；二是依据平均误判损失最小准则；同时要求已知：（1 1）总体的概率密度函数；）总体的概率密度函数；（2 2）各总体出现的先验概率；）各总体出现的先验概率；（3 3）各误判损失。）各误判损失。多元统计分析多元统计分析iGjG)|(ijCkji,2,1,将本来将本来属于总体属于总体 的的样品错判到样品错判到总体总体 时时造成的损造成的损失失为为 ，。1.1.最大后验概率准则最大后验概率准则x属于属于总体总体Gi的后验概率为的后验概率为最大后验概率准则采用如下的判别规则：最大后验概率准则采用如下的判别规则：1|,1,2,iiikiiiq fP Gikq fxxx1,|max|llii kPP xxx若多元统计分析多元统计分析2.2.平均误判损失最小准则平均误判损失最小准则 11111111|,|kkililkkliiilkkkkiililil iECME C l iC l i PGRC l i PRG PGC l i P l i qqC l i P l i xxxxx使使ECM达到最小的达到最小的判别判别规则规则：111,|min|kkljjjji kjjj lj iq fC ljq fC i j 若xxx多元统计分析多元统计分析4.4 4.4 简述费希尔判别法的基本思想和方法。简述费希尔判别法的基本思想和方法。费希尔判别费希尔判别的基本思想是投影（或降维）：用的基本思想是投影（或降维）：用p p 维向量维向量v 的少数几个线性组合（称为的少数几个线性组合（称为判别式判别式或或典型变量典型变量）（一般（一般r r明显小于明显小于p p）来代替原始的）来代替原始的p p 个变量个变量x x1 1,x x2 2,x xp p，以达到降维的目的，并根据这以达到降维的目的，并根据这r r 个判别式个判别式y y1 1,y y2 2,y yr r对样对样品的归属作出判别。特别地，可对前两个或前三个判别式作品的归属作出判别。特别地，可对前两个或前三个判别式作图，从直观的几何图形上区别各总体。图，从直观的几何图形上区别各总体。12,px xxx1122,rryyya xa xa x多元统计分析多元统计分析（1 1）判别式的求法）判别式的求法第一第一步步 计算样本组间离差阵和组内离差阵计算样本组间离差阵和组内离差阵多元统计分析多元统计分析第二步第二步 求特征值和特征向量求特征值和特征向量求矩阵求矩阵E E 1 1B B（或或B B 1 1E E）的的特征值和对应的单位特征向量。特征值和对应的单位特征向量。设设全部非零特征值依次为全部非零特征值依次为1 12 2 s s00，其中，其中，非零特非零特征值个数征值个数：s smin(min(k k 1,1,p p)相应的特征向量依次记为相应的特征向量依次记为t t1 1,t t2 2,t ts s（标准化为标准化为t ti iS Sp pt ti i=1,=1,i i=1,2,=1,2,s s），称，称y y1 1=t t1 1x x为为第一判别式第一判别式，y y2 2=t t2 2x x为为第第二二判别式判别式。一般地，称一般地，称y yi i=t ti ix x为为第第i i判别式判别式，i i=1,2,=1,2,s s。v由由s smin(min(k k1,1,p p)知，组数知，组数k k=2=2时只有一个判别式，时只有一个判别式，k k=3=3时最时最多只有两个判别式，判别式的个数不可能超过原始变量的个多只有两个判别式，判别式的个数不可能超过原始变量的个数数p p。多元统计分析多元统计分析第三步第三步 写出判别式写出判别式第一第一判别式判别式：y1=t1x；第第二二判别式判别式：y2=t2x；一般地，一般地，第第i判别式判别式：yi=tix，i=1,2,s。多元统计分析多元统计分析（2 2）判别规则）判别规则选取选取前前r(s)个判别式个判别式y1,y2,yr，使使累计贡献率累计贡献率：达到了一个较高的比例达到了一个较高的比例(如如75%95%)，则可采用这，则可采用这r个判别式个判别式做做判别。判别。判别规则判别规则为为：其中其中，i=1,2,k。该判别规则该判别规则也可表达为也可表达为：11rsiiii22111minrrljljjiji kjjyyyy x,若11inijjiiijjiynt x xx,=22111minrrljljii kjj xtxxtxx,若多元统计分析多元统计分析4.6 4.6 设有设有两个二元两个二元总体总体G1和和G2，从中分别抽取样本计算从中分别抽取样本计算得得到样本均值：到样本均值：样本协方差阵：样本协方差阵：假设两总体协方差矩阵相等，假设两总体协方差矩阵相等，试用试用距离判别法建立判别函数距离判别法建立判别函数和和判别规则。判别规则。并判别样品并判别样品 应应属于哪个总体？属于哪个总体？(1)(2)62,21xx 43,39pS60 x 4.5 4.5 试析距离判别法、贝叶斯判别法和费希尔判别法的异同试析距离判别法、贝叶斯判别法和费希尔判别法的异同。（略）（略）多元统计分析多元统计分析解：由已知可得，解：由已知可得，(1)(2)11162411210.52243931=393427 pxxS19341112343027 a1112241,()4102记则 xxxW xxxxxa6,()64=200当则 xW x16.0,所以，属于总体G x多元统计分析多元统计分析4.7 4.7 设有两正态总体设有两正态总体G1和和G2，且已知总体均值向量和总体，且已知总体均值向量和总体协方差阵分别为：协方差阵分别为：两总体的先验概率为：两总体的先验概率为：，误判损失为：误判损失为：，试用贝叶斯判别法，试用贝叶斯判别法判别样品判别样品 应应属于哪个总体？属于哪个总体？1224,62 1211=,19120.5qq421,1 2Ce Ce35x 多元统计分析多元统计分析解：由已知可得，解：由已知可得，正态总体正态总体G1和和G2的概率密度函数分别为：的概率密度函数分别为：111111112222112211()exp229121188exp2,61162288811exp9(2)2(2)(6)(6)1628f XXXxxxxxxxx多元统计分析多元统计分析122121112222112211()exp229141188exp4,21122288811exp9(4)2(4)(2)(2)1628fXXXxxxxxxxx根据根据最小最小平均误判代价平均误判代价准则准则：12121122211|2,2|11|2,2|1fcpfcpfcpfcpxxxxxx若若多元统计分析多元统计分析22433111|21|20.511=1=;0.52|12|1ccppepccpeee，2234221exp9(32)2(32)(56)(56)16=1exp9(34)2(34)(52)(52)16e 1235=xff 当时，xx 312342111|2,2|13.5fcpeefcpxG 从而，故判定属于总体xx