【教学课件】第三章多元正态分布

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第三章 多元正态分布,3.1,多元正态分布的定义,3.2,多元正态分布的性质,3.3,极大似然估计及估计量的性质,3.4,复相关系数和偏相关系数,3.5,和,(,n,1),S,的抽样分布,*3.6,二次型分布,1,3.1,多元正态分布的定义,一元,正态分布,N,(,2,),的概率密度函数,为,若随机向量,的概率密度函数为,则称,x,服从,p,元正态分布,，记作,x,N,p,(,),，其中，参数,和,分别为,x,的均值和协差阵。,2,例（二元正态分布 ）,设,x,N,2,(,),，这里,易见，,是,x,1,和,x,2,的相关系数。当,|,|0),作如下的剖分：,12,则子向量,x,1,和,x,2,相互独立，当且仅当,12,=0,。,可作一般化推广，并,对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。,例,3.2.5,设,x,N,3,(,),，其中,则,x,2,和,x,3,不独立，,x,1,和,(,x,2,x,3,),独立。,(7),设,x,N,p,(,),0,，则,*(8),略,13,*(9),略,*(10),略,(11),设,x,N,p,(,),0,，作如下剖分,则给定,x,2,时,x,1,的条件分布为 ，其中,12,和,112,分别是,条件数学期望,和,条件协方差矩阵,，,112,通常称为,偏协方差矩阵,。,14,这一性质,可作一般化推广，并,对于多元正态变量，其子向量的条件分布仍是（多元）正态的。,例,3.2.7,设,x,N,3,(,),，其中,试求给定,x,1,+2,x,3,时,的条件分布。,15,解,令,，于是,16,给定,y,2,时,y,1,的条件均值和条件协差阵分别为,所以,17,3.3,极大似然估计及估计量的性质,简单随机样本,（简称,样本,）：,满足：,x,1,x,2,x,n,独立，且与总体分布相同。,设,x,N,p,(,) ,0,，,x,1,x,2,x,n,是从中抽取的一个样本。,数据矩阵,或,观测值矩阵,：,一、极大似然估计,二、估计量的性质,18,一、极大似然估计,1.,和,的极大似然估计,2.,相关系数的极大似然估计,19,1.,和,的,极大似然估计,似然函数,：,是样本联合概率密度,f,(,x,1,x,2,x,n,),的任意正常数倍，记为,L,(,),。不妨取,20,极大似然估计,一元正态情形：,多元正态情形：,其中 称为,样本均值向量,（简称为,样本均值,），,称为,样本离差矩阵,，,称为,样本协方差矩阵,。,21,2.,相关系数的极大似然估计,相关系数,ij,的极大似然估计为,其中,。称,r,ij,为,样本相关系数,、,为,样本相关矩阵,。,22,二、估计量的性质,1.,无偏性,2.,有效性,3.,一致性,4.,充分性,23,1.,无偏性,如果 ，则称估计量 是被估参数,的一个,无偏估计,，否则就称为,有偏的,。,。,， 是,的有偏估计。,E,(,S,)=,。,24,证明,25,2.,有效性,设,是,的一个无偏估计，若对,的任一无偏估计,有,即,为非负定矩阵，则称,为,的,一致最优无偏估计,。,可以证明，对于多元正态总体，,和,S,分别是,和,的一致最优无偏估计。,26,3.,一致性,如果未知参数,（,可以是一个向量或矩阵,）,的估计量,随着样本容量,n,的不断增大，而无限地逼近于真值,，则称,为,的一致估计，或称相合估计。,估计量的一致性是在大样本情形下提出的一种要求，而对于小样本，它不能作为评价估计量好坏的准则。,可以证明，,和,（,或,S,）,分别是,和,的一致估计,（,无需总体正态性的假定,）,。,27,4.,充分性,如果一个统计量能把含在样本中的有关总体,（,或有关未知参数,）,的信息一点都不损失地充分提取出来，则这种统计量就称为,充分统计量,。,可以证明，对于总体,N,p,(,),，当,已知时，,是,的充分统计量；当,已知时，,是,的充分统计量；当,和,均未知时，,( ,A,),是,(,),的充分统计量。,用来作为估计量的充分统计量称为充分估计量。,A, ,S,这三者之间只相差一个常数倍，所含的信息完全相同，,故当,和,均未知时，,也都是,(,),的,充分统计量。,若,按无偏性的准则，,则,可采用,( ,S,),作为未知参数,(,),的充分估计量。,28,3.4,复相关系数和偏相关系数,一、复相关系数,*,二、最优线性预测,三、偏相关系数,29,一、复相关系数,（简单）,相关系数度量了一个随机变量,x,与另一个随机变量,y,之间线性关系的强弱。,复相关系数度量了一个随机变量,y,与一组随机变量,x,1,x,2,x,p,之间线性关系,的强弱。,设,30,则,y,和,x,的线性函数,l,x,（,l,0,）,间的最大相关系数称为,y,和,x,间的,复,（,或,多重,）,相关系数,（,multiple correlation coefficient,）,，记作,y,x,或,y,1,2,p,，它度量了一个变量,y,和一组变量,x,1,x,2,x,p,间的相关程度,。,若,x,1,x,2,x,p,互不相关，则有,31,例,试证,随机变量,x,1,x,2,x,p,的任一线性函数,F,=,a,1,x,1,+,a,2,x,2,+,a,p,x,p,与,x,1,x,2,x,p,的复相关系数为,1,。,证明,32,y,x,的极大似然估计,设,这里,n,p,，则在多元正态的假定下，复相关系数,y,x,的极大似然估计为,称为,样本复相关系数,。,33,例,3.4.2,今对,31,个人进行人体测试，考察或测试的七个指标是： 年龄,(,x,1,),、体重,(,x,2,),、肺活量,(,x,3,),、,1.5,英里跑的时间,(,x,4,),、休息时的脉搏,(,x,5,),、跑步时的脉搏,(,x,6,),和跑步时记录的最大脉搏,(,x,7,),。数据列于表。,可算得,x,3,与,x,1,x,2,x,4,x,5,x,6,x,7,的样本复相关系数,34,编号,x,1,x,2,x,3,x,4,x,5,x,6,x,7,1,44,89.47,44.609,11.37,62,178,182,2,40,75.07,45.313,10.07,62,185,185,3,44,85.84,54.297,8.65,45,156,168,4,42,68.15,59.571,8.17,40,166,172,5,38,89.02,49.874,9.22,55,178,180,6,47,77.45,44.811,11.63,58,176,176,7,40,75.98,45.681,11.95,70,176,180,8,43,81.19,49.091,10.85,64,162,170,9,44,81.42,39.442,13.08,63,174,176,10,38,81.87,60.055,8.63,48,170,186,11,44,73.03,50.541,10.13,45,168,168,12,45,87.66,37.388,14.03,56,186,192,13,45,66.45,44.754,11.12,51,176,176,14,47,79.15,47.273,10.6,47,162,164,15,54,83.12,51.855,10.33,50,166,170,16,49,81.42,49.156,8.95,44,180,185,17,51,69.63,40.836,10.95,57,168,172,18,51,77.91,46.672,10,48,162,168,19,48,91.63,46.774,10.25,48,162,164,20,49,73.37,50.388,10.08,76,168,168,21,57,73.37,39.407,12.63,58,174,176,22,54,79.38,46.08,11.17,62,156,165,23,52,76.32,45.441,9.63,48,164,166,24,50,70.87,54.625,8.92,48,146,155,25,51,67.25,45.118,11.08,48,172,172,26,54,91.63,39.203,12.88,44,168,172,27,51,73.71,45.79,10.47,59,186,188,28,57,59.08,50.545,9.93,49,148,155,29,49,76.32,48.673,9.4,56,186,188,30,48,61.24,47.92,11.5,52,170,176,31,52,82.78,47.467,10.5,53,170,172,表,3.4.1,人体的测试数据,35,*,二、最优线性预测,当我们用,x,的函数,g,(,x,),来预测,y,时，可用均方误差,E,y,g,(,x,),2,作为预测精度的度量。如果限制,g,(,x,),为线性函数，则使,E,y,g,(,x,),2,达到最小的线性预测函数是,即有,称 为,用,x,对,y,的,最优线性预测,。,36,最优线性预测,的,均方误差,的,精度与,yy,和,y,x,有关,。,被预测变量,y,可作如下分解：,=,最优线性预测,+,预测误差,（受,x,线性影响部分）,（不受,x,线性影响部分）,37,预测误差部分可看作是从,y,中扣除,x,的线性影响后剩余的部分，它不受,x,的线性影响，因为,称之为,总体复判定系数,，它表示,y,的方差可由,x,1,x,2,x,p,联合解释的比例，该值越大，表明预测效果越好。,38,在,y,对,x,1,x,2,x,p,的多元线性回归模型中，可以证明：,(1),y,与预测值,的样本相关系数等于,y,与,x,1,x,2,x,p,的样本复相关系数，即,(2),（样本）复判定系数为,例,3.4.3,在例中，建立,x,3,对,x,1,x,2,x,4,x,5,x,6,x,7,的六元线性回归模型，拟合函数为,可用来对,x,3,进行预测，复判定系数,R,2,=0.8480,，（样本）复相关系数,，,也是,x,3,与预测值,的样本相关系数。,39,三、偏相关系数,两个变量之间的相关性，除了受这两个变量彼此间的影响外，常常还受其他一系列变量的影响。由于这个原因，相关系数有时也称为,总,（或,毛,，,gross,）,相关系数,，其意思是包含了由一切影响带来的相关性。,顺便指出，相关系数有时亦称为简单相关系数或,皮尔逊,（,Pearson,）,相关系数,或,零阶偏相关系数,。,40,例,3.4.4,x,1,家庭的饮食支出,x,2,家庭的衣着支出,x,3,家庭的,收入,x,1,和,x,2,之间存在着较强的正相关,性,。,x,3,分别与,x,1,和,x,2,的强正相关性导致了,x,1,和,x,2,的,较,强,正相关性,。,如果,我们能用某种方式把,x,3,的影响消除掉，或者说控制了,x,3,（即,x,3,保持不变），则,x,1,和,x,2,之间（反映净关系）的相关性可能就很不一样了，很有可能会显示负相关性,。,41,将,x,(0),S,剖分如下：,称 为给定,x,2,时,x,1,的,偏协方差矩阵,。记 ，称 为,偏协方差,，它是剔除了 的（线性）影响之后，,x,i,和,x,j,之间的协方差。,42,给定,x,2,时,x,i,和,x,j,的,偏相关系数,（,partial correlation coefficient,）,定义为,其中 。,ij,k,+1,p,度量了剔除,x,k+,1,x,p,的（线性）影响之后，,x,i,和,x,j,间相关关系的强弱。,对于多元正态变量,x,，由于,112,也,是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而,ij,k,+1,p,同时也度量了在,x,k+,1,x,p,值给定的条件下,x,i,和,x,j,间相关关系的强弱。,43,一阶偏相关系数可直接由相关系数算得。设,x,1,x,2,x,3,是三个随机变量，则有,(1),12,=0,并不意味着,12,3,=0,，反之亦然。,(2),12,与,12,3,未必同号。,此外，,12,与,12,3,之间孰大孰小也没有必然的结论。,44,偏相关系数的一般递推公式,：,在多元正态性的假定下，,ij,k,+1,p,的极大似然估计为,其中,。称,r,ij,k,+1,p,为,样本偏相关系数,。,45,例,3.4.5,假设对,16,个婴儿测量了出生体重（盎司）、出生天数（日）及舒张压（,mmHg,），数据见表。,表,3.4.2 16,个婴儿的出生体重、年龄及血压的数据,编号,出生体重（,x,1,）,出生天数,（,x,2,）,舒张压（,x,3,）,1,135,3,89,2,120,4,90,3,100,3,83,4,105,2,77,5,130,4,92,6,125,5,98,7,125,2,82,8,105,3,85,9,120,5,96,10,90,4,95,11,120,2,80,12,95,3,79,13,120,3,86,14,150,4,97,15,160,3,92,16,125,3,88,46,在控制出生天数后，舒张压与出生体重的样本偏相关系数为,在控制出生体重后，舒张压与出生天数的样本偏相关系数为,47,3.5,和,(,n, 1),S,的抽样分布,一、 的抽样分布,*,二、,(,n,1),S,的抽样分布,48,一、 的抽样分布,1.,正态总体,设,x,N,p,(,),0,，,x,1,x,2,x,n,是从总体,x,中抽取的一个样本，则,2.,非正态总体（,多元中心极限定理,） ,设,x,1,x,2,x,n,是来自总体,x,的一个样本，,和,存在，则当,n,很大且,n,相对于,p,也很大时，,49,*,二、,(,n,1),S,的抽样分布,设随机矩阵,X,=(,x,1,x,2,x,q,)=(,x,ij,),：,p,q,，,称“,vec,”为,拉直运算,。当,X,=,X,时，因,x,ij,=,x,ji,，故只需取其下三角部分组成一个缩减了的长向量，记作,vech(,X,),，即,vech(,X,)= (,x,11,x,p,1,x,22,x,p,2,x,p,1,p,1,x,p,p,1,x,pp,),X,的分布是指,vec(,X,),或（当,X,=,X,时）,vech(,X,),的分布,。,拉直运算将矩阵分布问题转化为了向量分布的问题。,50,设随机向量,x,1,x,2,x,n,独立同分布于,N,p,(,0,),，,0,，,n,p,，则,p,阶矩阵,的分布称为自由度为,n,的（,p,阶）,威沙特,（,Wishart,）,分布,，记作,W,p,(,n,),。当,p,=1,，,=,2,=1,时，显然有,，即有,W,1,(,n,1)=,2,(,n,),因此，威沙特分布是卡方分布在多元场合下的一种推广。,51,威沙特分布,的,性质,(1),设,W,i,W,p,(,n,i,),，,i,=1,2,k,，且相互独立，则,W,1,+,W,2,+,W,k,W,p,(,n,1,+,n,2,+,n,k,),(2),设,W,W,p,(,n,),，,C,为,q,p,常数矩阵，则,CWC,W,q,(,n,CC,),设,x,1,x,2,x,n,是取自,N,p,(,),，,0,的一个样本，,n,p,，则可以证明，,和,S,相互独立，且有,(,n,1),S,W,p,(,n,1,),52,