多元正态分布

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第一章多元正态分布及其参数估计,多元正态分布的重要性：,（,1,）多元统计分析中很多重要的理论和方法都是直接或间接,地建立在正态分布 基础上的，许多统计量的极限分布往往和,正态分布有关。,（,2,）许多实际问题涉及的随机向量服从多元正态分布或近似,服从正态分布。因此多元正态分布是多元统计分析的基础。,一、多元正态分布的定义,定义,1,：,若,p,维随机向量 的密度函数为：,其中， 是,p,维向量 是,p,阶正定矩阵，则称,X,服从,p,维正态分布，记为,定义,2,：,独立标准正态变量 的有限线性组合,称为,m,维正态随机变量，记为 其中,但是 的分解一般不是唯一的。,定义,3,：若随机向量,X,的特征函数为：,其中,t,为实向量，则称,X,服从,p,元正态分布。特征函数定义的优点在于可以包含 的情况。,二元正态分布曲面,(,11,=1,22,=1,12,=0),二元正态分布曲面,(,11,=2,22,=4,12,=0.75),二、多元正态分布的性质,性质,1,：若 ， 是对角矩阵，则,相互独立。,性质,2,：若 则,性质,3,：若 ，将 作剖分：,则,特别地，,二元正态分布,：,的边缘密度函数为：,当 时,X,1,与,X,2,不相关，对于正态分布来说不相关和独立,等价。因为：,为,X,1,和,X,2,的相关系数。,三、正态分布数据的变换,若一批多元数据不满足正态分布时，一般要对数据进行正态变换。,一般来说常采用幂变换，如果想使值变小可以采用变换：,如果想使值变大，则采用变换：,不管使用哪种幂变换，还应该对变换后的数据的正态性做检验,（如,Q-Q,图方法）,2,多元正态分布的参数估计,一、多元样本及其样本数字特征,多元样本,记,2,、多元样本的数字特征,样本均值,样本离差阵,样本协方差矩阵,或,二、多元正态总体的最大似然估计及其性质,利用最大似然法求出 和 的最大似然估计为：,求解过程,似然函数为：,对数似然函数为：,（引理：设,A,为,p,阶正定矩阵，则 当,A=I,等号成立。,最大似然估计的性质,，即 是 的无偏估计 。,，即 不是 的无偏估计。,，即 是无偏估计。,分别是 的最小方差无偏估量。,3.,分别是 的一致估计。,维斯特,（,Wishart,）,分布,-,一元 分布的推广,定义：,设 个随机向量,独立同分布于 ， 则随机矩阵 服从自由度,为,n,的非中心维斯特分布，记为,三、正态总体下的抽样分布,随机矩阵的分布：,将该矩阵的列向量（或行向量）连接起来组成的长向量称为拉直,向量，拉直向量的分布定义为该矩阵的分布，如果是对称矩阵则,只取其下三角的部分拉直即可。,性质：,（,1,）若,W,1,和,W,2,独立，其分布分别 和 ，则,分布为 ，即维斯特,(,Wishart,),分布有可加性。,（,2,） ，,C,为,m,p,阶的矩阵，则 的分布为 分布。,定理：,设 分别是来自正态总体 的样本均值和离差阵 ，则,(1),(2),相互独立。,S,为正定矩阵的充分必要条件是,np,。,11,一元正态总体：,为来自一元正态总体的一组样本,定理：,证明： 构造正交矩阵,做变换,第三章多元正态总体参数的假设检验,Hotelling,T,2,分布,一元,t,分布的推广,定义 设 ，且,X,与,S,相互独立， ，,则称统计量 的分布为非中心的,Hotelling,T,分布，记为 ，当 时称为中心,的,Hotelling,T,2,分布。记为,一元,t,分布,：,设总体 是一组样本,则统计量,其中,与 类似,并且,基本性质,:,定理：设 且,X,与,S,相互独立， 令,则,一、多元正态总体均值向量的假设检验,1.,单个正态总体,(1),协方差矩阵 已知时均值向量的检验,检验统计量,设水平为 ，查表确定 ，使得,（当,H,0,成立时）,拒绝域为：,当原假设成立时,(2),协方差矩阵 未知时均值向量的检验,检验统计量,拒绝域为：,2.,协方差阵相等时，两个正态总体均值向量的检验,3.,协方差阵不相等时，两个正态总体均值向量的检验,一元方差分析,一、方差分析的概念及有关术语,方差分析研究的是分类型自变量对数值型因变量的影响，,包括它们之间有没有关系、关系的强度如何等，所采用的方,法就是检验各个总体的均值是否相等来判断分类型自变量对数,值型因变量是否有显著影响。,例子：,为了对几个行业的服务质量进行评价，消费者协会在,零售业、旅游业、航空公司、家电制造业分别抽取了不同的,企业作为样本。每个行业中所抽取的样本在服务对象、服务,内容、企业规模等基本上是相同的，统计出消费者对,23,家企业,的投诉次数，现判断几个行业的服务质量是否有差别。投诉,次数如下表：,4.,多个正态总体均值向量的检验（多元方差分析）,要分析,4,个行业的服务质量是否有显著差异，实际上就是判断,“行业”对投诉次数是否有显著影响，做出这种判断最终归结,为检验,4,个行业被投诉次数的均值是否相等。如果相等则认为,行业因素对投诉次数是没有影响的，如果均值不全相等，则意,味着行业因素对服务质量有影响。,方差分析主要用来对,多个总体均值是否相等,作出假设检验,。,相关术语,因素（因子）,：在方差分析中，所要检验的对象称为因素或因子。,例子中的“行业”,水平,：因素中的不同表现成为水平。例子中的,零售业、旅游业、,航空公司、家电制造业是“行业”因素的具体表现，即水平。,单因素方差分析,：,只针对一个因素进行分析；,多因素方差分析,：,同时针对多个因素进行分析。,（,1,）,每个总体的相应变量（因素的各个水平）服从正态分布。也就是说，对于因素的每个水平，其观测值是来自正态总体的简单随机样本上例中每个行业的投诉次数应服从正态分布。,（,2,）,所有总体的方差相等,2,。也就是说，各组观测数据来自相同方差的正态总体。上例中,4,个行业被投诉次数的方差相同。,（,3,）,不同观察值相互独立。（每个样本点的取值不影响其他样本点的取值）上例中，每个企业被投诉的次数与其他企业被投诉的次数是相互独立的。,方差分析的三个基本假定,问题的一般提法,设因素有,k,个水平，每个水平的均值分别为 ，,要检验,k,个水平（总体）的均值是否相等，提出如下假设：,与原来两两总体的假设检验方法相比，方差分析不仅可以提高,检验的效率，同时由于它是将所有的样本信息结合在一起，因此,增加了分析的可靠性。，上例中如果用一般的假设检验方法，,需要两两组合作,6,次检验。,某因素不同水平的影响,（系统性影响）,其他随机因素的影响,（随机性影响）,水平间方差,（组间方差）,某因素不同水平的影响,（系统性影响）,方差分析的思想：,组内离差平方和：衡量因素的同一水平下（同一总体）样本数据的,误差。（随机误差）,组间离差平方和：衡量因素的不同水平下（不同总体）样本数据的,误差。（系统性误差）,总的离差平方和：组内,+,组间,水平内误差,（组内方差）,水平间误差,（组间误差）,总的误差,其他随机因素的影响,（随机性影响）,某因素不同水平的影响,（系统性影响）,水平内误差,（组内方差）,水平间误差,（组间误差）,总的误差,其他随机因素的影响,（随机性影响）,某因素不同水平的影响,（系统性影响）,水平内误差,（组内方差）,水平间误差,（组间误差）,总的误差,其他随机因素的影响,（随机性影响）,某因素不同水平的影响,（系统性影响）,水平内误差,（组内方差）,水平间误差,（组间误差）,总的误差,其他随机因素的影响,（随机性影响）,某因素不同水平的影响,（系统性影响）,水平内误差,（组内方差）,水平间误差,（组间误差）,总的误差,其他随机因素的影响,（随机性影响）,某因素不同水平的影响,（系统性影响）,如果原假设成立：,说明某因素不同水平的影响不显著（无系统性影响），只剩下随机性影响，因此组间方差与组内方差差别不大，它们的比接近于,1,。,如果原假设不成立：,说明某因素不同水平的影响显著（存在系统性影响），组间方差与组内方差差别较大，它们的比远超出,1,构造统计量：,一、单因素方差分析,（一）离差平方和的计算,方差分析需考察某因素的影响是否具有系统性，因此，需要将样本总体离差,分解,为两部分,：,（,1,）反映系统性影响（因素水平影响）的,组间离差,（,2,）反映随机性影响（其他随机因素影响）的,组内离差,。,为全体样本合并的,大样本的样本均值,为第,j,个总体,的样本均值,x,ij,=,第,j,个子样本中第,i,个观测值；,n,j,=,第,j,个子样本的样本容量,其中，,n=n,1,+n,2,+,+,n,k,k,为总体的个数,于是，,大样本的,总离差平方和,(Sum of Squares for Total,，,SST),为：,设,可以证明：,第一项,是各子样本均值与合并的大样本的公共均值的离差平方和，它反映了因素（变量）不同水平对总离差平方和的影响（系统性影响），称为,组间离差平方和,（,Sum of Squares for Factor A,SSA,),；,第二项,是各子样本内部离差平方和之和，反映了随机性因素的影响,(,误差性影响），称为,组内离差平方和,(,Sum of Squares for Error,，,SSE,）。,各误差平方和的大小与观测值的多少有关，为了消除观测值,多少对误差平方和大小的影响，用各个平方和除以自由度,即得到,平均平方,(,Mean Square,),：,即,SST=SSA+SSE,总离差平方和,=,组间离差平方和,+,组内离差平方,和,构造,F,统计量：,原假设成立,根据给定的显著性水平，查表得到拒绝域：,上例中，经计算,说明不同行业被投诉次数的均值有显著差异，这意味着行业,（自变量）与投诉次数（因变量）之间的关系是显著的。,关系强度的测量,上述,F,统计量只能表明自变量和因变量之间是否有关系，不能,表明关系的强弱，为了度量相关强度定义判定系数：,R,2,越大说明关系越强，越小关系越弱。类似于相关系数。,上例中，,R,2,=0.349759,。这表明行业对投诉次数的影响效应占,总效应的,34.9759%,，而残差效应则占,65.0241%,。,方差分析中的多重比较,上面的分析得出的结论是不同行业被投诉次数的均值是不全,相同的，但是究竟哪些均值不相等呢，也就是这种差异究竟,出现在哪些行业之间呢？则需要对总体均值进行两两比较。,多重比较的方法有很多，我们简单介绍一下由,Fisher,提出的,最小显著差异方法（,LSD,方法）。,检验步骤为：,第一步：提出原假设：,第二步：计算检验统计量：,第三步：计算,LSD,，公式为：,第四步：根据显著性水平做出决策：如果,则拒绝原假设，否则接受原假设。,例：对,4,个行业的均值作多重比较,第一步：提出假设,第二步：计算检验统计量,第三步：计算,LSD,第四步：做出决策,不能拒绝原假设，说明零售业和 旅游业之间的投诉次数没有显著差异。,.,双因素方差分析,单因素方差分析只是考虑一个分类型自变量对数值型因变量,的影响。,如果同时需考虑两个因素,A,与,B,的影响，则可进行,双因素,方差分析,。,例：分析影响彩电销售量的因素，需要考察品牌、销售地区等,因素的影响。现有,4,种品牌的彩电在,5,各地区进行销售，为分析,彩电的“品牌”因素和“地区”因素对销售量是否有影响，调查,数据如下：,地区因素,地区,1,地区,2,地区,3,地区,4,地区,5,品,品牌,1,365,350,343,340,323,牌,品牌,2,345,368,363,330,333,因,品牌,3,358,323,353,343,308,素,品牌,4,288,280,298,260,298,在双因素方差分析中如果两个因素，例如“品牌”和“销售地区”,两个因素对销售量的影响是相互独立的，我们分别判断两个因素,对销售量的影响，称为,无交互作用的双因素方差分析。,如果除了两个因素的单独影响外，两个因素的搭配还会对销售量,产生新的影响效应，称为,有交互作用的双因素方差分析。,无交互作用的数据结构,无交互作用的双因素方差分析,为了检验两个因素的影响，需要分别对两个因素提出假设。,对行因素提出的假设为：,对列因素提出的假设为：,地区对销售量没有显著影响,品牌对销售量没有显著影响,离差平方和的分解,其中,:,可以证明,:,分别构造统计量,关系强度的测量,有交互作用的方差分析,路段,1,路段,2,1,26,19,高,2,24,20,峰,3,27,23,期,4,25,22,5,25,21,6,20,18,非,7,17,17,高,8,22,13,峰,9,21,16,期,10,17,12,例：分别在两个路段和高峰期及非高峰期进行驾车实验，得到,20,个驾车时间的数据：,Wilks,分布,在一元统计中，方差是刻画随机变量分散程度的一个重要特征，,而在多元情况下方差变为协防差矩阵。如何用一个数量指标来,反映协方差矩阵所体现的分散程度呢？有的用行列式，有的用,迹，目前使用较多的是行列式。,定义,1,：若,定义,2,：若,的分布为,Wilks,分布，,记为 ，其中 为自由度。,在实际应用中把 统计量转化为,T,2,统计量，进而转化为,F,统计量。,多元方差分析（多个正态总体均值向量的检验）,设有,k,个,p,元正态总体,从每个总体抽取独立样本个数为,数据结构为：,全部样本的均值向量,各总体的均值向量：,与一元方差分析的思想类似，离差平方和变成了离差阵：,提出假设：,用似然比原则构造的检验统计量为：,给定检验的显著性水平，查,Wilks,分布表，确定临界值，拒绝域为：,如果没有,Wilks,分布表可以用 分布和,F,分布来近似。,