ch07相关与回归分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,Ch7,相关与回归分析,统计学原理,7.1,相关与回归的基本概念,7.2,相关分析,7.3,一元线性回归分析,7.4,多元线性回归分析,(,new),7.5,回归诊断与残差分析,(,new),主要介绍：,相关分析，回归技术，回归诊断方法。,Ch7,主要内容,Ch7,相关与回归分析,7.1,相关与回归的基本概念,7.2,相关分析,7.3,一元线性回归分析,7.4,多元线性回归分析,(,new),7.5,回归诊断与残差分析,(,new),Ch7,学习目的,1,，掌握相关与回归的基本概念,2,，掌握相关分析技术,3,，掌握一元线性回归方法,4,，掌握多元线性回归方法,5,，掌握回归诊断方法,Ch7,相关与回归分析,7.1,相关与回归的基本概念,7.2,相关分析,7.3,一元线性回归分析,7.4,多元线性回归分析,(,new),7.5,回归诊断与残差分析,(,new),Ch7,相关与回归分析,统计学原理,7.1,相关与回归的基本概念,7.2,相关分析,7.3,一元线性回归分析,7.4,多元线性回归分析,(,new),7.5,回归诊断与残差分析,(,new),7.1,相关与回归的基本概念,7.1.1,确定性关系与相关关系,7.1.2,回归函数与经验方程,7.1.3,相关与回归分析,7.1.4,相关表与相关图,7.1.5,相关关系的种类,Ch7,相关与回归分析,7.1,相关与回归的基本概念,7.2,相关分析,7.3,一元线性回归分析,7.4,多元线性回归分析,(,new),7.5,回归诊断与残差分析,(,new),返回,关系,给定一个,X,，,就可以确定一个,Y,，,Y,值随,X,的值变化。,Y, (,X=X t,),是这两个变量之间的函数表达式。这个函数表达式，对应着一个具体的因果数学定理。,特征是，“,2,个以上变量的变化方向大致是规则的”，,变量,Y,X,之间的近似规则关系，只是一个经验关系是,Y,与, (,X=X t,),的偏差，且总假定,E,(,)= 0,关系,确定性关系,相关关系,经验关系,Y, (,X=X t,) +,函数关系,统计关系,Y, (,X=X t,),7.1.1,确定性关系与相关关系,Ch7,相关与回归分析,7.1,相关与回归的基本概念,7.1.1,确定性关系与相关关系,确定性关系也叫函数关系。,Y, (,X=X,t,)， (7.1.1),即只要给定一个,X,，,就可以确定一个,Y,，,Y,值随,X,的值变化，则变量,Y,X,之间，就是一种确定性的函数关系。,Y, (,X=X,t,),是这两个变量之间的函数表达式。这个函数表达式，对应着一个具体的因果数学定理。,相关关系也叫统计关系或者经验关系。,相关关系的特征是，“,2,个以上变量的变化方向大致是规则的”，,变量,Y,X,之间的某种近似规则关系，不是一种精确的确定性关系，只是一个经验关系,Y, (,X=X,t,) +,；,(7.1.2),是,Y,与, (,X=X,t,),的偏差，且总假定,E,(,)= 0,。,这种经验关系就是统计相关关系。,统计相关关系，常常表现为一种统计定律。统计定律和相关关系，是相关回归分析的主要研究对象。,Ch7,相关与回归分析,7.1,相关与回归的基本概念,返回,7.1.2,回归函数与经验方程,存在统计相关关系的变量,Y,X,之间，有,Y, (,X=X,t,) +,；,(7.1.2),因为，,E,(,)= 0,，所以，,E,(,Y,|,X= X,t,), (,X,t,),是给定,X=X,t,条件下,Y,的期望值，, (,X,t,),就是,Y,关于,X,的期望函数。它实际反映的是,Y,X,之间存在的统计规律。,因为统计规律，总是可以在日常的实践过程中，不断回归重现。于是，期望函数，也称为,Y,关于,X,的回归方程或回归函数，记为, (,X=X,t,),E,(,Y,|,X= X,t,) (7.1.3),回归函数的具体表达式，通常也叫经验函数或者经验公式。,Ch7,相关与回归分析,7.1,相关与回归的基本概念,返回,7.1.3,相关与回归分析,相关与回归分析：,是研究相关关系的一种有力数学工具。它是建立在对客观事物进行大量试验和观察的基础上，在不确定的现象中，寻找隐藏的统计规律性的数理统计方法。具体步骤是：,第一步，根据研究的目的，通过观察和实验取得资料。,第二步，整理资料。分组编制相关表，以便进行分析。,第三步，绘制相关图。把成对的相关资料，绘成散布图或曲线图，从图形中，初步判断变量之间是否存在相关关系，以及相关的基本形式。,第四步，相关关系的解析。建立回归方程，计算估计标准误差、相关系数等，以反映变量之间的关系、误差大小及密切程度，并运用数理统计方法，进行检验和评价。,Ch7,相关与回归分析,7.1,相关与回归的基本概念,返回,7.1.4,相关表与相关图,相关表与相关图，是研究相关关系的直观工具。一般在进行详细的定量分析之前，可以先利用它们，对现象之间存在的相关方向、形式和密切程度，作大致的判断。,相关表，是一种反映变量之间相关关系的统计表。将某一变量，按其取值的大小顺序排列，然后再将与其相关的另一变量的值，对应排列，便可得到简单的相关表。,利用相关表，便可得到相关图。相关图又称散布图。它是以直角坐标系的横轴代表变量,X,，,纵轴代表变量,Y,，,将两个变量的值，用坐标点,(,X,t,Y,t,),的形式描绘出来，用来反映两变量之间相关关系的图形。,Ch7,相关与回归分析,7.1,相关与回归的基本概念,7.1.4,相关表与相关图,【例7-1】,利用某国,1951-1970,年的消费,Y,和可支配收入,X,数据，可整理得相关表与相关图。,Ch7,相关与回归分析,7.1,相关与回归的基本概念,年份,序号,t,可支配收入,X,t,消费,Y,t,1951,1,226.6,206.3,1952,2,238.3,216.7,1953,3,252.6,230,1954,4,257.4,236.5,1955,5,275.3,254.4,1956,6,293.2,266.7,1957,7,308.5,281.4,1958,8,318.8,290.1,1959,9,337.3,311.2,1960,10,350,325.2,1961,11,364.4,335.2,1962,12,385.3,355.1,1963,13,404.6,375,1964,14,438.1,401.2,1965,15,473.2,432.8,1966,16,511.9,466.3,1967,17,546.3,492.1,1968,18,591.2,535.8,1969,19,631.6,577.5,1970,20,684.7,616.8,图71,消费,Y,和可支配收入,X,相关图,Y,X,0,200,200,600,400,400,600,返回,7.1.5,相关关系的种类,按相关的程度可分为完全相关、不完全相关、不相关,按相关的方向可分为正相关、负相关,按相关的形式可分为线性相关和非线性相关,按所研究的变量的多少可分为单相关、复相关和偏相关,Ch7,相关与回归分析,7.1,相关与回归的基本概念,正线性相关,负线性相关,Y,X,0,Y,X,=,1,+,2,X,.,0,非线性相关,非线性相关,Y,X,0,Y,X,图72,线性相关与非线性相关,0,返回,7.2,相关分析,7.2.1,相关系数,7.2.2,相关系数与相关程度,7.2.3,相关系数的检验,7.2.4,等级相关系数及其检验,Ch7,相关与回归分析,7.1,相关与回归的基本概念,7.2,相关分析,7.3,一元线性回归分析,7.4,多元线性回归分析,(,new),7.5,回归诊断与残差分析,(,new),返回,7.2.1,相关系数,相关系数也叫单相关系数。,它是在线性相关的条件下，用来测定变量,Y,X,之间相关程度的一个重要指标。通常以,表示总体的相关系数，以,表示样本的相关系数。,存在线性相关的变量总体,(,Y,X,)，,定义为,(7.2.1),式中：,Cov,(,X,Y,),是变量,X,和,Y,的协方差，,Var,(,X,),和,Var,(,Y,),分别是,X,和,Y,的方差。,对来自总体,(,Y , X,),的,n,组样本观察值,(,Y,t, X,t,)，,t,=1,2,3,n,-1,n,，,记,为,(7.2.2),其中,S,X,Y,=,Cov,(,X,t,Y,t,),是样本,(,Y,t,X,t,),的协方差，,S,X,和,S,Y,分别是,X,和,Y,的样本标准差。样本相关系数,，,是根据样本观察值计算的。,Ch7,相关与回归分析,7.2,相关分析,7.2.1,相关系数,总体,值为常数，在很多情况下，是无法直接按定义计算的，只能通过样本相关系数,，,去估计,值。,容易证明，样本相关系数,，,是总体相关系数,的一致估计量。,可以证明，存在线性相关的变量之间，不论是总体相关系数，还是样本相关系数，均有,0,|,|,1,，,0,|,|,1,。,为便于计算，引进如下符号：,(7.2.3),Ch7,相关与回归分析,7.2,相关分析,7.2.1,相关系数,【例7-2】,利用某国,1951-1970,年的消费,Y,和可支配收入,X,数据，计算它们之间的相关系数。,解：根据相关系数的公式，有,于是,Ch7,相关与回归分析,7.2,相关分析,年份,序号,t,可支配收入,X,t,消费,Y,t,1951,1,226.6,206.3,1952,2,238.3,216.7,1953,3,252.6,230,1954,4,257.4,236.5,1955,5,275.3,254.4,1956,6,293.2,266.7,1957,7,308.5,281.4,1958,8,318.8,290.1,1959,9,337.3,311.2,1960,10,350,325.2,1961,11,364.4,335.2,1962,12,385.3,355.1,1963,13,404.6,375,1964,14,438.1,401.2,1965,15,473.2,432.8,1966,16,511.9,466.3,1967,17,546.3,492.1,1968,18,591.2,535.8,1969,19,631.6,577.5,1970,20,684.7,616.8,年份,序号,t,可支配收入,X,t,消费,Y,t,X,t,X,t,Y,t,Y,t,X,t,Y,t,1951,1,226.6,206.3,51347.56,42559.69,46747.58,1952,2,238.3,216.7,56786.89,46958.89,51639.61,1953,3,252.6,230,63806.76,52900,58098,1954,4,257.4,236.5,66254.76,55932.25,60875.1,1955,5,275.3,254.4,75790.09,64719.36,70036.32,1956,6,293.2,266.7,85966.24,71128.89,78196.44,1957,7,308.5,281.4,95172.25,79185.96,86811.9,1958,8,318.8,290.1,101633.4,84158.01,92483.88,1959,9,337.3,311.2,113771.3,96845.44,104967.8,1960,10,350,325.2,122500,105755,113820,1961,11,364.4,335.2,132787.4,112359,122146.9,1962,12,385.3,355.1,148456.1,126096,136820,1963,13,404.6,375,163701.2,140625,151725,1964,14,438.1,401.2,191931.6,160961.4,175765.7,1965,15,473.2,432.8,223918.2,187315.8,204801,1966,16,511.9,466.3,262041.6,217435.7,238699,1967,17,546.3,492.1,298443.7,242162.4,268834.2,1968,18,591.2,535.8,349517.4,287081.6,316765,1969,19,631.6,577.5,398918.6,333506.3,364749,1970,20,684.7,616.8,468814.1,380442.2,422323,合计,-,7889.3,7206.3,3471559,2888129,3166305,平均,-,394.465,360.315,173578,144406.5,158315.3,返回,7.2.2,相关系数与相关程度,如果,|,|=1,，,表明,(,Y , X,),之间是完全线性相关，完全线性相关，是一种精确的线性函数关系；,如果,|,|=0,，,表明,(,Y , X,),之间没有关系或者线性无关；,如果,0|,|1,，,(,Y,X,),是一种线性统计关系，线性统计关系，是最常见的相关关系；,0,1,是正的,线性相关；,-,1,0,是负的,线性相关。,|,|,值越大，则,线性关比较系密切，反之，则线性关系不密切。,同理，,|,|,=1,，,表示样本,(,Y,t,X,t,),为完全线性相关；,=1,，,表示,(,Y,t,X,t,),为完全正线性相关，样本的所有点,(,Y,t,X,t,),都在一条直线上；,=,-,1,，,表示,(,Y,t,X,t,),为完全负线性相关，样本的所有点,(,Y,t,X,t,),也都在一条直线上；,=0,，,表示样本点,(,Y,t,X,t,),在散点图上的分布是杂乱无章的，,(,Y,t,X,t,),之间无相关关系；,0|,|,t,/2,，,拒绝,H,0,，,表示,Y, X,之间相关显著。,Ch7,相关与回归分析,7.2,相关分析,7.2.3,相关系数的检验,F,统计量检验,作统计假设,零假设,H,0,：,=0,，,备择假设,H,1,：,0。,计算样本相关系数,的,F,值,，,选择显著性水平,，取,=1%,或者,=5%,。根据,和自由度,1,n,-2，,求,F,分布的两个临界值,F,1-,/2,(1,n,-2),F,/2,(1,n,-2)，,且,F,1-,/2,(1,n,-2),F,/2,(1,n,-2),或,F,F,1-,/2,(1,n,-2)，,拒绝,H,0,，,表示,Y, X,之间相关显著。,说明,:,F,检验是双侧检验，有两个临界值,F,1-,/2,(1,n,-2),F,/2,(1,n,-2)，,且,F,1-,/2,(1,n,-2),/2,，,拒绝,H,0,，,表示,Y, X,之间相关显著。,Ch7,相关与回归分析,7.2,相关分析,7.2.3,相关系数的检验,【例7-3】,利用某国,1951-1970,年的消费,Y,和可支配收入,X,的相关系数,，,在,=5%,时，是否可以认为,Y,和,X,之间存在显著性的线性相关关系。,解：作统计假设,H,0,：,=0,，,H,1,：,0。,计算样本相关系数,的,t,值。已知,=0.999689，,求得,t,=170.071。,选择显著性水平,，取,=5%,。根据,和自由度,n,-2，,求得,t,分布的临界值,t,/2,(,n,-2)=,t,2.5%,(20-2)=2.102。,因为,|,t,|=170.071,t,/2,=2.102，,所以拒绝,H,0,，,表示,Y, X,之间相关显著。,Ch7,相关与回归分析,7.2,相关分析,返回,7.2.4,等级相关系数及其检验,等级相关系数（又称为顺序相关系数）。,设有,X,t,和,Y,t,两个数列，依数量的大小或者品质的优劣，分为,1,2,3,n,-1,n,个等级，以,V,X,t,表示各个,X,t,的等级数，以,V,Y,t,表示各个,Y,t,的等级数，则等级相关系数,s,为,(7.2.6),式中，,n,是样本容量。,该公式可由两个等级变量的相关系数，推导而来。,与相关系数,类似，,s,的取值范围为,0,|,s,|,1,。,s,为正值，存在正的等级相关关系，,s,取负值，存在负的等级相关。,s,=1，,表明两种现象的等级完全相同，存在完全正相关；,s,=-1，,表明两种现象的等级完全相反，存在完全负相关。,Ch7,相关与回归分析,7.2,相关分析,非参数相关分析。多做定性研究。,7.2.4,等级相关系数及其检验,等级相关系数检验。,当样本容量,n,20,时，可利用以下的,t,统计量，进行,s,的检验,(7.2.7),当总体等级相关系数,s,=0,时，可以证明：,t,统计量服从自由度为,n,-2,的,t,分布。在给定显著性水平,下，如果,|,t,|,t,/2,(,n,-2)，,接受,H,0,，,表示,Y, X,之间相关不显著；若,|,t,|,t,/2,(,n,-2)，,拒绝,H,0,，,表示,Y, X,之间相关显著。,同样也可以参照样本相关系数,的检验方法，构造新的统计量,t,2,去进行,F,检验，或者直接查相关系数表检验。,Ch7,相关与回归分析,7.2,相关分析,7.2.4,等级相关系数及其检验,【例7-4】,某校对学生某专业课程的复习时间和考试成绩进行调查。抽查,10,同学的有关数据如下表。计算复习时间与考试成绩的相关系数和等级相关系数。根据以上结果，能否得出复习时间越长考试成绩越高的结论。,解：,Ch7,相关与回归分析,7.2,相关分析,序号,t,复习时间,考试成绩,D,t,2,=(,V,X,t,-V,X,t,),2,时间,X,t,排队等级,V,X,t,成绩,Y,t,排队等级,V,X,t,1,3,3,86,3,0,2,4,4,87,4,0,3,1,1,4,1,0,4,2,2,85,2,0,5,5,5,93,6,1,6,8,6,91,5,1,7,10,8,95,8.5,0.25,8,9,7,94,7,0,9,11,9,95,8.5,0.25,10,13,10,96,10,0,合计,-,55,-,55,2.5,7.2.4,等级相关系数及其检验,解：首先对复习时间,X,与考试成绩,Y,按从小到大的顺序确定等级。对于,X,t,或者,Y,t,相同的，取其应得等级的平均数。,其次，计算相关系数,。,根据公式，得,=0.587，,t,=2.05。,在,=5%,、自由度,=,n,-2=8,条件下，得,t,/2,(,n,-2)=2.306。,因为,|,t,|=2.05,t,/2,(,n,-2)=2.306，,表示,Y, X,之间相关不显著，难以判断复习时间,X,与考试成绩,Y,之间存在显著的线性关系。,最后，计算等级相关系数,s,。,根据公式，得,s,=0.9848，,t,s,=16.04。,在,=5%,、自由度,=,n,-2=8,条件下，得,t,/2,(,n,-2)=2.306。,因为,|,t,s,|=16.04,t,/2,(,n,-2)=2.306，,表示,Y, X,之间相关显著，存在复习时间越长考试成绩越高的现象。,Ch7,相关与回归分析,7.2,相关分析,返回,7.3,一元线性回归分析,7.3.1,标准的一元线性回归模型,7.3.2,一元线性回归模型的估计,7.3.3,一元线性回归模型的检验,7.3.4,误差项,t,的自相关检验,7.3.5,一元线性回归模型的预测,Ch7,相关与回归分析,7.1,相关与回归的基本概念,7.2,相关分析,7.3,一元线性回归分析,7.4,多元线性回归分析,(,new),7.5,回归诊断与残差分析,(,new),返回,7.3.1,标准的一元线性回归模型,总体回归函数,设因变量为,Y,，,自变量为,X,；,若,Y,的数学期望存在，且服从如下的分布,Y,N,(,1,+,2,X,2,) (7.3.1),式中,1,，,2,和,2,是不依赖于,X,的未知参数。则方程,Y,=,1,+,2,X,+,u,;,u,N,(0，,2,) (7.3.2),就称为,一元线性回归模型（或称为相关方程）。其中，,是随机误差项，,E,(,) = 0,。,又由于,Y,的数学期望是,X,的函数，,E,(,Y,X,) =,1,+,2,X,(7.3.3),Y,的取值主要由,X,的取值决定， 因此，,E,(,Y,X,),是一个关于,X,的回归期望，它从平均意义上表达了,Y,与,X,的统计规律性，于是，,E,(,Y,X,),也可以作为,Y,的估计，故,X,=,1,+,2,X,(7.3.4),称为总体一元回归估计方程或者回归估计函数，,1,，,2,是这个回归方程中的回归系数，其图形表现为一条直线。,Ch7,相关与回归分析,7.3,一元线性回归分析,7.3.1,标准的一元线性回归模型,误差项,的标准假定, 误差项的期望值恒为零，即,E,(,t,X,t,)=0 (7.3.5),误差项的方差是同观察时点,t,无关的常数，即,Var,(,t,X,t,)=,E,(,t,2,X,t,)=,2,(7.3.6),时点不同的误差项之间不相关，即,Cov,(,t,s,)=,E,(,t,s,)=0;,t,s,(7.3.7),t,的概率分布与,1,，,2,和,X,无关。,X,是给定的变量（确定变量），即,X,不是有统计从属关系的随机变量。,Cov,(,X,t,t,)=,E,(,X,t,t,)=0 (7.3.8),t,服从正态分布，即,t,N,(0，,2,) (7.3.9),以上假定最早是由德国数学家高斯提出来的，也称为高斯假定或者标准假定。,Ch7,相关与回归分析,7.3,一元线性回归分析,图,7,3,总体回归与随机误差,Y,X,=,1,+,2,X,.,0,Y,=,1,+,2,X,+,u,u,t,7.3.1,标准的一元线性回归模型,满足以上,假定的一元线性回归模型，称为标准的一元线性回归模型。满足,假定的一元线性回归模型，称为标准线性正态回归模型。,应当指出的是，在现实的情况是由于种种原因，以上假定常常不能得到满足。其最一般的模型及回归函数为,Y,=,1,+,2,X,+,u,X,=,E,(,Y,X,) =,1,+,2,X,(7.3.10),u,为随机误差项，,E,(,u,)=0,E,(,2,)=,2,，,Y,与,u,同分布，且均为非正态分布，我们以下的讨论均以,(7.3.10),式为基础，其余变量的解释如前。,Ch7,相关与回归分析,7.3,一元线性回归分析,图,7,3,总体回归与随机误差,Y,X,=,1,+,2,X,.,0,Y,=,1,+,2,X,+,u,u,t,7.3.1,标准的一元线性回归模型,样本回归函数，就是根据样本资料,(,Y,t,X,t,)，,对总体回归函数进行拟合的估计函数。由于样本,(,Y,t,X,t,),来源于总体,(,Y, X,)，,因此，样本回归线与总体回归线，有相同的函数形式。由样本关系方程,(7.3.11),有样本回归函数,(7.3.12),式中，,Y,t,和,X,t,分别是,Y,和,X,的第,t,次观察值；,t,为样本回归线上与,X,t,相对应的值，它是,对,E,(,Y,t,X,t,),的估计； 为样本回归系数，是对总体回归系数的,1,，,2,的估计；,t,=,Y,t,t,是实际观察值与样本估计值之差，亦称残差，是一个可计算的量；,n,为样本容量； 是对,2,的估计。,样本回归函数是总体回归函数的近似反映。,回归分析的主要任务，就是充分利用样本的信息，采用适当的方法，使得样本回归函数，尽可能接近真实的总体回归函数。,Ch7,相关与回归分析,7.3,一元线性回归分析,返回,7.3.2,一元线性回归模型的估计,回归系数的估计,最小二乘法，简记为,OLS,法。它的准则是使,t,的平方和最小，即,(7.3.15),由极值条件，有联立方程,(7.3.16),整理得正规方程组,(7.3.17),Ch7,相关与回归分析,7.3,一元线性回归分析,7.3.2,一元线性回归模型的估计,回归系数的估计 （续）,求解正规方程组，得,(7.3.18),利用,(7.2.3),式，则最小二乘估计量，又可简写为,(7.3.19),Ch7,相关与回归分析,7.3,一元线性回归分析,7.3.2,一元线性回归模型的估计,【,例,7-5】,利用某国,1951-1970,年的消费,Y,和可支配收入,X,数据，建立消费对可支配收入的回归估计方程。,解：因为消费,Y,和可支配收入,X,之间是显著线性相关，所以，可以建立,Y,X,之间的一元回归估计模型,Y,=,1,+,2,X,+,u,X,=,E,(,Y,X,) =,1,+,2,X,根据最小二乘估计方法，得回归估计方程,X,= 5.168775,+,0.900324,X,，,S,=3.174108481, ,2,=0.9993781,(2.205544043) (0.005293811),d,=1.225513,Ch7,相关与回归分析,7.3,一元线性回归分析,年份,序号,t,可支配收入,X,t,消费,Y,t,X,t,X,t,Y,t,Y,t,X,t,Y,t,X,t,t,=,Y,t,t,1951,1,226.6,206.3,51347.56,42559.69,46747.58,209.1821,-2.882146538,1952,2,238.3,216.7,56786.89,46958.89,51639.61,219.7159,-3.015934913,1953,3,252.6,230,63806.76,52900,58098,232.5906,-2.590565148,1954,4,257.4,236.5,66254.76,55932.25,60875.1,236.9121,-0.412119353,1955,5,275.3,254.4,75790.09,64719.36,70036.32,253.0279,1.372084757,1956,6,293.2,266.7,85966.24,71128.89,78196.44,269.1437,-2.443711132,1957,7,308.5,281.4,95172.25,79185.96,86811.9,282.9187,-1.51866516,1958,8,318.8,290.1,101633.4,84158.01,92483.88,292.192,-2.092000225,1959,9,337.3,311.2,113771.3,96845.44,104967.8,308.848,2.35200961,1960,10,350,325.2,122500,105755,113820,320.2821,4.917897442,1961,11,364.4,335.2,132787.4,112359,122146.9,333.2468,1.953234828,1962,12,385.3,355.1,148456.1,126096,136820,352.0635,3.03646756,1963,13,404.6,375,163701.2,140625,151725,369.4398,5.560218361,1964,14,438.1,401.2,191931.6,160961.4,175765.7,399.6006,1.599371305,1965,15,473.2,432.8,223918.2,187315.8,204801,431.202,1.598006182,1966,16,511.9,466.3,262041.6,217435.7,238699,466.0445,0.255475404,1967,17,546.3,492.1,298443.7,242162.4,268834.2,497.0157,-4.915663065,1968,18,591.2,535.8,349517.4,287081.6,316765,537.4402,-1.640201357,1969,19,631.6,577.5,398918.6,333506.3,364749,573.8133,3.686717418,1970,20,684.7,616.8,468814.1,380442.2,422323,621.6205,-4.820475975,合计,210,7889.3,7206.3,3471559,2888129,3166305,7206.3,8.52651E-13,平均,10.5,394.465,360.315,173578,144406.5,158315.3,360.315,4.26326E-14,7.3.2,一元线性回归模型的估计,最小二乘估计量的性质,可以证明，在高斯假定能够得到满足的条件下，,(7.3.20),其方差,(7.3.21),回归系数的最小二乘估计量，是最优的线性无偏估计量和一致估计量。,以上性质，在文献中被称为高斯,马尔可夫定理。该定理表明，在高斯假定条件下，最小二乘估计量，是一种最佳的估计方式。,Ch7,相关与回归分析,7.3,一元线性回归分析,7.3.2,一元线性回归模型的估计,随机误差项的方差估计,数学上可以证明，,2,的无偏估计,S,2,可由下式给出：,(7.3.23),在一元线性回归模型中，残差,t,必须满足,1,，,2,最小二乘估计要求所导出的两个约束条件：,(7.3.24),因而失去了,2,个自由度，所以，残差,t,的自由度为,n,-2。,S,越小，表明实际观测点与所拟的样本回归线的离差程度越小，即回归线具有较强的代表性；反之，,S,越大，表明实际观测点与所拟合的样本回归的离差程度越大，即回归线的代表性较差。因此，,S,又叫做回归估计的标准误差。,Ch7,相关与回归分析,7.3,一元线性回归分析,7.3.2,一元线性回归模型的估计,【,例,7-6】,利用例,7-2,、例,7-5,的有关数据，计算其消费对可支配收入回归估计方程的回归估计标准误差。,解：已知,n,=20,(,Y,)=7206.3 ,(,Y,2,)=2888129,(,XY,)=3166305,(,2,)=,(,Y,2,)-5.168775,(,Y,)- 0.900324,(,XY,),=2888129-5.168775 7206.3-0.9003243166305,=181.3493637,S,2,=,(,2,)/(,n,-2)=181.3493637/18=10.07496465,S,=3.174108481,L,XX,=359506.4,(,X,)=7889.3,(,X,)/,n,=394.465,另外可计算回归系数,1,，,2,估计值的标准差分别为,(2.205544043),和,(0.005293811),。,上述结果如果用,Excel,软件计算将更为简单。,Ch7,相关与回归分析,7.3,一元线性回归分析,返回,7.3.3,一元线性回归模型的检验,回归模型检验的种类,包括理论意义检验、一级检验和二级检验。,理论意义检验，主要涉及参数估计值的符号和取值区间，如果它们与实质性科学的理论及其人们的经验不相符，就说明模型不能很好地解释现实的现象。,一级检验，又称为统计学检验，它是利用统计学的抽样理论，来检验回归方程的可靠性，具体可分为拟合程度评价和显著性检验。一级检验，是所有回归分析必须通过的检验。,二级检验，又称为经济计量学检验，它是对标准线性回归模型中的高斯假定条件能否满足，进行检验，具体包括序列相关、异方差性检验等。,Ch7,相关与回归分析,7.3,一元线性回归分析,7.3.3,一元线性回归模型的检验,由于,(7.3.30),L,YY,是实际观察值与其样本均值的总的离差平方和，,SSR,是由回归直线解释的那部分离差平方和，称为回归平方和，,SSE,是残差平方和，是用回归直线无法解释的部分离差平方和。,公式两端同除以,L,YY,，,则,(7.3.31),显然，各个样本观察值与样本回归线靠得愈近，,SSR,在,L,YY,中的比例就越大。因此，可定义这一比例为可决系数,(7.3.32),Ch7,相关与回归分析,7.3,一元线性回归分析,7.3.3,一元线性回归模型的检验,可决系数,2,，,是对回归模型拟合程度的综合度量指标，,2,越大，模型拟合程度越高；,2,越小，模型拟合程度越差。可决系数,2,具有如下性质：,0,2,1,；,当,样本观察值,(,Y,t,X,t,),都处于回归直线上时，,SSE,=0，,2,=1,；,当,观察值,(,Y,t,X,t,),并不全部处于回归直线上时，,SSE0，0,2,t,/2,，,拒绝零假设,H,0,，,表示,Y,X,之间相关显著。,对一元线性回归模型，利用,(7.3.18),，有,(7.3.36),可以证明：检验,H,0,：,2,=0,等价于,检验,H,0,：,=0,，,如果检验认为,2,0,，就意味着,0，,即认为,X,对,Y,的解释作用是真实的。由于,t,t,(,n,-2)，,可以证明，,t,2,=,F,F,(1,n,-2)，,于是在一元线性回归模型中，对,2,的,t,检验和对,L,YY,的解释平方和做,F,检验也是完全等效的。,Ch7,相关与回归分析,7.3,一元线性回归分析,返回,7.3.4,误差项,t,的自相关检验,自相关或称序列相关：,如果误差项之间存在相关关系，,Cov,(,t,s,)=,E,(,t,s,) 0;,t,s,;,t,s,(7.3.37),则称这种现象为误差项,t,的自相关或称序列相关。,如果进一步有,t,=,e,t,-1,+,t,;,t,N,(0,2,);,且,E (,t,s,)=0;,t,s;,t,s。 (7.3.38),其中,-1,e,0;,t,s ；,如果散布图有一种异号残差相随的倾向，就表明存在负相关,E,(,t,s,)0;,t,0，,则记为“,+”,，若残差,t,0，,则为“”，如此一个残差序列,t,t,=1,2,3,n,便可获得一个符号序列，比如,“,+ ”,，,符号序列中，连续同号的符号串，称为一个游程或者一个连串，一个游程中符号的个数，叫做游程的长度。可以证明，如果误差项,t,不存在序列相关,e,=0，,则符号序列中符号“,+”,或“”的出现，应该是完全随机的；连串过多或者过少，都是违反随机原则的，应有,e,0。,利用符号检验方法，可以判断，如果连串过少，就表明有正的自相关；如果连串过多，就表明有负的自相关。,符号检验的具体方法参见第六章。,Ch7,相关与回归分析,7.3,一元线性回归分析,7.3.4,误差项,t,的自相关检验,D,-,W,检验,D,-,W,检验，也叫德宾,沃森检验法,(,Durbin-,Waston,test)。,该方法对检验是否存在一阶自相关，尤其有效。,D,-,W,检验法的统计量,d,定义为,(7.3.41),其中,n,代表样本大小。因为， 和 只相差一期观察值，它们是近似相等的，因此令 ，则,(7.3.41),式可写成,(7.3.42),Ch7,相关与回归分析,7.3,一元线性回归分析,7.3.4,误差项,t,的自相关检验,定义样本的一阶自相关系数,e,为,(7.3.43),它是,e,的一个估计式。利用,(7.3.43),式，可以把,(7.3.42),式写成,(7.3.44),d,的变化范围为,0,到,4,。,可见，如果不存在一阶自相关，有,e,=0，,d,2；,如果存在完全的正自相关,e,=+1，,于是,d,0，,因此，,d,愈接近于,0,，则存在正自相关的可能性比较大，在残差图上各个,t,将聚集在一起，其差分势,|,t,-,t,-1,|,表现必很小；如果,