一元线性回归资料课件

LOGO第三章第三章 一元线性回归一元线性回归3.1 一元线性回归模型一元线性回归模型3.2 回归参数回归参数 的估计的估计3.3 最小二乘估计的性质最小二乘估计的性质3.4 回归方程的显著性检验回归方程的显著性检验3.5 预测和控制预测和控制LOGO3.1 一元线性回归模型一元线性回归模型一一、回归模型的一般形式、回归模型的一般形式 1、变量间的关系 经济变量之间的关系，大体可分为两类：（1）确定性关系或函数关系确定性关系或函数关系：变量之间有唯一确定性的函数关系。其一般表现形式为：（2）统计关系与相关关系统计关系与相关关系：变量间为非确定性依赖关系。其一般表现形式为：（3.1.1)(3.1.2)LOGO 函数关系：函数关系：圆面积S=统计依赖关系统计依赖关系/统计相关关系：统计相关关系：农作物产量农作物产量=（气温，降雨量，阳光，施肥量）（气温，降雨量，阳光，施肥量）例如：例如：LOGO2、回归分析与相关分析、回归分析与相关分析 若x和y之间确有因果关系，则称(3.1.2)为总体回归模型，x(一个或几个）为自变量（或解释变量或外生变量），y为因变量（或被解释变量或内生变量），u为随机项，是没有包含在模型中的自变量和其他一些随机因素对y的总影响。一般说来，随机项来自以下几个方面：一般说来，随机项来自以下几个方面：1、变量的省略。、变量的省略。由于人们认识的局限不能穷尽所有的影响因素或由于受时间、费用、数据质量等制约而没有 引入模型之中的对被解释变量有一定影响的自变量。2、统计误差。、统计误差。数据搜集中由于计量、计算、记录等导致的登记误差；或由样本信息推断总体信息时产生的代表性误差。LOGO 3、模型的设定误差。、模型的设定误差。如在模型构造时，非线性关系用线性模型描述了；复杂关系用简单模型描述了；此非线性关系用彼非线性模型描述了等等。4、随机误差。、随机误差。被解释变量还受一些不可控制的众多的、细小的偶然因素的影响。若相互依赖的变量间没有因果关系，则称其有相关关系。其有相关关系。注意：注意：1、有相关关系并不意味着一定有因果关系；2、回归分析/相关分析研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因果关系。3、相关分析对称地对待任何（两个）变量，两个变量都被看作是随机的。回归分析对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是。LOGO 对变量间统计依赖关系的分析主要是通过相关分析相关分析(correlation analysis)或或回归分析回归分析(regression analysis)来完成的。他们各有特点、职责和分析范围。相关分析和回归分析本身虽然可以独立的进行某些方面的数量分析，但在大多数情况下，则是和回归分析结合在一起，进行综合分析，作为回归分析方法的补充。LOGO二、一元线性回归模型二、一元线性回归模型 回回归归分分析析(regression analysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。其其用用意意：在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值。这里：前一个变量被称为被被解解释释变变量量（Explained Variable）或或因因变变量量（Dependent Variable），后一个（些）变量被称为解解释释变变量量（Explanatory Variable）或）或自变量自变量（Independent VariableVariable）。）。对于总体回归模型，特别地,当只有一个自变量且 时，则有：LOGO(3.1.4)其中 和 为两个待定参数，为直线的截距，为直线的斜率。我们称（3.1.4）为一元线性总体回归模型。若给定的n次观察值，（i,j=1,2,3,n）代入模型（3.1.4)，得(i=1,2,3,n)（3.1.5）线性回归模型中的线性回归模型中的“线性线性”一词在这里有两重含义：一词在这里有两重含义：一是被解释变量y与解释变量x之间为线性关系，即解释变量x仅以一次方的形式出现在模型之中。用数学语言表示为：LOGO 二是被解释变量x与参数 之间为线性关系，即参数 仅以一次方的形式出现在模型之中。用数学语言表示为：在经济计量学中，我们更关心被解释变量y与参数 之间的线性关系。因为只要被解释变量y与参数 之间为线性关系，即使被解释变量y与解释变量x之间不为线性关系，我们也可以通过变量替换方便地将其化为线性。例如，模型就属于被解释变量y与解释变量x之间不为线性关系的情形，如果我们令 ，此时非线性模型 就变成线性模型 了。LOGO三、一元线性回归模型中随机项的假定三、一元线性回归模型中随机项的假定在给定样本观测值（样本值），i,j=1,2,3,n后，为了估计（3.1.5）式的参数 和 ，必须对随机项做出某些合理的假定。这些假定通常称为古典假设。假设假设1、解释变量X是确定性变量，不是随机变量；假设假设2、随机误差项具有零均值、同方差和不序列相关性：E(i)=0 i=1,2,n Var(i)=2 i=1,2,n Cov(i,j)=0 ij i,j=1,2,n假设假设3、随机误差项与解释变量X之间不相关：Cov(Xi,i)=0 i=1,2,n假设假设4、服从零均值、同方差、零协方差的正态分布 iN(0,2)i=1,2,nLOGO注意：注意：1、如果假设如果假设1、2满足，则假设满足，则假设3也满足也满足;2、如果假设、如果假设4满足，则假设满足，则假设2也满足也满足以上假设也称为线性回归模型的经典假设经典假设或高斯（高斯（Gauss）假设）假设，满足该假设的线性回归模型，也称为经典线性回归模型（经典线性回归模型（Classical Linear Regression Model,CLRM）。【例【例3.1.1】：】：一个假想的社区有100户家庭组成，要研究该社区每月家庭消费支出Y与每月家庭可支配收入X的关系。即如果知道了家庭的月收入，能否预测该社区家庭的平均月消费支出水平。为达到此目的，将该100户家庭划分为组内收入差不多的10组，以分析每一收入组的家庭消费支出。LOGOLOGO分析：分析：（1）由于不确定因素的影响，对同一收入水平X，不同家庭的消费支出不完全相同；（2）但由于调查的完备性，给定收入水平X的消费支出Y的分布是确定的，即以X的给定值为条件的Y的条件分布（Conditional distribution）是已知的，如:P(Y=561|X=800）=1/4。因此，给定收入X的值Xi，可得消费支出Y的条件均条件均值（conditional mean）或条件期望（条件期望（conditional expectation）：E(Y|X=Xi)该例中：E(Y|X=800)=561LOGO3.2 回归参数回归参数 的估计的估计一、样本回归方程一、样本回归方程 对于一元线性回归模型 ，在满足古典假设条件下，两边取条件均值，得一元线性回归方程：简称总体回归线总体回归线。其中总体回归系数 和 是未知的，实际上总体回归线是无法求得的，它只是理论上的存在，所以称为理论回归方程。如果变量 x 和y之间存在线性相关关系，对于任意抽取的若干个观测（样本）点（），有 （3.2.1）LOGO我们称（3.2.1）为样本回归模型。它由两部分组成：称为系统分量，是可以被x解释的部分，也称为可解释分量；是不能被解释的部分，称为残差（Residual）,它是随机项 的代表值，也称为不可解释分量。将系统分量表示为(3.2.2)式（3.2.2）称为一元线性样本回归方程，简称样本回归方程。又因（3.2.2）式的建立依赖于样本观测值()，所以我们又称其为经验回归方程。为样本回归系数。其中，是估计的回归直线在y轴的截距，是总体回归系数的样本估计值；是直线的斜率，是总体回归系数 的样本估计值。的实际意义为x每变动一个单位时，y的平均变动值，即x的变动对y变动的边际贡献率。是实际观测值 的拟合值或估计值。LOGO二、参数的普通最小二乘估计二、参数的普通最小二乘估计 对每一个样本观测值 ，最小二乘法考虑观测值 与其回归值 的离差越小越好，综合考虑n个离差值，定义离差平方和为：所谓最小二乘法，就是寻找参数 的估计值 ，使式（3.2.3）定义的离差平方和最小，即寻找 满足：（3.2.3）（3.2.4）求出的 就称为回归参数回归参数 的最小二乘估计的最小二乘估计。LOGO为 的回归拟合值，简称回归值回归值或拟合值拟合值。称为 的残差残差。从几何关系上看，用一元线性回归方程拟合n个样本观测点 ，就是要求回归直线 位于这n个样本点中间，或者说这n个样本点能最靠近这条回归线。从式（3.2.4）中求出 是一个求极值的问题。根据微积分中求极值的原理，应满足下列方程组：（3.2.5）LOGO求解以上正规方程组得 的最小二乘估计（OLSE)为:（3.2.6）式中式中 ，记记LOGO则式（3.2.6）可简写为：由 可知：可见回归直线 是通过点 的。从物理学的角度看，是n个样本值 的重心。LOGO由最小二乘法确定的一元线性回归方程由最小二乘法确定的一元线性回归方程 有以下性质：有以下性质：1、它是由所选取的样本唯一决定的。即对于一个给定的样本，只能估计出一个 ，但对于不同的样本，估计出的 可能不相等，即它们是服从某种分布的随机变量。2、残差的均值为零，即3、残差 的大小无关，进而与 的大小无关，即 4、由 知，。说明回归直线 通过样本的平均点（）。LOGO【例例3.2.1】：在上述家庭可支配收入消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表2.2.1进行。LOGO因此，由该样本估计的回归方程为：LOGO3.3 最小二乘估计的性质最小二乘估计的性质 当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。一个用于考察总体的估计量，可从如下几个方面考察其优劣性：一个用于考察总体的估计量，可从如下几个方面考察其优劣性：（1 1）线性性，线性性，即它是否是另一变量的线性函数；（2 2）无偏性无偏性，即它的均值或期望值是否等于总体的真实值；（3 3）有效性有效性，即它是否在所有线性无偏估计量中具有最小方差。这三个准则也称作这三个准则也称作估计量的小样本性质估计量的小样本性质。拥有这类性质的估计量称为拥有这类性质的估计量称为最佳线性无偏估计量最佳线性无偏估计量（best liner unbiased estimator,BLUE）。LOGO一、线性一、线性所谓线性就是估计量所谓线性就是估计量 为随机变量为随机变量 的线性函数。的线性函数。证：证：证：证：令令 ，因，因 ，故有，故有 所以 和 是 的线性组合。LOGO二、无偏性二、无偏性即估计量即估计量 的均值（期望）等于总体回归参数真值的均值（期望）等于总体回归参数真值证：证：证：证：易知故同样地，容易得出LOGO三、有效性（最小方差性）三、有效性（最小方差性）即在所有线性无偏估计量中，最小二乘估计量即在所有线性无偏估计量中，最小二乘估计量 具有最具有最小方差。小方差。LOGO（2）证明最小方差性）证明最小方差性其中，其中，ci=ki+di，di为不全为零的常数，则容易证明为不全为零的常数，则容易证明假设假设 是其他估计方法得到的关于是其他估计方法得到的关于 的线性无偏估计量：的线性无偏估计量：同理，可证明同理，可证明 的最小二乘估计量的最小二乘估计量 具有最小的方差。具有最小的方差。普通最小二乘估普通最小二乘估计量量（ordinary least Squares Estimators）称称为最佳最佳线性无偏估性无偏估计量量（best linear unbiased estimator,BLUE）LOGO3.4 回归方程的显著性检验回归方程的显著性检验 1 1、显著性检验、显著性检验t t检验检验 对于一元线性回归方程中的 ，已经知道它服从正态分布 由于真实的 未知，在用它的无偏估计量 替代时，可构造如下统计量：LOGO 检验步骤：检验步骤：（1）对总体参数提出假设 H H0 0：1 1=0=0，H H1 1：1 1 0 0（2）以原假设H0构造t统计量，并由样本计算其值T=（3）给定显著性水平，查t分布表，得临界值t/2(n-2)（4）比较，判断 若|t|t /2(n-2)，则拒绝H0，接受H1；若|t|t /2(n-2)，则拒绝H1，接受H0；LOGO 对于一元线性回归方程中的0，可构造如下t统计量进行显著性检验：在上述收入收入-消费支出消费支出例中，首先计算2的估计值 于是 和 的标准差的估计值分别是：LOGOt统计量的计算结果分别为：给定显著性水平=0.05，查t分布表得临界值 t 0.05/2(8)=2.306|t1|2.306，说明家庭可支配收入在明家庭可支配收入在95%的置信度下的置信度下显著，即是消著，即是消费支出的主要解支出的主要解释变量；量；|t2|2.306,表明在表明在95%的置信度下，无法拒的置信度下，无法拒绝截距截距项为零的假零的假设。LOGO 2 2、显著性检验、显著性检验F F检验检验 F检验属于回属于回归方程的方程的显著性著性检验，它是，它是对所有参数感所有参数感兴趣的趣的一种一种显著性著性检验。其。其检验步步骤为：第一步第一步：提出假设。原假设H0：（同时为零）备择假设H1：不同时为零。第二步第二步：构造F统计量。可以证明：=0所以 LOGO即F统计量服从第一自由度为，第二自由度为n-2的t分布。F统计量的计算一般通过下列方差分析表进行。第三步第三步：给定显著水平 ，查F分布临界值得到第四步第四步：做出统计决策。LOGO例例3.4.1仍以仍以例例2.2.1资料料为例，例，F检验过程如下：程如下：第一步：提出假设。原假设H0：（同时为零）备择假设H1：不同时为零。第二步：构造F统计量。因为ESS1602708.6(计算过程见表2.4.3)或直接取自输出结果2.2.1中的方差分析部分“回归分析（行）SS（列）”(1602708.6)。40158.071(计算过程见计算表2.4.3)或直接取自输出结果2.2.1中的方差分析部分“残差（行）SS（列）”(40158.071)。(见方差分析表2.3.4)LOGO或直接取自输出结果2.2.1中的方差分析部分“回归分析（行）F（列）”(399.09999)。(见表2.4.4)LOGO第三步：给定显著性水平 ，查 F 分布临界值得到第四步：做出统计决策。因为 ，所以我们拒绝原假设H0，接受备择假设，认为x,y关系显著 即回归方程显著，F检验通过。LOGO 3 3、相关系数的显著性检验、相关系数的显著性检验 由于一元线性回归方程研究的是变量x与变量y之间的线性相关关系，所以我们可以用反映变量x与变量y之间的相关关系密切程度的相关系数来检验回归方程的显著性。由于总体相关系数定义为设 是 的 n 组样本观测值，则我们称LOGOLOGO为x与y的简单线性相关系数，简称相关系数相关系数。它表示x和y的线性相 关关系的密切程度。其取值范围为 ，即 。当r=-1时，表示x与y之间完全负相关；当r=1时，表示x与y之间完全正相关；当r=0时，表示x与y之间无线性相关关系，即说明x与y可能无相关关系或x与y之间存在非线性相关关系。LOGO3.5 预测与控制预测与控制一、预测一、预测（一）点预测（一）点预测对于一元线性回归模型 给定样本以外的解释变量的观测值X0，可以得到被解释变量的预测值0，可以此作为其条条件件均均值E(Y|X=X0)或个个别值Y0的一个近似估计注意：注意：严格地说，这只是被解释变量的预测值的估计值，而不是预测值。原因:（1）参数估计量不确定；（2）随机项的影响LOGO即 是 的无偏估计量，但不是 的无偏估计量。但 ，说明预测误差 在多次观察中，平均值趋于零。因此，也可以用 作为 的点估计值。于是，我们把点预测分为两种：一是平均值的点预测，二是个别值的点预测。利用回归方程，对于x的一个固定值，推算出y的平均值的一个估计值，就是平均值的点预测；如果对于x的一个特定值，推算出y的一个个别值的估计值，则属于个别值的点预测。【例【例3.5.1】仍以例2.2.1资料为例，若要估计广告费用为1000万元时，所有12个汽车销售分公司的汽车 就是平均值的点预测；若要估计广告费用为602万元的那个汽车销售分公司的汽车销售量为：就属于个别值的点预测。（辆）（辆）LOGO（二）区间预测值（二）区间预测值 1、总体均体均值预测值的置信区的置信区间 由于于是可以证明 LOGO因此故将未知的 代以它的无偏估计量 ，可构造t统计量其中LOGO于是，在1-的置信度下，总体均值总体均值E(Y|X0)的置信区间为的置信区间为 2、总体体个个值预测值的置信区的置信区间 由 Y0=0+1X0+知:于是 式中:将未知的 代以它的无偏估计量 ，可构造t统计量LOGO从而在1-的置信度下，Y0的置信区间的置信区间为在上述收入收入-消费支出消费支出例中，得到的样本回归函数为则在 X0=1000处，0=103.172+0.7771000=673.84 而因此，总体均值总体均值E(Y|X=1000)的95%的置信区间为：673.84-2.30661.05 E(Y|X=1000)673.84+2.30661.05或 （533.05,814.62）LOGO同样地，对于Y在X=1000的个体值个体值，其95%的置信区间为：673.84-2.30661.05Yx=1000 673.84+2.30661.05或 (372.03,975.65)总体回归函数的置信带（域）置信带（域）（confidence band）个体的置信带（域）置信带（域）LOGO对于对于Y的总体均值的总体均值E(Y|X)与个体值的预测区间（置信区间）：与个体值的预测区间（置信区间）：（1）样本容量n越大，预测精度越高，反之预测精度越低；（2）样本容量一定时，置信带的宽度当在X均值处最小，其附近进行预测（插值预测）精度越大；X越远离其均值，置信带越宽，预测可信度下降。LOGO二、控制二、控制所谓控制实际上就是预测的反问题。即若因变量y取值于一定范围内，例如 ，已经给定，求自变量x应控制在什么范围内。这等价于求 与 ，使得当 时，因变量y以1-的概率取值于 对于个别值的区间预测由可以解出 与 作为 的控制限。但应注意，要实现控制必须 ，即应有LOGO从而 和 应满足当此条件满足时，即为x的控制范围。同理，对于平均值的区间预测由可以解出 与 作为 的控制限。LOGO1.一元一元线性回性回归分析在工程技分析在工程技术经济领域中的域中的应用用 2.基于灰色基于灰色预测模型与一元模型与一元线性回性回归模型的煤模型的煤矿瓦斯涌出量瓦斯涌出量预测比比较 3.基于一元基于一元线性回性回归的中国煤炭行的中国煤炭行业年死亡人数与年煤炭年死亡人数与年煤炭产量的量的预测研究研究 4.一元一元线性回性回归模型在模型在预测物流需求的物流需求的应用用 5.基于一元基于一元线性回性回归模型的区域模型的区域经济发展与航空物流的相关性研究展与航空物流的相关性研究 6.一元一元线性回性回归法在煤法在煤矿瓦斯含量瓦斯含量预测中的中的应用用 相关论文：相关论文：相关论文：相关论文：LOGO