资源描述
第二章第二章 一元线性回归模型一元线性回归模型回归的含义回归的含义总体回归函数总体回归函数样本回归函数样本回归函数普通最小二乘法普通最小二乘法OLS线性模型与非线性模型线性模型与非线性模型关于随机误差项的古典假设关于随机误差项的古典假设OLS估计量的性质估计量的性质OLS估计量的概率分布估计量的概率分布假设检验与置信区间假设检验与置信区间拟合优度拟合优度案例分析与案例分析与Eviews的应用的应用回归的含义回归的含义 回归的历史含义回归的历史含义lF.加尔顿最先使用“回归regression。l父母高，子女也高；父母矮，子女也矮。l给定父母的身高，子女平均身高趋向于“回归到l 全体人口的平均身高。回归的现代释义回归的现代释义回归分析用于研究一个变量关于另一个些变量的具体回归分析用于研究一个变量关于另一个些变量的具体依赖关系的计算方法和理论。依赖关系的计算方法和理论。l商品需求函数：l生产函数：l菲利普斯曲线：l拉弗曲线：l 等式左边的变量被称为被解释变量Explained Variable或应l 变量 Dependeni Variable。l等式右边的变量被称为解释变量Explanaiory Variable或自l 变量Independeni Variable。回归的现代释义回归的现代释义 回归分析的目的回归分析的目的l 根据自变量的值，估计因变量的均值。l检验基于经济理论的假设。l根据样本外自变量的值，预测因变量的均值。回归与因果关系回归与因果关系从逻辑上说，统计关系式本身不可能意味着任何从逻辑上说，统计关系式本身不可能意味着任何因果关系。因果关系。“一个统计关系式，不管多强也不管多么有启发性，却永远不能确立因果方面的联系：对因果关系的理念，必须来自统计学以外，最终来自这种或那种理论。Kendall 和Stuart前面四个例子都是基于经济理论设定的，包括身高和体重的关系。总体回归函数总体回归函数 假想案例 总体回归函数的随机设定 随机误差项的意义 XY8010012014016018020022024026055657980102110120135137150607084931071151361371451526574909511012014014015517570809410311613014415216517875859810811813514515717518088113125140160189185115162191户数户数5657665765总支出总支出32546244570767875068510439661211 假设一个国家只有假设一个国家只有60户居民，他们的可支配收户居民，他们的可支配收入和消费支出数据如下单位：美元：入和消费支出数据如下单位：美元：假想案例1由于不确定因素的影响，对同一收入水平由于不确定因素的影响，对同一收入水平X，不同家，不同家庭的消费支出不完全相同；庭的消费支出不完全相同；2但由于调查的完备性，给定收入水平但由于调查的完备性，给定收入水平X的消费支出的消费支出Y的分布是确定的，即以的分布是确定的，即以X的给定值为条件的的给定值为条件的Y的条件分布的条件分布Conditional distribution是的，是的，如：如：P(Y=55|X=80=1/5。因此，给定收入因此，给定收入X的值的值Xi，可得消费支出，可得消费支出Y的条件均值的条件均值(conditional mean)或条件期望或条件期望conditional expectation:E(Y|X=Xi)该例中：该例中：E(Y|X=80)=65分析：分析：描出散点图发现：随着收入的增加，消费描出散点图发现：随着收入的增加，消费“平均地说也在增加，且平均地说也在增加，且Y的条件均值均落在一根正斜率的直线上。这条直线称为总体回归线。的条件均值均落在一根正斜率的直线上。这条直线称为总体回归线。E(Y|Xi)=0+1Xi=17.00+0.6Xi“天行有常，不为尧存，不为桀亡。应之以天行有常，不为尧存，不为桀亡。应之以治那么吉，应之以乱那么凶。治那么吉，应之以乱那么凶。-荀子荀子?天论天论?E(Y|Xi)=0+1Xil 总体回归函数总体回归函数其中：其中：Y被解释变量；被解释变量；X解释变量；解释变量；0，1回归系数待定系数或待估参数回归系数待定系数或待估参数 总体回归函数的随机设定l 对于某一个家庭，如何描述可支配收入和消费支出的关系对于某一个家庭，如何描述可支配收入和消费支出的关系?XiYi.E(Y|Xi)=0+1 XiY1Y2Y3u1u2u3总体回归直线总体回归直线uiYi-E(Y|Xi)随机误差项随机误差项某个家庭的消费支出分为两局部：一是某个家庭的消费支出分为两局部：一是E(Y|Xi)=0+1 Xi，称为系统成分或确定性成分；二是称为系统成分或确定性成分；二是ui，称为非系统或随机性成，称为非系统或随机性成分。分。Yi=E(Y|Xi)+ui=0+1 Xi+uiYi=0+1 Xi+uiE(Y|Xi)=0+1 Xi,随机性总体回归函数随机性总体回归函数确定性总体回归函数确定性总体回归函数 随机误差项u的意义l 反映被忽略掉的因素对被解释变量的影响。或者理论不够完善，或者数据缺失；或者影 响轻微。l模型设定误差l度量误差l 人类行为内在的随机性 XY8010012014016018020022024026055135137609310711565749511012014017594103144178759810813517588113125189115162191户数户数4226331333总支出总支出255162192627342370144337501544样本回归函数样本回归函数 为研究总体，我们需要抽取一定的样本。第第一一个个样样本本样本回归线样本回归线样本均值连线样本均值连线 XY801001201401601802002202402606579102120135607084931151451527490155801161441521657585118145180140160189185115户数户数2532323343总支出总支出135374253208336255409447654517样本回归函数样本回归函数 第二个样本第二个样本样本回归线样本回归线样本均值连线样本均值连线 总体回归模型和样本回归模型的比较总体回归模型和样本回归模型的比较XiYiY1Y2Y3u1u2u3e2e3e1E(Y|Xi)=0+1 Xi注意：分清几个关系式和表示符号注意：分清几个关系式和表示符号2样本估计的回归直线：样本估计的回归直线：3总体真实的回归函数：总体真实的回归函数：4样本估计的回归函数：样本估计的回归函数：1总体真实的回归直线：总体真实的回归直线：ui随机误差项随机误差项ei残差项残差项对于所研究的经济问题，通常总体回归直线对于所研究的经济问题，通常总体回归直线 E(Yi|Xi)=0+1Xi 是观测不到的。可以通过收集样本来对总体真实的回归直线做出估是观测不到的。可以通过收集样本来对总体真实的回归直线做出估计。计。样本回归模型：样本回归模型：其中：其中：为为Yi的估计值拟合值；的估计值拟合值；为为 0,1 的估计值；的估计值；ei为残差，可视为为残差，可视为ui的估计值。的估计值。普通最小二乘法普通最小二乘法或：或：如何得到一条能够较好地反映这些点变化规律的直线呢？对于参数的估计采用最小二乘估计法、最小二乘法的原那么是以对于参数的估计采用最小二乘估计法、最小二乘法的原那么是以“残差平方和最小残差平方和最小 确定直线位置即估计参数。确定直线位置即估计参数。Q为残差平方为残差平方和和Q=那么通过那么通过Q最小确定这条直线，即确定最小确定这条直线，即确定 ，以，以 为变为变量，把它们看作是量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通的函数，就变成了一个求极值的问题，可以通过求导数得到。过求导数得到。样本回归模型：样本回归模型：那么通过那么通过Q最小确定这条直线，即确定最小确定这条直线，即确定 ，以，以 为变为变量，把它们看作是量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通的函数，就变成了一个求极值的问题，可以通过求导数得到。过求导数得到。求求Q Q对对 两个待估参数两个待估参数 的偏导数：的偏导数：=0=0正规方程组正规方程组即即根据以上两个偏导方程得以下正规方程Normal equation：OLS回归直线的性质回归直线的性质 1残差和等于零残差和等于零 2估计的回归直线估计的回归直线 过点过点 .3 Yi 的拟合值的平均数等于其样本观测值的平均数的拟合值的平均数等于其样本观测值的平均数 .=由正规方程由正规方程 可得。可得。=4Covei,Xi=0=5Covei,=0线性与非线性线性与非线性l生产函数：l菲利普斯曲线：l拉弗曲线：受教育年限与平均小时工资奥肯定律股票价格与利率古董钟与拍卖价格 一些例子一些例子u利用OLS方法得到一个样本回归模型一条样本回归线后，问题结束了吗？u为什么要用普通最小二乘法？u样本回归模型有无穷多个，我们仅仅得到其中一个，它能反映真实的总体回归模型吗？u样本回归模型对数据的拟合程度可以接受吗？u如何用样本回归模型进行预测？问题结束了吗？问题结束了吗？1密度函数密度函数假定假定1：解释变量是非随机的。解释变量是非随机的。假定假定2:零期望假定零期望假定：E(ui)=0。E(ui|Xi)=0。古典线性回归模型的根本假定古典线性回归模型的根本假定E(Y|Xi)=0+1 XiXY0假定假定3：同方差性假定同方差性假定：Var(ui)=Eui-E(ui)2=E(ui2)=2。XY0XY0同方差异方差假定假定4：无序列相关无自相关假定：无序列相关无自相关假定：Cov(ui,uj)=E(ui-E(ui)(uj-E(uj)=E(uiuj)=0,(i j)。无自相关正自相关负自相关假定假定5：ui服从正态分布服从正态分布,ui N(0,2)假定假定6*：解释变量解释变量X与随机误差项与随机误差项u不相关不相关 Cov(ui,Xi)=E(ui-E(ui)(Xi-E(Xi)=E(ui Xi)=0 如果如果X为确定性变量，该假定自然满足为确定性变量，该假定自然满足假定假定7*：回归模型是关于参数线性的，但不一定关于变量线性。回归模型是关于参数线性的，但不一定关于变量线性。其他一些假定的说明：其他一些假定的说明：OLS估计量的性质估计量的性质 高斯高斯-马尔可夫定理马尔可夫定理如果满足古典线性回归模型的根本假定假定如果满足古典线性回归模型的根本假定假定1-假定假定4，那么在所有的线性估计量中，那么在所有的线性估计量中，OLS估计量是最优线性无偏估计量是最优线性无偏估计量估计量BLUE。线性性线性性 无偏性无偏性 有效性有效性都是都是Yi的的线性函数。性函数。证明：证明：=令令代入上式，得：代入上式，得：=线性性线性性 线性估计量的处理要比非线性估计量更为容易证明：证明：=无偏性无偏性=11无偏估计量 有偏估计量OLS估计量的方差比其他估计量的方差比其他线性无偏估计量线性无偏估计量的方差都小。的方差都小。最小方差性与有效性最小方差性与有效性1 一致性了解一致性了解1概率密度 OLS估计量的方差估计量的方差为什么要估计方差？方差反映了数据的离散程度和估计结果的精确性。受教育年限与每小时工资1总体随机误差项真实方差总体随机误差项真实方差 2的估计量：的估计量：2的估计的估计受教育年限与每小时工资OLS估计量的概率分布估计量的概率分布概率分布是进行假设检验的前提如果受教育年限的单位为月如果受教育年限的单位为日2、方差、方差1 的期望的期望2 的期望的期望1、期望、期望2 的方差的方差1 的方差的方差服从服从N N 服从服从假定假定7：ui 服从正态分布服从正态分布，即即ui N(0,2)。Yi=0+1 Xi+ui，所以，所以Yi N(0+1 Xi,2)线性性H0：1=0 H1：10 零假设与备择假设构造统计量0受教育年限与每小时工资假设检验与置信区间假设检验与置信区间1 假设检验 Z检验与t检验显著性检验显著性检验t t 检验的根本步骤检验的根本步骤 首先，提出原假设和备择假设：首先，提出原假设和备择假设：H0：H1：其次，确定并计算统计量：其次，确定并计算统计量：最后，给定显著性水平，查自由度为最后，给定显著性水平，查自由度为 t-2 t-2 的的t t分布表。那么，分布表。那么，如果如果 不能拒绝不能拒绝H0：1 1=0=0，认为，认为X X对对Y Y没有显著影响。没有显著影响。如果如果 拒绝拒绝H0：1 1=0=0，认为，认为X X对对Y Y有显著影响。有显著影响。同理同理,可对可对 0 0 进行显著性检验。进行显著性检验。模型：模型：=2.5%t(n-2)-t0.025t0.025=2.5%95%0双侧受教育年限与每小时工资n=130-2.2012.201H0：1=0 H1：10 股票价格与利率H0：1=0 H1：10 n=20 其他零假设检验奥肯定律H0：1=-0.4 H1：1-0.4n=29u 对于双变量模型，自由度总为(n-2)u 经验分析中，常用的有1%、5%和10%。u 为了防止显著水平选择的随意性，通常要给u 出p值。p值值 t(n-2)-t0.025t0.025p/20tp值0.05，接受原假设t(n-2)-t0.025t0.025p/20tp值00t(n-2)t0.05=5%95%0=5%t(n-2)-t0.0595%0单侧左侧单侧右侧受教育年限与每小时工资n=1301.796H0：1=0 H1：10 股票价格与利率n=20H0：1=0 H1：10 p值值 t(n-2)t0.05p0tp值0.05，接受原假设t(n-2)t0.05p0tp值0.05，接受原假设t(n-2)t0.05p0tp值0.05，拒绝原假设单侧检验用用 p 值判断参数的显著性的方法值判断参数的显著性的方法方法：将给定的显著性水平方法：将给定的显著性水平 与与p p值比较：值比较：假设假设p p值值 ，那么在显著性水平，那么在显著性水平 下拒绝原假下拒绝原假设设H0:H0:=0,=0,即认为即认为X X对对Y Y有显著影响；有显著影响；假设假设p p值值 ，那么在显著性水平，那么在显著性水平 下接受原下接受原假设假设H0:H0:=0=0，即认为即认为X X对对Y Y没有显著影响；没有显著影响；这一判别规那么对于单侧检验和双侧检验都成立这一判别规那么对于单侧检验和双侧检验都成立！置信区间置信区间 1=2.5%2=2.5%由于：由于：由大括号内不等式表示置信水平为由大括号内不等式表示置信水平为1-时 1 1的置信区间：的置信区间：得：得：P t/2(n-2)=1-同理同理,可求得可求得 的置信区间为：的置信区间为：-t/2(n-2)0 t/2(n-2)受教育年限与每小时工资n=13通过置信区间，可以直接对H0：1=0进行检验吗？股票价格与利率n=20离差平方和的分解离差平方和的分解可决系数可决系数拟合优度：是指回归直线对观测值的拟合程度。显然，假设观测值离回归拟合优度：是指回归直线对观测值的拟合程度。显然，假设观测值离回归直线近，那么拟合优度好，反之，那么拟合优度差，度量拟合直线近，那么拟合优度好，反之，那么拟合优度差，度量拟合优度的统计量是可决系数。优度的统计量是可决系数。拟合优度与可决系数拟合优度与可决系数 离差平方和的分解离差平方和的分解.YXYi Xi A0=+=+总离差总离差 =回归差回归差 +残差残差 回归差：由样本回归直线解释的局部回归差：由样本回归直线解释的局部 残差：不能由样本回归直线解释的局部残差：不能由样本回归直线解释的局部 可以证明可以证明:证明证明:=由于：由于：=0所以：所以：=总离差平方和总离差平方和 回归平方和回归平方和 残差平方和残差平方和TSS =ESS +RSSTSS =ESS +RSS 可决系数可决系数=1回回归归平平方方和和在在总总离离差差平平方方和和中中所所占占的的比比重重越越大大，说说明明样样本本回回归归直直线线对对样样本本值值拟拟合合的的程程度度越越好好。因因此此，用用来来表表示示拟拟合合优优度度的的样样本本可可决决系系数数定定义为：义为：R2=R2 的取的取值范范围是是 0，1。对于一于一组数据，数据，TSS是不是不变，所以，所以ESS，RSS R2=0时时 说明解释变量说明解释变量X与被解释变量与被解释变量Y之间不存在线性关系；之间不存在线性关系；R2=1时时 说明样本回归线与样本值重合，这种情况极少发生；说明样本回归线与样本值重合，这种情况极少发生；一般情况下，一般情况下，R2越接近越接近1表示拟合程度越好，表示拟合程度越好，X对对Y的解释能力越强。的解释能力越强。另外：另外：R2 2=R2 2=相关系数与可决系数的关系相关系数与可决系数的关系 1样本相关系数是建立在相关分析的根底之上的，研究的是样本相关系数是建立在相关分析的根底之上的，研究的是随机变量之间的关系；可决系数那么是建立在回归分析根底上，随机变量之间的关系；可决系数那么是建立在回归分析根底上，研究的是非随机变量研究的是非随机变量X对随机变量对随机变量Y的解释程度。的解释程度。2 2取值上，可决系数是样本相关系数的平方。取值上，可决系数是样本相关系数的平方。3 3样本相关系数是由随机的样本相关系数是由随机的X X和和Y Y抽样计算得到，因而相关关抽样计算得到，因而相关关系是否显著，还需进行检验。系是否显著，还需进行检验。可决系数可决系数相关系数相关系数就模型而言就模型而言就两个变量而言就两个变量而言说明解释变量对应变量的说明解释变量对应变量的解释程度解释程度度量两个变量线性依存程度量两个变量线性依存程度。度。取值：取值：0,1取值：取值：1,1点预测点预测Yi区间预测区间预测 1单个值单个值Yi的区间预测的区间预测 2均值均值E(Yi)的区间预测的区间预测一元线性回归方程的预测一元线性回归方程的预测如果经过检验，样本回归方程的拟合优度好，且回归系数的估计值显如果经过检验，样本回归方程的拟合优度好，且回归系数的估计值显著不为著不为0 0，那么可以用回归方程进行预测。预测分为点预测和区间预测。，那么可以用回归方程进行预测。预测分为点预测和区间预测。1 1、点预测、点预测 假设假设XFXF为解释变量的一个点，那么带入样本回归方程为解释变量的一个点，那么带入样本回归方程即可得到即可得到YFYF的估计值的估计值:2 2、区间预测、区间预测 估计值估计值 是一个点预测值，它可以是是一个点预测值，它可以是1 1总体真值总体真值YFYF的预测值；的预测值；也可以是也可以是2 2总体回归线总体回归线E(YF|XF)E(YF|XF)的预测值。现在根据的预测值。现在根据 来对来对1 12 2进行区间预测。进行区间预测。E(E(YF|XF)的预测区间是的预测区间是:1 1条件期望条件期望E(Y0|X0)E(Y0|X0)的预测区间的预测区间 YF的预测区间是的预测区间是:SRF各种预测值的关系各种预测值的关系Y的个别值的置信区间Y均值的置信区间
展开阅读全文