两变量线性回归分析.ppt

1 第二章两变量线性回归分析 两变量线性回归模型参数估计和最小二乘法最小二乘估计量的性质回归拟合度评价和决定系数统计推断预测 2 两变量线性回归模型 两变量线性回归模型的核心是两个变量之间 存在着用线性函数表示的因果关系如果用Y表示因果关系中被影响或决定的变量 用X表示影响或决定Y的变量 那么两变量线性回归模型的核心就是线性函数Y X 这个线性函数的截距 和斜率 是两个待定参数 是决定这个特定因果关系 或经济规律 的关健变数由于计量分析是的问题导向的 Y应该是与所考察问题最紧密相关的指标 解释变量应该根据所研究问题的具体情况和特征 以及相关的经济理论和研究经验等进行判断选择 两个变量关系是否直接用线性函数反映 则需要利用相关的经济理论和经验 以及根据变量数据的分布情况进行判断 3 教材20页图 4 经济变量关系中的随机性 一 线性回归分析是以经济变量之间存在线性的因果关系为基础的 但这种因果关系不是严格意义上的函数关系 一个变量通常不可能被另一个经济变量完全精确地决定人类经济行为本身有随机性一个经济变量总是受众多因素的影响 虽然众多因素的单独影响可能较小 甚至可以忽略不计 但这些因素的总体影响是存在的 会对所考察的变量产生明显的影响或扰动 从而使只考虑两个变量之间的函数难以严格成立任何函数反映经济变量之间的关系都只是一种简化反映 常常忽略一些高阶项的次要部分 这种简化也会导致变量之间的函数关系不能严格成立经济数据来源于调查统计而非控制条件下的严格实验和测度 因而难免有一定的偏差 5 经济变量关系中的随机性 二 影响经济变量严格函数关系因素的存在 使得我们所研究的两变量线性关系 实际上都是有一定随机性的随机函数关系 应该表示为Y X 两个变量的随机线性函数由两部分组成一部分由严格的线性函数E Y X构成 我们称之为两变量关系的趋势部分 也称为总体回归直线 是两变量关系的主要方面 也是我们研究的主要目标和对象另一部分是随机误差项 代表了影响Y的各种较小因素的综合影响 是两变量关系中的次要方面 6 模型的假设 变量X和Y之间的函数关系Y X 对两变量的所有观察数据组 i 1 n 都成立 其中为随机误差项对应每组变量观测数据的误差项 都为零均值的随机变量 即对i 1 n都成立误差项的方差为常数 即对i 1 n都成立对应不同观测值数据组的误差项不相关 即对任意的i j都成立解释变量X是确定性变量 而非随机变量误差项服从正态分布 7 零均值 零均值是线性回归模型最基本的假设 它是两变量线性随机函数的本质特征 是识别这种关系的根本标准识别变量之间的随机函数关系 只能根据平均情况或概率分布来进行如果两个变量的关系中确实线性函数是主导的 误差项只是次要的随机扰动因素 那么Y的个别观测会因为随机扰动偏离线性函数规定的基本趋势 但如果对同样的X多次重复观测对应的Y值 则Y值的概率均值应该能消除随机扰动的影响 符合线性函数的基本趋势该标准可等价地表示为对i 1 n都成立 也就是被解释变量的期望值始终落在总体回归直线上 是参数估计方法有有效性和良好性质的必要保证 8 26页图2 3 9 同方差 误差项的方差反映误差项作为随机函数的分布分散程度同方差假设的意义是对于不同观测数据组 误差项的发散趋势相同 或有相同形状的概率密度函数如果的方差随i变化而变化 就意味着这部分因素对被解释变量的影响力度会随着i而变化 因此就不能再理解为一些微小的可以忽略的随机扰动因素的影响同方差假设排除模型误差项对被解释变量影响程度的变化 对保证线性回归分析的性质和价值 有非常重要的作用 10 26页图2 4 11 无自相关 无自相关假设的意义是对应不同观测值的误差项之间没有相关性 如果这一点不成立 则意味着调养项的取值变化存在某种规律性 这与模型认为误差项只是没有规律的微小随机因素的综合影响的思想不符当误差项之间存在相关性时 会对线性回归分析的效果产生不利的影响同时满足零均值 同方差 无自相关三条假设的随机误差项 有时也称为 球形扰动项 12 解释变量是确定性变量 解释变量X是确定性变量而不是随机变量的假设 在于方便线性回归分析的讨论和证明 这个假设不成立时 虽然多数情况下参数估计和相关的统计分析仍然有效 但证明比较困难当X既是随机变量又与误差项有强相关性时 回归分析的有效性和价值会受到严重影响这条假设有很大的人为性 因为X作为一个经济变量 也是不可重复的调查统计数据 而且也必然有观测误差 由于我们研究的是X决定Y的因果关系 可以认为X是可以任意选择的确定性变量 只有Y是随机的可以证明 只要X与误差项没有多在的相关性 X是否是随机变量一般并不会影响参数估计的性质和相关的统计分析 13 误差项服从正态分布 误差项服从正态分布是参数估计量分布性质和相关统计推断的基础实际上只要变量关系确定满足线性回归分析的基本思想 其误差项代表许多微小扰动因素的综合 那么根据中心极限定理 误差项服从正态分布是很自然的误差项服从正态分布在进行参数估计时并一定需要 除了会对统计检验和推断造成一定影响外 也不会影响最小二乘估计量的基本性质 因此有时误差项服从正态分布并不作为线性回归分析模型的基本假设 线性回归分析中的 古典假设 中也不包括它回归模型假设目的是为了明确回归分析的对象 方便分析 以及保证回归分析的性质和价值 14 参数估计的基本思路 一 虽然设定两变量线性回归模型的前提是相信两变量之间确实存在特定的线性因果关系 模型两个参数 和 的 真实值 是客观存在的因为我们无法观察到变量关系本身 我们能观察到的只是这种变量关系所产生的结果 即有关的经济现象或经济数据 因而我们不可能知道这些真实值由于存在随机扰动因素的影响 我们所观察到的结果 不可能精确地反映变量关系中趋势部分的确实情况 也就是参数 和 的 真实值 随机扰动项给两变量的真实关系提供了一种 掩护 便我们无法发现它的庐山真面目 由于扰动项影响始终存在 因此即使增加观测数据也并不能解决问题 15 参数估计的基本思路 二 由于我们无法知道参数的真实值 因此我们的目标定在找出它的某种近似值或估计值 并且希望估计值与真实值之间的近似程度能够比较高 更进一步的问题是 既然参数的真实值无法知道 那么我们找到一个估计值后 如何认定它是真实值的较好近似 或在两个估计值中 如何判断哪个更好 解决这些问题的基本思路是 利用样本数据反映出来的趋势性设法确定参数估计值 以与样本趋势的拟合程度作为选择回归直线 判断参数估计好坏的标准用拟合样本趋势的回归直线 或者称 样本回归直线 近似模型的总体回归直线 从而得到模型参数的估计值 这利方法是线性回归分析的基本方法 16 样本趋势的拟合和回归残差 一 29页图 17 样本趋势的拟合和回归残差 二 建立判断回归直线对样本趋势拟合程度的标准 关健是要利用样本点与回归直线之间的纵向偏差 我们把这种偏差称为 回归残差 或者简称 残差 如果样本回归直线为Y a bX 那么由于Y和X之间真实关系是随机线性函数关系 因此通常多数样本点不会落在这条回归直线上 它们与回归直线之间有一段纵向距离 也就是残差 i 1 2 n 残差越小 说明回归直线离样本点越近 如果对所有样本点的回归都较小 那么回归直线离所有样本点都较近 对样本趋势的拟合当然就是较好 因此残差是判断回归直线拟合程度的重要指标 18 最小二乘法 最小二乘法的思想是用残差序列的平方和作为衡量回归直线与样本趋势总体拟合程度的指标残差平方和可以避免残差正负抵消问题 反映了所有样本点与回归直线偏差的总体水平 在计算估计值的数学运算上比较方便在两变量线性回归模型的基本假设满足的情况下 最小二乘法得到的参数估计具有许多好的性质 是对参数真实值的良好近似 19 最小二乘法 20 最小二乘直线的性质 回归直线通过Y和X的样本均值估计的Y 即 的均值等于Y实现观测值的均值残差均值为零残差与解释变量不相关残差与估计的不相关 21 最小二乘估计量的性质 线性性 22 最小二乘估计量的性质 无偏性 23 最小二乘估计量的性质 有效性 证明最小二乘估计具有最小方差性的思路是 先假设a 和b 是 和 的任意其它线性无偏估计 然后设法证明a和b的方差Var a Var b 与a 和b 的方差Var a Var b 之间 满足Var a Var a 和Var b Var b 两个不等式b是 的线性无偏估计 设b 是 的线性无偏估计 则有 24 最小二乘估计量的性质 有效性 25 最小二乘估计量的性质 有效性 26 一致估计 最小二乘估计具有重要的大样本性质 当样本容量不断增大时 最小二乘估计量以参数真实值为极限 27 一致估计 28 一致估计 最小二乘估计的一致性 说明在大样本的情况下 最小二乘估计与参数真实值的近似程度会很高一致性提供了如何逼近参数真实值的思路 那就是增加样本容量 从更多的样本中得到更多的信息虽然在对现实问题的实证研究中 增加样本容量不是很容易的事 但至少存在随着信息增加而不断提高估计精确度的可能性 29 回归拟合度评价和决定系数 回归拟合度或拟合度 是回归直线与样本数据趋势的吻合程度 拟合度取决于回归分析的方法和样本数据的分布决定样本数据分布情况的 一方面是生成它们的变量关系 另一方面是随机扰动因素的情况 如果随机扰动项比较正常 也就是基本满足模型的假设 那么样本数据分布情况的变化和差异 则主要是由变量之间的关系决定变化关系是否符合模型所假设的情况 必然会在样本数据的分布中反映出来 并进而会影响回归直线的拟合程度 因此回归拟合度实际上也是反映模型假设的变量关系真实性的指标 可以作为检验模型变量关系真实性的重要手段 30 回归拟合度评价和决定系数 既然根据模型的基本假设 Y和X之间的线性关系是主要关系 X是以线性方式决定Y的最主要因素 那么Y的离差就应该主要被回归值的离差 或X的离差决定 因此我们可以在回归分析的基础上 用Y的离差被回归值或X的离差决定的程度 作为评价拟合程度的标准根据最小二乘估计和回归残差的相关公式 Y的离差可以分解为 31 回归拟合度评价和决定系数 32 回归拟合度评价和决定系数 33 统计推断 根据最小二乘估计量的分布性质 对两变量线性回归模型的参数及它们对应的变量关系 作统计推断分析统计推断分析 对于进一步判断模型假设的变量关系的真实性 以及如何进一步修改模型的思路 具有非常重要的意义当我们所分析的线性回归模型与特定的经济理论有内在联系时 本节所提出的一些假设检验 实际上也是检验这些经济理论正确性的重要方法 34 最小二乘估计量的分布性质和标准化 根据最小二乘估计量的性质 在模型假设条件下 模型参数的最小二乘估计量 服从以参数真实值为中心 以误差项方差的一个比例 或倍数 为方差的正态分布 35 最小二乘估计量的分布性质和标准化 正是因为最小二乘估计量具有以参数真实值为均值的分布性质 使得参数估计量与真实值通过概率分布联系在一起 使我们可以通过参数估计量的分布性质推断参数真实值的情况 并进行相关的统计检验和分析 以进一步确定变量关系或检验相关的理论我们可以通过变换将b转化为服从标准正态分布的随机变量Zb a也可以作类似的变换 36 误差项方差的估计 误差项的方差 2的真实值我们是无法知道的 因此我们只能设法得到它的较好的估计值 i有一个自然的近似 即最小二乘估计的回归残差ei 因此不难想到用残差平方和的均值 作为 2的估计量如果考虑到一个好的估计量应该具有无偏估计的性质 就应该对初步考虑的估计量作进一步的考察 事实上可以证明 在模型假设成立的条件下 最小二乘残差平方和的数学期望E ei2 n 2 2把S2 ei2 n 2 作为 2的估计量 就是具有无偏性的较好的估计量 37 误差项方差的估计 38 误差项方差的估计 39 参数的置信区间和假设检验 有了最小二乘估计量的分布性质 我们便可以对模型的情况和真实性作进一步的推断分析推断分析包括两方面内容 一是参数真实值的可能范围 即所谓的 置信敬意 或敬意估计问题二是对参数的显著性 对应变量关系的存在等 以及参数取特定值的可能性等进行检验和分析 40 参数的置信区间 41 参数的置信区间 以置信度为95 即显著性水平 0 05为例根据样本容量n和显著性水平 0 05 查t分布临界值表 得到自由度为n 2 显著性水平 0 05的双侧t分布临界值t 2 t0 025 如n 10 0 05 t 2 t0 025 2 306 根据双侧t分布临界值的意义 有 42 模型参数的假设检验 根据最小二乘估计量的分布性质构造的t统计量可以用来进行区间估计 并且可对模型参数 实质上就是变量关系 进行各种假设检验构造原假设H0 0 3 备择假设H1 0 3如根据样本数据计算结果 已知b 0 5091 SE b 0 0357 n 10 0 05 t 2 t0 025 2 306 则P 0 2177 b 0 3823 0 95由于估计值b 0 5091不在区间 0 2177 0 3823 内 而落在临界域内 因此可以拒绝原假设H0 0 3 43 模型参数的假设检验 44 模型参数的假设检验 我们也可直接计算t统计量并与临界值去比较t b SE b 45 模型参数的假设检验 两变量线性回归模型认为解释变量是影响被解释变量变化的主要因素 而这种关系是否存在或者是否明显 都会在参数 中反映出来 如果 的数值很小 甚至无法排除它等于零的可能性 那么说明这两个变量之间的关系不明显 模型的基本设定不成立 因此检验 是否显著地异于0 对于确定变量关系和模型的真实性非常重要 这种检验称为参数 的显著性检验 46 模型参数的假设检验 47 模型参数的假设检验 48 预测 49 预测