《一元线性回归》PPT课件

回归分析适合研究哪类问题? 回归方程的显著性检验适合什么情况? 回归系数的显著性检验适合什么情况?,9.1 回归分析的基本概念,9.1.1 因变量(Y)与自变量(X)之间的关系,根据因变量与自变量之间的关系不同，可以分为两种类型：,函数关系,统计关系,9.1.1 因变量(Y)与自变量(X)之间的关系,1.函数关系,即对两个变量X，Y来说，当X值 确定后，Y值按照一定的规律唯一确定， 即形成一种精确的关系。,例如:微积分学中所研究的一般变量之间的 函数关系就属于此种类型。,9.1.1 因变量(Y)与自变量(X)之间的关系,2.统计关系,即当X值确定后，Y值不是唯一确定的， 但大量统计资料表明，这些变量之间还 是存在着某种客观的联系。,例如：图9.1在直角坐标平面上，标出了10 个观测点的坐标位置，他们表示以家庭为单 位，某种商品年需求量与该商品价格之间 的10对调查数据。,9.1.2 回归分析,图9-1,9.1.2 回归分析,回归分析(Regression Analysis),就是应用统计方法，对大量的观测数据进行整 理、分析和研究，从而得出反映事物内部规律 性的一些结论。,9.2 一元线性回归模型,9.2.1 统计关系的特征,统计关系 特征,观测点散布在统计关系直线的周围，此种情况说明Y的变化除了受自变量X影响以外，还受其他因素的影响。,因此试图建立这样一个回归模型，通过对此模型 所作的一些假设，可以体现出上述统计关系所刻划的特征。,因变量Y随自变量X有规律的变化，而统计关系直线描述了这一变化的趋势。,9.2.2 一元线性回归模型假设,根据统计关系特征，可以进行下述假设：,假设,(2)这些Y的概率分布的均值，有规律的随X变化而变化,(1)对于自变量的每一水平X，存在着Y的一个概率分布；,9.2.3 一元线性回归模型,Y与X具有统计 关系而且是线性,建立 回归模型,Yi=0+1Xi+i (i=1,2,n),其中，(X i,Yj)表示(X,Y)的第i个观测值，0 , 1为参数，0+1Xi为反映统计关系直线的分量， i为反映在统计关系直线周围散布的随机分量 iN (0,2)。,9.2.3 一元线性回归模型,对于任意Xi值有：, Yi服从正态分布,E(Yi)=0+1Xi；,各Yi间相互独立 YiN(0+1Xi,2) 。,9.2.3 一元线性回归模型,图9-2,9.2.4 一元线性回归方程,最小二乘法,Y与X之间 为线性关系,选出一条最能反 映Y与X之间关系 规律的直线,9.2.4 一元线性回归方程,Yi=0+1Xi+i 0和1均未知,根据样本数据 对0和1 进行估计,0和1的估计 值为b0和b1,建立一元线性回归方程,9.2.4 一元线性回归方程,一般而言，所求的b0和b1应能使每个样本观测点(X i,Y i) 与回归直线之间的偏差尽可能小，即使观察值与拟 合值的误差平方和Q达到最小。,图9-4 回归方程原理图,9.2.4 一元线性回归方程,令,Q达到最小值 b0和b1称为最小二乘估计量,微积分中极值 的必要条件,令偏导数为0,解方程,9.2.4 一元线性回归方程,(9-5),(9-6),9.2.5 最小二乘估计量b0,b1的特性,b0,b1的特性,线性性 无偏性,9.2.5 最小二乘估计量b0,b1的特性,(1) 线性特性,由（9-5）得,令,则,表明b1是Yi 的线性组合,9.2.5 最小二乘估计量b0,b1的特性,同理，可得,b0是Yi线 性组合,9.2.5 最小二乘估计量b0,b1的特性,(2) 无偏性,可以证明b0和b1分别是0 和1的无偏估计,9.3 总平方和分解,9.3.1 总平方和分解,9.3.1 总平方和分解,图9-5 总平 和分解图,9.3.1 总平方和分解,总离差平方和,它表示没有X的影响， 单纯考察数据中Y的变动情况。,9.3.1 总平方和分解,回归平方和,表示各 的变动程度，该变动是由于回归直线 中各Xi 的变动所引起的，并且通过X对Y 的线性影响表现出来。,9.3.1 总平方和分解,误差平方和,表示各Yi围绕所拟合的回归直线的变动程度,SSTO=SSR+SSE,9.3.1 总平方和分解,SSE=SSTO-SSR,9.3.2 自由度的分解,SSTO,自由度 T为n-1,SSE,0和1用了 两个正规方程,自由度 E为n-2,SSR,自由度 R为1,9.3.2 自由度的分解,自由度的分解可以表示为,n-1=1+（n-2）,T=R+E,9.3.3 回归均方与误差均方,(9-10),(9-11),回归均方,误差均方,9.4 样本确定系数与样本相关系数,9.4.1 样本确定系数,(9-12),注:Y的总变差中能被X解释的那部分所占的比率,9.4.1 样本确定系数,r2的取值范围,样本的全部观察值都落在 所拟和的回归直线上 SSE=0，,r2=1,当X与Y无关，Y的变差完 全由于随机因素引起， 此时，SSR=0,r2=0,9.4.2 样本相关系数,样本相关系数,注:r与b1的分母均为正，分子相同,故r与b1有相同的符号。,9.4.2 样本相关系数,r的取值情况,情况一,图9-6,9.4.2 样本相关系数,情况二,图9-7,9.4.2 样本相关系数,情况三,图9-8,9.4.2 样本相关系数,情况四,图9-9,9.5 一元线性回归显著性检验,在回归函数E(Y)=0+1X中，如果1=0，则对于X的一切水平E(Y)=0，说明Y的变化与X的变化无关，因而，我们不能通过X去预测Y。所以，对模型Yi=0+1Xi+i检验1=0是否成立，等价于检验Y与X之间是否存在线性关系。,9.5.1 b1的抽样分布,为了检验1=0是否成立，需要构造一 个合适的统计量，因此，首先讨论b1 的抽样分布。,9.5.1 b1的抽样分布,b1是观测值Yi的线 性组合,Yi服从正态分布且 相互独立,b1也服从正态分布,9.5.1 b1的抽样分布,以下可以证明,b1的方差,9.5.1 b1的抽样分布,证明：,因为,且Yi相互独立，其中,所以，b1服从,9.5.2 F 检验,在一元线性回归中，为了检验Y对于X线性 关系的统计显著性，对1进行F检验,1）提出假设：H0：1=0，H1：10。,2） 构造并计算统计量：,3）查F分布临界值表，得临界值,4）比较： 接受H0，认为Y与 X不存在一元线性关系。,9.5.2 F 检验,若F,拒绝H0，认为Y与X存在一元线性关系。,表9-1 方差分析表,9.5.3 t 检验,1）提出假设,H0: H1:,2）构造并计算统计量,步 骤：,3）查t分布临界值表,得临界值,9.5.3 t 检验,4）比较,若 ，接受H0,若 ，拒绝H0,9.5.4 利用样本相关系数进行统计检验,步 骤：,1）提出假设,H0: =0 H1:,2）计算简单相关系数r,3）查相关系数临界值表,得临界值,是总体Y与X的线性相关系数,9.5.4 利用样本相关系数进行统计检验,4）比较,若 ，接受H0,若 ，拒绝H0,9.6 模型适合性分析,在对一元线性回归模型的适合性进行分析时, 由于误差项是不可观测或测量的, 需借助残差 的图像,来考察模型是否存在以下情况：异方 差性和自相关性。,9.6.1 误差项的异方差性检验,若 不具有常数方差,称模型存在异方差性。此时,残差 如下图所示，数据点呈现发散或收敛趋势。 在此种情况 下,最小二乘法失效,因此需按照一定方法对数据进行变 换,在计量经济学课程中,对此有详细讲述。,9.6.1 误差项的异方差性检验,误差项具有异方差性的残差图,图9-10,9.6.2误差项的自相性关检验,如果观测值是来自一个时间序列的样本,则很可能 出现误差项,是不独立的,将残差 et与时间t 作残,差图,将呈现出有规则的变化趋势。称模型存在自相关(Autocorrelation)现象，也需按一定方法对数据进行修正，在计量经济学课程中也有详细论述。,9.6.2误差项的自相性关检验,误差项具有负自相关性的残差图,图9-11,9.6.2误差项的自相性关检验,误差项具有正自相关性的残差图,图9-12,