第二讲一元线性回归

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,一元线性回归（一）,不同的课本定义有所不同,对于方程：,被解释变量或者因变量,解释变量或者自变量,随机误差项、随机扰动项、随机项、误差项,回归系数、待定系数、待定参数,因此，这就不再是一个精确的确定性关系，而是一个非确定性关系。,确定性和非确定性关系的图形表示,书上的例子：大体为弱负相关性,其中,u,i,是从样本点到直线的距离,随机误差项出现的原因,（1）回归模型中省略的变量。,（2）人的随机行为。,（3）建立的数学模型形式不够完善。,（4）经济变量之间的合并误差。,（5）测量误差等。,何为回归？,一般而言，父亲身高(矮)，子女也身高(矮),加尔顿(Galton)发现：矮个的父亲，如身高1.5M的人群，他们的子女的平均身高大于其父亲的平均身高，且趋向于(或回归于)所有人(高和矮)的平均身高。,对于高个的父亲，其子女的平均身高低于其父亲的平均身高，而且回归到所有人的子女的平均身高，即回归到中等身高。,线性回归模型的系数估计,1。对于模型 来说，由于干扰项的存在，我们只能随机选取若干样本点，此时，无法求出,B,0,和B,1,的值。,2。我们需要找到一条“穿越”这些样本点的直线，来模拟Y与X的线形关系。这样的直线有无数条，每画一条直线，就会产生一组B,0,和B,1,的取值。,3。关键的问题是，如何找到一条最“完美”的直线，使得这条直线对于样本点具有最强的解释力，如果能够确定这条直线，B,0,和B,1,就能够“估计”出来，这就是我们所需要的参数。在计量课本中一般用 表示。,参数估计,应该选取哪条直线？,所有的样本点向直线引出垂线（样本点到直线的距离），最完美的直线一定是：,所有样本点到直线的距离的平方和最小。,这就是我们通常所说的“,普通最小二乘法,”，简称,OLS,。,OLS估计量的思想是：,1.假设估计出的方程直线为,Y,i,=b,0,+b,1,X,i,因而第i个样本点到直线的距离为：,Y,i,-(b,0,+b,1,X,i,)=Y,i,-b,0,-b,1,X,i,故所有n个观测值的预测误差平方和为：,我们只要求出它的最小值即可。,普通最小二乘法,求解步骤,分子分母同除以n,证明,