多元线性回归模型

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第三章,多元线性回归模型,主要内容,多元线性回归模型的一般形式,参数估计（,OLS,估计）,假设检验,预测,一,.,多元线性回归模型,问题的提出,解析形式,矩阵形式,问题的提出,现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。,例如，产出往往受各种投入要素,资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。,所以在一元线性模型的基础上，提出多元线性模型,解释变量个数,2,多元线性回归模型的假设,解释变量,X,i,是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。,随机误差项具有,0,均值和同方差,随机误差项不存在序列相关关系,随机误差项与解释变量之间不相关,随机误差项服从,0,均值、同方差的正态分布,多元模型的解析表达式,多元模型的矩阵表达式,矩阵形式,二,.,参数估计,(OLS),参数值估计,参数估计量的性质,偏回归系数的含义,正规方程,样本容量问题,1.,参数值估计,(OLS),得到下列方程组,求参数估计值的实质是求一个,k,+1,元方程组,正规方程,变成矩阵形式,正规方程,矩阵形式,最小二乘法的矩阵表示,2.1,最小二乘估计量的性质,（,1,）线性（估计量都是被解释变量观测值的线性组合）,（,2,）无偏性（估计量的数学期望,=,被估计的真值）,（,3,）有效性（估计量的方差是所有线性无偏估计中最小的）,OLS,估计量的性质（续）,线性,无偏性,有效性,2.2 OLS,回归线的性质,完全同一元情形,：,2.3,随机扰动项方差的估计,注解：,k,与,k+1,凡是按解释变量的个数为,k,的，那么共有,k+1,个参数要估计。而按参数个数为,k,的，则实际有,k-1,个解释变量。总之两者相差,1,而已！要小心所用的,k,是什么意思！,所以如果本来是用解释变量个数的,k,表示的要转换成参数个数的,k,则用,k-1,代换原来的,k,就可以了！,3.,偏回归系数的意义,多元回归模型中的回归系数称为偏回归系数,某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动,4.,正规方程,由最小二乘法得到的用以估计回归系数的线性方程组，称为正规方程,正规方程的结构,Y,被解释变量观测值,n x 1,X,解释变量观测值（含虚拟变量,n x(k+1),）,XX,设计矩阵（实对称,(,k+1)x(k+1),矩阵）,XY,正规方程右端,n x 1,回归系数矩阵（,(,k+1)x 1,）,高斯乘数矩阵，设计矩阵的逆,残差向量（,n x 1,）,被解释变量的拟合（预测）向量,n x 1,5.,多元回归模型参数估计中的样本容量问题,样本是一个重要的实际问题，模型依赖于实际样本。,获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。,最小样本容量：满足基本要求的样本容量,最小样本容量,n,k+1,(XX),-1,存在,|,XX,|,0,XX,为,k+1,阶的满秩阵,R(AB)min(R(A),R(B),R(X)k+1,因此，必须有,nk+1,满足基本要求的样本容量,一般经验认为：,n,30,或者,n,3(k+1),才能满足模型估计的基本要求。,n,3(k+1),时，,t,分布才稳定，检验才较为有效,第三节 多元线性回归模型的,检验,本节主要介绍：,3.1,拟合优度检验（判定系数及其校正）,3.2,回归参数的显著性检验（,t,检验）,3.3,回归方程的显著性检验（,F,检验）,3.4,拟合优度、,t,检验、,F,检验的关系,3.1.1,拟合优度检验 总平方和、自由度的分解,目的：构造一个不含单位，可以相互比较，而且能直观判断拟合优劣的指标。,类似于一元情形，先将多元线性回归作如下平方和分解：,对以上自由度的分解的说明,3.1.2,判定系数,判定系数的定义：,意义：判定系数,越大,，自变量对因变量的解释程度,越高,，自变量引起的变动占总变动的,百分比高,。观察点在回归直线附近,越密集,。,取值范围：,0-1,3.1.3,校正判定系数,为什么要校正？,判定系数随解释变量个数的增加而增大。易造成错觉：要模型拟合得越好，就应增加解释变量。然而增加解释变量会降低自由度，减少可用的样本数。并且有时增加解释变量是不必要的。,导致解释变量个数不同模型之间对比困难。,判定系数只涉及平方和，没有考虑自由度,。,校正思路：,引进自由度校正所计算的平方和,。,校正判定系数 （续）,3.2,回归参数的显著性检验,t,检验,以下给出,t-,检验的具体过程,3.3,回归方程的显著性检验,（,F,检验）,回归系数的,t,检验，检验了各个解释变量,Xj,单独对应变量,Y,是否显著；我们还需要检验：,所有解释变量联合在一起，是否对应变量,Y,也显著？,这即是下面所要进行的,F-,检验。,3.3.1,方差分析表,以下用表格的形式列出平方和、自由度、方差,平方和,来源,平方和,自由度,均方和,源于回归,K-1,源于残差,n-k,总平方和,n-1,3.3.2 F,检验（单侧检验）,3.4,各种检验之间的关系,3.4.1,经济意义检验和其他检验的关系联系：,判断一个回归模型是否正确，首先要看模型是否具有合理的经济意义，其次才是统计检验。,3.4.2,拟合优度和,F,检验的关系,（,1,）,都是对回归方程的显著性检验；,（,2,）都是把总平方和分解，以构成统计量进行检验；,（,3,）两者同增同减，具有一致性。,拟合优度和,F,检验的关系（续）,区别：,（,1,）,F,检验中使用的统计量有精确的分布，而拟合优度检验没有；,（,2,）对是否通过检验，判定系数（校正判定系数）只能给出一个模糊的推测；而,F,检验可以在给定显著水平下，给出统计上的严格结论；,3.4.2 F,检验和,t,检验的关系,在一元的情形，两者是一致的，等价的。对单个解释变量显著性进行,t,检验，也就检验了解释变量的整体显著性（,F,检验）；并且可以证明：,F,t,2,（所以在一元情形，只需要进行一种检验）,多元中，不存在以上关系。,回归模型假设检验的步骤,查看拟合优度，进行,F,检验，从整体上判断回归方程是否成立，如果,F,检验通不过，无须进行下一步；否则进行下一步,查看各个变量的,t,值及其相应的概率，进行,t,检验，如果相应的概率小于给定的显著水平，该自变量的系数显著地不为,0,，该自变量对因变量作用显著；否则系数与,0,无显著差异（本质上,=0,），该自变量对因变量无显著的作用，应从方程中删去，重新估计方程。,但是，一次只能将最不显著（相应概率最大）的删除。每次删除一个，直至全部显著。,3.5,多元线性回归模型的预测,举例：新股发行抑价的实证研究,