第4讲-(一元线性回归)课件

第第4讲讲 一元线性回归一元线性回归11.1变量间关系的度量变量间关系的度量11.2一元线性回归一元线性回归11.3利用回归方程进行估计和预测利用回归方程进行估计和预测11.4残差分析残差分析本章重点：一元线性回归的方法本章重点：一元线性回归的方法本章难点：一元线性回归的计算本章难点：一元线性回归的计算111.1 变量间关系的度量变量间关系的度量11.1.1.变量间关系变量间关系11.1.2.相关关系的描述与测度相关关系的描述与测度11.1.3.相关关系的显著性检验相关关系的显著性检验211.1.1.变量间关系变量间关系1）函数关系）函数关系1.是一一是一一对应的确定关系对应的确定关系2.设设有有两两个个变变量量 x 和和 y，变变量量 y 随随变变量量 x 一一起起变变化化，并并完完全全依依赖赖于于 x，当当变变量量 x 取取某某个个数数值值时时，y 依依确确定定的的关关系系取取相相应应的的值值，则则称称 y 是是 x 的的函函数数，记记为为 y=f(x)，其其中中 x 称称为为自自变变量量，y 称为因变量称为因变量3.各各观测点落在一条线上观测点落在一条线上 x xy y3函数关系函数关系(几个例子几个例子)函数关系的例子函数关系的例子某某种种商商品品的的销销售售额额y与与销销售售量量x之之间间的的关关系系可可表表示为示为 y=px(p 为单价为单价)圆的面积圆的面积S与半径之间的关系可表示为与半径之间的关系可表示为S=R2 企企业业的的原原材材料料消消耗耗额额y与与产产量量x1、单单位位产产量量消消耗耗x2、原材料价格原材料价格x3之间的关系可表示为之间的关系可表示为 y=x1 x2 x3 42）相关关系相关关系(correlation)1.变变量量间间关关系系不不能能用用函函数数关关系精确表达系精确表达2.一一个个变变量量的的取取值值不不能能由由另另一个变量唯一确定一个变量唯一确定3.当当变变量量 x 取取某某个个值值时时，变变量量 y 的取值可能有几个的取值可能有几个4.各观测各观测点分布在直线周围点分布在直线周围 x xy y5相关关系相关关系(几个例子几个例子)相关关系的例子相关关系的例子父亲身高父亲身高y与子女身高与子女身高x之间的关系之间的关系收入水平收入水平y与受教育程度与受教育程度x之间的关系之间的关系粮粮食食亩亩产产量量y与与施施肥肥量量x1、降降雨雨量量x2、温温度度x3之间的关系之间的关系商品的消费量商品的消费量y与居民收入与居民收入x之间的关系之间的关系商品销售额商品销售额y与广告费支出与广告费支出x之间的关系之间的关系6相关关系相关关系(类型类型)711.1.2.相关关系的描述与测度相关关系的描述与测度1）散点图(scatter diagram)不相关不相关不相关不相关不相关不相关 负线性相关负线性相关负线性相关负线性相关负线性相关负线性相关正线性相关正线性相关正线性相关正线性相关正线性相关正线性相关非线性相关非线性相关非线性相关非线性相关非线性相关非线性相关完全负线性相关完全负线性相关完全负线性相关完全负线性相关完全负线性相关完全负线性相关完全正线性相关完全正线性相关完全正线性相关完全正线性相关完全正线性相关完全正线性相关8散点图散点图(例题分析例题分析)【例例】一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的增长，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。下面是该银行所属的25家分行2002年的有关业务数据 9散点图(例题分析)10散点图散点图(例题分析)112）相关系数相关系数(correlation coefficient)1.概念：概念：对变量之间关系密切程度的度量对变量之间关系密切程度的度量对对两两个个变变量量之之间间线线性性相相关关程程度度的的度度量量称称为为简简单相关系数单相关系数若若相相关关系系数数是是根根据据总总体体全全部部数数据据计计算算的的，称称为总体相关系数，记为为总体相关系数，记为 若若是是根根据据样样本本数数据据计计算算的的，则则称称为为样样本本相相关关系数，记为系数，记为 r122.相关系数的计算公式相关系数的计算公式（记住）（记住）样本相关系数的计算公式或化简为133）相关系数取值及其意义）相关系数取值及其意义1.r 的取值范围的取值范围是是-1,12.|r|=1，为完全相关为完全相关nr=1，为，为完全正相关完全正相关nr=-1，为完全负正相关为完全负正相关3.r=0，不存在不存在线性线性相关关系相关关系4.-1 r0，为为负相关负相关5.0t，拒绝拒绝H0 若若tt(25-2)=2.0687，拒拒绝绝H0，不不良良贷贷款款与与贷贷款款余余额额之之间间存存在在着着显显著著的的正线性相关关系正线性相关关系 19相关系数的显著性检验相关系数的显著性检验(例题分析)各相关系数检验的统计量各相关系数检验的统计量2011.2.一元线性回归一元线性回归11.2.1 11.2.1 一元线性回归模型一元线性回归模型一元线性回归模型一元线性回归模型 回归模型、回归方程、估计的回归方程回归模型、回归方程、估计的回归方程11.2.2 11.2.2 参数的最小二乘估计参数的最小二乘估计参数的最小二乘估计参数的最小二乘估计11.2.3 11.2.3 回归直线的拟合优度回归直线的拟合优度回归直线的拟合优度回归直线的拟合优度 判定系数、估计标准误差判定系数、估计标准误差11.2.4 11.2.4 显著性检验显著性检验显著性检验显著性检验 线性关系的检验、回归系数的检验线性关系的检验、回归系数的检验11.2.5 11.2.5 回归分析结果的评价回归分析结果的评价回归分析结果的评价回归分析结果的评价2111.2.1一元线性回归模型一元线性回归模型什么是回归分析？(Regression)1.从从一一组组样样本本数数据据出出发发，确确定定变变量量之之间间的的数数学学关关系式系式2.对对这这些些关关系系式式的的可可信信程程度度进进行行各各种种统统计计检检验验，并并从从影影响响某某一一特特定定变变量量的的诸诸多多变变量量中中找找出出哪哪些些变量的影响显著，哪些不显著变量的影响显著，哪些不显著3.利利用用所所求求的的关关系系式式，根根据据一一个个或或几几个个变变量量的的取取值值来来预预测测或或控控制制另另一一个个特特定定变变量量的的取取值值，并并给给出这种预测或控制的精确程度出这种预测或控制的精确程度回归一词是回归一词是怎么来的怎么来的?？22回归分析与相关分析的区别回归分析与相关分析的区别1.1.相相关关分分析析中中，变变量量 x x 变变量量 y y 处处于于平平等等的的地地位位；回回归归分分析析中中，变变量量 y y 称称为为因因变变量量，处处在在被被解解释释的的地地位位，x x 称为自变量，用于预测称为自变量，用于预测因变量因变量的变化的变化2.2.相相关关分分析析中中所所涉涉及及的的变变量量 x x 和和 y y 都都是是随随机机变变量量；回回归归分分析析中中，因因变变量量 y y 是是随随机机变变量量，自自变变量量 x x 可可以以是是随机变量，也可以随机变量，也可以是非随机的确定是非随机的确定变量变量3.3.相相关关分分析析主主要要是是描描述述两两个个变变量量之之间间线线性性关关系系的的密密切切程程度度；回回归归分分析析不不仅仅可可以以揭揭示示变变量量 x x 对对变变量量 y y 的的影影响响大小，还可以由回归方程进行预测和控制大小，还可以由回归方程进行预测和控制 23回归模型的类型24一元线性回归含义一元线性回归含义1.涉及一个自变量的回归2.因变量y与自变量x之间为线性关系n被 预 测 或 被 解 释 的 变 量 称 为 因 变 量(dependent variable)，用y表示n用来预测或用来解释因变量的一个或多个变量称为自变量(independent variable)，用x表示 3.因变量与自变量之间的关系用一个线性方程来表示251.一元线性回归模型具体形式1.描述因变量 y 如何依赖于自变量 x 和误差项 的方程称为理论回归模型理论回归模型2.一元线性回归模型可表示为 y=+1 1 x+e eny 是 x 的线性函数(部分)加上误差项n线性部分反映了由于 x 的变化而引起的 y 的变化n误差项 是随机变量w反映了除 x 和 y 之间的线性关系之外的随机因素对 y 的影响w是不能由 x 和 y 之间的线性关系所解释的变异性n0 和 1 称为模型的参数理论回归模型26一元线性回归模型一元线性回归模型基本假定基本假定因变量因变量y与自变量与自变量x具有线性关系具有线性关系自变量自变量x 取值取值是非随机的是非随机的是非随机的是非随机的，y 是随机变量是随机变量误误差差项项是是一一个个期期望望值值为为0的的随随机机变变量量，即即E()=0。对对于于一一个个给给定定的的 x 值值，y 的的期期望望值值为为 E(y)=0+1 x对对于所有的于所有的 x 值，值，的方差的方差2 都相同都相同误误差差项项是是一一个个服服从从正正态态分分布布的的随随机机变变量量，且且相相互互独立。即独立。即N(0,2)n独独立立性性意意味味着着对对于于一一个个特特定定的的 x 值值，它它所所对对应应的的与与其他其他 x 值所对应的值所对应的不相关不相关272.回归方程回归方程(regression equation)1.描描述述 y 的的平平均均值值或或期期望望值值如如何何依依赖赖于于 x 的的方方程称为程称为回归方程回归方程2.一元一元线性回归方程的形式如下线性回归方程的形式如下3.E(y)=0+1 x方程的图示是一条直线，也称为直线回归方程方程的图示是一条直线，也称为直线回归方程 0是是回回归归直直线线在在 y 轴轴上上的的截截距距，是是当当 x=0 时时 y 的的期期望值望值 1是是直直线线的的斜斜率率，称称为为回回归归系系数数，表表示示当当 x 每每变变动动一个单位时，一个单位时，y 的平均变动值的平均变动值283.估计的回归方程估计的回归方程(estimated regression equation)P3653.一元线性回归中一元线性回归中估计的回归方程为估计的回归方程为2.用用样样本本统统计计量量 和和 代代替替回回归归方方程程中中的的未未知知参参数数 和和 ，就得到了，就得到了估计的回归方程估计的回归方程1.总总体体回回归归参参数数 和和 是是 未未知知的的，必必须须利利用用样样本本数数据去估计据去估计其其中中：是是估估计计的的回回归归直直线线在在 y 轴轴上上的的截截距距，是是直直线线的的斜斜率率，它它表表示示对对于于一一个个给给定定的的 x 的的值值，是是 y 的的估估计值，也表示计值，也表示 x 每变动一个单位时，每变动一个单位时，y 的平均变动值的平均变动值 2911.2.2.参数的最小二乘估计参数的最小二乘估计1.使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。即2.用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小30最小二乘估计的图示 x xy y(x xn n ,y yn n)(x x1 1,y y1 1)(x x2 2,y y2 2)(x xi i,y yi i)e ei i =y yi i-y yi i31最小二乘法(和 的计算公式)根据最小二乘法，可得求解 和 的公式如下32 和和 的计算公式的计算公式 根据最小二乘法的要求，可得求解 和 的公式如下：（记住）（记住）33估计方程的求法估计方程的求法(例题分析例题分析)【例例】求不良贷款对贷款余额的回归方程回归方程为回归方程为：y=-0.8295+0.037895 x回回归归系系数数 =0.037895 表表示示，贷贷款款余余额额每每增增加加1亿元，不良贷款平均增加亿元，不良贷款平均增加0.037895亿元亿元 34估计方程的求法(例题分析)不良贷款对贷款余额回归方程的图示35用用Excel进行回归分析进行回归分析第第1步：步：选择“工具工具”下拉菜单第第2步：步：选择“数据分析数据分析”选项第第3步步：在分析工具中选择“回回归归”，然后选择“确定确定”第第4步：步：当对话框出现时 在“Y值值输输入入区区域域”设置框内键入Y的数据区域 在“X值值输输入入区区域域”设置框内键入X的数据区域 在“置信度置信度”选项中给出所需的数值 在“输出选项输出选项”中选择输出区域 在“残差残差”分析选项中选择所需的选项3611.2.3.回归直线的拟合优度回归直线的拟合优度1、判定系数、判定系数(1)变差因变量 y 的取值是不同的，y 取值的这种波动称为变差。变差来源于两个方面n由于自变量 x 的取值不同造成的n除 x 以外的其他因素(如x对y的非线性影响、测量误差等)的影响对一个具具体体的的观观测测值值来说，变差的大小可以通过该实际观测值与其均值之差实际观测值与其均值之差 来表示。37(2)变差的分解变差的分解(图示图示)x xy y 38(3)离差平方和的分解离差平方和的分解(三个平方和的关系三个平方和的关系)SST=SSR+SSE总平方和总平方和总平方和总平方和(SSTSST)回归平方和回归平方和回归平方和回归平方和(SSRSSR)残差平方和残差平方和残差平方和残差平方和(SSESSE)391.总平方和总平方和(SST)n反映因变量的 n 个观察值与其均值的总离差2.回归平方和回归平方和(SSR）（SSR：sum of squares for regression)n反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和3.残差平方和残差平方和(SSE)n反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和(4)三个平方和的意义三个平方和的意义40(5)判定系数判定系数r2(coefficient of determination)1.回归平方和占总离差平方和的比例2.反映回归直线的拟合程度反映回归直线的拟合程度3.取值范围在取值范围在 0,1 之间之间4.R2 1，说明回归方程拟合的越好；说明回归方程拟合的越好；R20，说明回归方程拟合的越差说明回归方程拟合的越差5.判定判定系数等于相关系数的平方，即系数等于相关系数的平方，即R2r241判定系数与相关系数的关系：判定系数与相关系数的关系：联系：数值上判定(可决)系数是相关系数的平方 区别：判定系数 相关系数 就模型而言就模型而言 就两个变量而言就两个变量而言 说明解释变量对因变说明解释变量对因变 说明两变量线性依存程度说明两变量线性依存程度 量的解释程度量的解释程度 取值 有非负性 取值-1r1 可正可负42例例题分析分析【例例】计算不良贷款对贷款余额回归的判定系数，并解释其意义 判判定定系系数数的的实实际际意意义义是是：在不良贷款取值的变差中，有71.16%可可以以由由不不良良贷贷款款与与贷贷款款余余额额之之间间的的线线性性关关系系来来解解释释，或者说，在不良贷款取值的变动中，有71.16%是由贷款余额所决定的。也就是说，不良贷款取值的差异有2/3以上是由贷款余额决定的。可见不良贷款与贷款余额之间有较强的线性关系 432.估计标准误差估计标准误差(standard error of estimate)实际观察值与回归估计值离差平方和的均方根实际观察值与回归估计值离差平方和的均方根反映实际观察值在回归直线周围的分散状况反映实际观察值在回归直线周围的分散状况反映实际观察值在回归直线周围的分散状况反映实际观察值在回归直线周围的分散状况对对误误差差项项 的的标标准准差差 的的估估计计，是是在在排排除除了了x对对y的的线线性影响后，性影响后，y随机波动大小的一个估计量随机波动大小的一个估计量反反映用估计的回归方程预测映用估计的回归方程预测y时预测误差的大小时预测误差的大小 计算公式为计算公式为注：例题的计算结果为注：例题的计算结果为注：例题的计算结果为注：例题的计算结果为1.97991.97994411.2.4.显著性检验显著性检验1.线性关系的检验检验自变量与因变量之间的线性关系是否显著检验自变量与因变量之间的线性关系是否显著将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著回归均方：回归平方和SSR除以相应的自由度(自变量的个数p)残差均方(MSE)：残差平方和SSE除以相应的自由度(n-p-1)（注：P为字变量个）45线性关系的检验的步骤线性关系的检验的步骤 1.提出假设nH0：1=0 线性关系不显著2.计算计算检验统计量检验统计量F3.确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F 4.作出决策：若FF,拒绝H0；若FF,拒绝H0，线性关系显著47方差分析表方差分析表 Excel 输出的方差分析表输出的方差分析表482.回归系数的检验3.在在一一元元线线性性回回归归中中，等等价价于于线线性性关关系系的的显著性检验显著性检验1.检检验验 x 与与 y 之之间间是是否否具具有有线线性性关关系系，或或者者说说，检检验验自自变变量量 x 对对因因变变量量 y 的的影影响响是否显著是否显著2.理论基础是回归系数理论基础是回归系数 的抽样分布的抽样分布49样本统计量样本统计量 的分布的分布1.1.是是是是根根根根据据据据最最最最小小小小二二二二乘乘乘乘法法法法求求求求出出出出的的的的样样样样本本本本统统统统计计计计量量量量，它它它它有有有有自自自自己己己己的分布的分布的分布的分布2.2.的的的的分布具有如下性质分布具有如下性质分布具有如下性质分布具有如下性质 分布形式：正态分布分布形式：正态分布分布形式：正态分布分布形式：正态分布 数学期望：数学期望：数学期望：数学期望：标准差：标准差：标准差：标准差：由由由由于于于于 未未未未知知知知，需需需需用用用用其其其其估估估估计计计计量量量量s s s sy y y y来来来来代代代代替替替替得得得得到到到到 的的的的估估估估计计计计的的的的标准差标准差标准差标准差50回归系数的检验检验步骤回归系数的检验检验步骤 1.提出假设nH0:1=0(没有线性关系)nH1:1 0(有线性关系)2.计算检验的统计量3.确定显著性水平确定显著性水平，并进行决策，并进行决策 t t t t，拒绝拒绝H H0 0；t t =7.533515t t=2.201=2.201，拒拒绝绝H H0 0，表表明明不不良良贷贷款款与贷款余额之间有线性关系与贷款余额之间有线性关系52回归系数的检验例题分析表回归系数的检验例题分析表P 值的应用值的应用P P=0.000000=0.000000=0.05=0.05，拒绝原假设，拒绝原假设，不良贷款与贷不良贷款与贷款余额之间有线性关系款余额之间有线性关系533、三种检验的关系、三种检验的关系在一元线性回归分析中，回归系数显著在一元线性回归分析中，回归系数显著性的性的t检验、回归方程显著性的检验、回归方程显著性的F检验，检验，相关系数显著性相关系数显著性 t检验，三者等价的，检验，三者等价的，检验结果是完全一致的。检验结果是完全一致的。对一元线性回归，只做其中对一元线性回归，只做其中 的一种检验即可。的一种检验即可。5411.2.5 回归分析结果的评价回归分析结果的评价l建建立立的的模模型型是是否否合合适适？或或者者说说，这这个个拟拟合合的的模模型型有有多多“好好”？要回答这些问题，可以从以下几个方面入手？要回答这些问题，可以从以下几个方面入手1.所所估估计计的的回回归归系系数数 的的符符号号是是否否与与理理论论或或事事先先预预期期相相一致一致n在在不不良良贷贷款款与与贷贷款款余余额额的的回回归归中中，可可以以预预期期贷贷款款余余额额越越多多不不良良贷贷款款也也可可能能会会越越多多，也也就就是是说说，回回归归系系数数的的值值应应该该是是正正 的的，在在 上上 面面 建建 立立 的的 回回 归归 方方 程程 中中，我我 们们 得得 到到 的的 回回 归归 系系 数数 为正值为正值2.如如果果理理论论上上认认为为x与与y之之间间的的关关系系不不仅仅是是正正的的，而而且且是是统计上显著的，那么所建立的回归方程也应该如此统计上显著的，那么所建立的回归方程也应该如此n在在不不良良贷贷款款与与贷贷款款余余额额的的回回归归中中，二二者者之之间间为为正正的的线线性性关关系系，而而且且，对对回回归归系系数数的的t检检验验结结果果表表明明二二者者之之间间的的线线性性关关系是统计上显著的系是统计上显著的553.回回归归模模型型在在多多大大程程度度上上解解释释了了因因变变量量y取取值值的的差异？可以用判定系数差异？可以用判定系数R2来回答这一问题来回答这一问题n在在不不良良贷贷款款与与贷贷款款余余额额的的回回归归中中，得得到到的的R2=71.16%，解解释释了了不不良良贷贷款款变变差差的的2/3以以上，说明拟合的效果还算不错上，说明拟合的效果还算不错4.考考察察关关于于误误差差项项 的的正正态态性性假假定定是是否否成成立立。因因为为我我们们在在对对线线性性关关系系进进行行F检检验验和和回回归归系系数数进进行行t检检验验时时，都都要要求求误误差差项项 服服从从正正态态分分布布，否否则则，我我们们所所用用的的检检验验程程序序将将是是无无效效的的。正正态态性性的的简简单单方方法法是是画画出出残残差差的的直直方方图图或或正正态态概率图概率图11.2.5 回归分析结果的评价回归分析结果的评价56Excel输出的部分回归结果输出的部分回归结果R2）57本本 章章 小小 结结 一、变量间关系的种类一、变量间关系的种类二、相关系数的计算、评价及检验二、相关系数的计算、评价及检验三、回归模型、回归方程、估计回归方程的概三、回归模型、回归方程、估计回归方程的概念，回归方程参数的最小二乘估计念，回归方程参数的最小二乘估计四、判定系数、估计标准误差的四、判定系数、估计标准误差的 计算，及线性关系检验及计算，及线性关系检验及 回归系数的检验回归系数的检验五、回归分析结果的评价五、回归分析结果的评价69