数据挖掘基础知识 回归分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数据挖掘原理与,SPSS Clementine,应用宝典,元昌安 主编,邓松李文敬刘海涛编著,电子工业出版社,第六章 回归分析,本章内容,回归分析的基本原理,一元线性回归分析,多元线性回归分析,非线性回归分析,回归分析的基本原理,所谓回归分析法,，,利用数理统计方法建立因变量与自变量之间的回归关系函数表达式。,对于下表中的数据：,利用回归分析方法，得到如下的函数关系式：,一元线性回归分析,一元线性回归模型,模型参数估计和平均误差估计,一元线性回归模型的检验,一元线性回归模型,满足一元线性回归的基本条件：,所有的 的分布的均值都正好在一条直线上，称之为总体的（真实的）回归直线；,所有的分布都有同样的形状；,随机变量 是相互独立的；,给定,X,时 分布的形状是正态的，即 服从正态分布。,满足这些条件的回归模型称为,一元线性回归模型,。,根据样本观测值，采用,最小二乘法,，得到了一条估,计的样本回归直线 。,模型参数估计和平均误差估计,参数估计：,经过最小二乘法计算可得：,求出参数,a,b,以后，就可以得到回归模型,:,模型参数估计和平均误差估计,平均误差估计：,一元线性回归模型的检验,线性方程的显著性检验,关于回归系数,b,的统计推断,一元线性回归模型的检验,线性方程的显著性检验的方法有：,方差分解法,相关分析法,F,检验,t,检验,D-W,检验,一元线性回归模型的检验,-,方差分解法,一元线性回归模型的检验,-,相关分析法,一元线性回归模型的检验,-,F,检验,一元线性回归模型的检验,-,t,检验,一元线性回归模型的检验,-,D-W,检验,多元线性回归分析,多元线性回归模型,参数估计,多元回归方差分析和显著性检验,多元回归模型的残差分析,多元线性回归模型,参数估计,多元回归方差分析和显著性检验,总离差平方和的分解和多元相关系数,回归离差平方和与偏相关系数,总离差平方和的分解和多元相关系数,回归离差平方和与偏相关系数,多元回归模型的残差分析,在这里我们主要考虑以下几种情形：,线性与非线性,共方差与异方差,独立与非独立,正态与非正态,多重共线性,非线性回归分析,非线性模型,非线性模型的线性化,非线性模型,主要的非线性模型有：,抛物线模型,双曲线模型,幂函数模型,指数函数模型,对数函数模型,逻辑曲线模型,多项式模型,非线性模型,抛物线模型,双曲线模型,幂函数模型,指数函数模型,对数函数模型,逻辑曲线模型,多项式模型,非线性模型的线性化,倒数变换,倒数变换是用新的变量来替换原模型中变量的倒数，从而使原模型变成线,性模型的一种方法。,半对数变换,这种方法主要应用于对数函数模型的线性变换。,双对数变换,这种方法通过用新变量替换原模型中变量的对数，从而使原模型变换为线,性模型。,多项式变换,这种方法适用于多项式方程的变换。,