直线回归法的公式推导.ppt

直线回归法的原理及推导公式 主要内容 一 直线回归法的原理 直线回归发的原理 微积分极值原理 从散布图法可以看出 我们总能设法找到一条尽可能通过所有坐标点 也就是所有误差最小的惟一直线y a bx 设ei为当业务量为xi时 实际值 又称观测值 yi与计算值 a bxi 的误差 即ei yi a bxi 二 直线回归法公式推导 怎样判断一条直线方程就是我们所要找的所有误差最小的那条直线y a bx呢 可以考虑的办法有三 第一 判断所有误差的代数和是否最小 即 ei 0但由于误差有正有负 可能相互抵消 会存在无数满足上述条件的直线 因而无法据此作出最终判断 二 直线回归法公式推导 所有误差的代数和是否最小示意图 二 直线回归法公式推导 第二 判断所有误差绝对值的合计是否最小 即 ei 0但上式展开后 涉及到绝对数运算 非常麻烦 ei e1 e2 e3 en 1 en因而也无法据此作出判断 二 直线回归法公式推导 第三 判断所有误差平方和是否最小 即 ei2 0这种方法既排除了正负误差的符号问题 又避免了绝对值运算的麻烦 因此 可以根据误差的平方和是否达到最小 来判断直线方程y a bx的总误差是否达到最小 此法又称最小二乘法或最小平方法 二 直线回归法公式推导 根据上述道理 回归直线法就是求能使 ei2 0成立的回归系数a和b的值 因为ei yi a bxi 所以 ei2 yi a bxi 2按照微分极值原理 令上式 0 并分别对a和b求偏导数 就可以求出能满足 ei2达到极小值的a和b 按照此法推导的a b计算公式 称为公式法 二 直线回归法公式推导 e2 y a bx 2 y2 2y a bx a bx 2 y2 2ay 2bxy a2 2abx b2x2 y2 2a y 2b xy na2 2ab x b2 x2令 y2 2a y 2b xy na2 2ab x b2 x2 0对上式求a的偏导数 得 2 y 2na 2b x 0整理得 y na b x 1 式 1 按公式法推导a b计算公式的过程 对 y2 2a y 2b xy na2 2ab x b2 x2 0求b的偏导数 得 2 xy 2a x 2b x2 0整理得 xy a x b x2 2 式解联立方程 即可求出a b的值 1 按公式法推导a b计算公式的过程 2 用行列式求二元一次方程组中a和b的解 因为下列联立方程中 未知数为a和b y xy为已知常数 n x和 x2分别为a和b的系数 则有 常数列 y xy 用行列式的方法解法如下 2 用行列式求二元一次方程组中a和b的解 y na b x 可以同时计算出a和b 必须先计算出b 然后才能计算a 2 用行列式求二元一次方程组中a和b的解 上述联立方程也可以不用求偏导数的方法来建立 可利用一种所谓简捷法来实现 y a bx y a bx na b x 1 式又 xy x a bx ax bx2 xy ax bx2 a x b x2 2 式 3 用简捷法来建立方程 谢谢