小二乘法线性详细说明

最小二乘法线性详细说明 n 在处理数据时，常要把实验获得的一系列数据点描成曲线表反映物理量间的关系。为了使曲线能代替数据点的分布规律，则要求所描曲线是平滑的，既要尽可能使各数据点对称且均匀分布在曲线两侧。由于目测有误差，所以，同一组数据点不同的实验者可能描成几条不同的曲线(或直线)，而且似乎都满足上述平滑的条件。那么，究竟哪一条是最曲线呢？这一问题就是“曲线拟合”问题。一般来说，“曲线拟合”的任务有两个： n一 是物理量y与x间的函数关系已经确定，只有其中的常数未定（及具体形式未定）时，根据数据点拟合出各常数的最佳值。n二 是在物理量y与x间函数关系未知时，从函数点拟合出y与x函数关系的经验公式以及求出各个常数的最佳值。 解决问题的办法n寻找变量之间直线关系的方法很多。于是，再接下来则是从众多方法中，寻找一种优良的方法，运用方法去求出线性模型y=a+bx+u中的截距a= ?；直线的斜率b= ? 正是是本章介绍的最小二乘法。n所得直线可靠吗？怎样衡量所得直线的可靠性？ n最后才是如何运用所得规律变量的线性关系？ 最小二乘法产生的历史n最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿（F.Gallton）达尔文的表弟所创。n早年，道尔顿致力于化学和遗传学领域的研究。n他研究父亲们的身高与儿子们的身高之间的关系时，建立了回归分析法。 父亲的身高与儿子的身高之间关系的研究n 1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭的身高、臂长和腿长的记录n企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式n下图是根据1078个家庭的调查所作的散点图（略图） n从图上虽可看出，个子高的父亲确有生出个子高的儿子的倾向，同样地，个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下：n如此以来，高的伸进了天，低的缩入了地。他百思不得其解，同时又发现某人种的平均身高是相当稳定的。最后得到结论：儿子们的身高回复于全体男子的平均身高，即“回归”见1889年F.Gallton的论文普用回归定律。 n后人将此种方法普遍用于寻找变量之间的规律 xy ubxay 516.033.84 最小二乘法的地位与作用n现在回归分析法已远非道尔顿的本意，已经成为探索变量之间关系最重要的方法，用以找出变量之间关系的具体表现形式。n后来，回归分析法从其方法的数学原理误差平方和最小出发，改称为最小二乘法。 最小二乘法的思路n 1为了精确地描述Y与X之间的关系，必须使用这两个变量的每一对观察值，才不至于以点概面。n 2Y与X之间是否是直线关系（协方差或相关系数）？若是，将用一条直线描述它们之间的关系。n 3什么是最好？找出判断“最好”的原则。 最好指的是找一条直线使得这些点到该直线的纵向距离的和（平方和）最小。 第一节 一元线性拟合 n 1.已知函数为线性关系，其形式为：n y=a+bx （1）n式中a, b为要用实验数据确定的常数。此类方程叫线性回归方程，方程中的待定常数a, b叫线性回归系数。n由实验测得的数据是n x= x1, x2,. xn 时，n 对应的y值是y= y1,y2,.yn1. 函数形式已知数学推证过程 n由于实验数据总是存在着误差，所以，把各组数据代入(1)式中，两边并不相等。相应的作图时，数据点也并不能准确地落在公式对应的直线上，如图所示。由图一还可以看出第i个数据点与直线的偏差为： (1)n如果测量时，使x较之y的偏差很小，以致可以忽略（即xi很小 ）时，我们可以认为x的测量是准确的，而数据的偏差，主要是y的偏差，因而有： 22 iii xyv iiii bxayyv n我们的目的是根据数据点确定回归常数a和b，并且希望确定的a和b能使数据点尽量靠近直线能使v尽量的小。由于偏差v大小不一，有正有负，所以实际上只能希望总的偏差（ ）最小。n所谓最小二乘法就是这样一个法则，按照这个法则，最好地拟合于各数据点的最佳曲线应使各数据点与曲线偏差的平方和为最小。 2vi n首先，求偏差平方和，将式两边平方后相加，得： n显然， 是a, b的函数。按最小二乘法，当a, b选择适当，能使为最小时y=a+bx才是最佳曲线。 由最小二乘法确定a和b 211 2 ni bxayni v iii 2vi n根据二元函数求极值法，把式对a和b分别求出偏导数。得： 421 21 22 iiii iii xbxaybni v bxayani v n令等于零，得：n解方程，得： n n 50111 011 2 ni xbni xani xy ni xbnani y iiii ii xbya ssb xxxy n公式式中：n从不难求出对a, b的二阶偏导数为： nxx nxxs nyxyxs i iixx iiiixy 22 xiba v xb v na vi iii 22222 2 22 2 22 2 n所以式求出的a, b可使为极小值。因而由a, b所确定的曲线y=a+bx就是用最小二乘法拟合的最佳曲线。n由于已知函数形式为非线性时，可用变量代换法“曲线改直”使函数变为线性关系，因而最小二乘法就有更普遍的意义。 0444 )(2 2 222222 2 22 222 xxn nxx xxn ba vb va v i ii ii iii 2. 经验公式的线性回归函数形式未知 n由于经验公式的函数形式是未知的，因而恰当地选择经验公式的函数形式就成了曲线拟合中的重要问题。n在进行经验公式的回归时，必须先确定函数的形式。确定函数形式一般是根据理论的推断或者从实验数据的变化趋势来推测判断。n如根据实验得到的一组数据 （或其在x y坐标上的数据点）初步判断经验公式为线性关系时，即可用最小二乘法按，式求出b, a值，并进而拟合出直线的线性关系式： y=a+bx 回归方程。 yix i, 3. 回归方程的精度和相关系数 n用最小二乘法确定a, b存在误差。n总结经验公式时，我们初步分析判断所假定的函数关系是正确，为了解决这些问题，就需要讨论回归方程的精度和相关性。n为了估计回归方程的精度，进一步计算数据点 偏离最佳直线y=a+bx的大小，我们引入概念剩余标准差 ，它反映着回归方程与各数据点的拟合程度。 yix i, s n剩余标准差 n公式中：s 2)1(2 22 n sRn v yyis nyys iiyy 2)(2 yyxxxysssR n R称为相关系数。其值可正可负，一般有：n a:当R=1时， = ,即各数据点与最佳直线完全重合。n b：0Ra是零结果，即a=0. n因此,I-U间为线性关系即所测电阻为一线性电阻。n由表二数据得回归方程为y=bx,即I=1.993u（mA）其剩余标准差为 =0.06n而且: s b xxs s a nb ix 22a 006.0993.1 b s 第二节 二元线性回归 n已知函数形式(或判断经验公式的函数形式)为 式中，均为独立变量，故是二元线性回归。n若有实验数据： 2211 xbxbay nnxxxx xxxx 222212 112111 .,., .,., n对应的y值是 y= y1,y2,.yn。与一元线性回归讨论方法类似，求出总偏差：n对a, b1和 b2求偏导数，并令其等于零后，解方程则可得： 22211 )(2 iii xbxbayvi 2211 2122211 1122112 2122211 1222211 xbxbya sss ssssb sss ssssb yy yy n公式中： nyxyxs nyxyxs nxxxxs nxxs nxxs iii ii ii iy iiy ii ii ii )( )( )( )( )( 22 111 1212 22222 12111 2 21 22 n 分别是y, x1和x2的算术平均值。同样可证，由 式求出的b2,b1和a所确定的正是满足 最小二乘法最小条件的最佳曲线。n相应的剩余标准差:其中: 21, xxy 2vi 3 )1(3 2122 n sxxRn vs yyyi nyys iiyy 2)(2 yyys sbsbR yxyx 221121 n 成为全相关系数。且 . 愈接近于1，则表示所得回归方程比较理想。反之， 愈接近于0，则说明所得回归方程没有多大的实际意义。n根据统计方法也可以求出b1,b2及a的标准误差，它们分别为: 10 21 xyxR21xyxR 21xyxR21xyxR sssssb 2122211221 sbb ssssss )( 212221111122112 sa sssxssssxsn )()(1 2122211221121222112122 第三节 非线性回归 设由实验获得了两个变量x,y的一组数据(xi, yi),且由数据点在x，y坐标中的分布规律可以判断出两个变量间成非线性关系。怎样用一条曲线（数学关系式）才能最佳地代替数据点的分布规律呢？（1）根据数据点的分布尽可能准确地绘出一条曲线， 并和已有确切数学表示式的曲线相比较，寻找合 适的数学关系式 （2）进行变量替换，将 使非线性关系 线性化，在 y,x为纵坐标）中，为横坐标，坐标系（, （3）用线性关系曲线拟合办法，求相关系数r，斜率B0 和截距A0，求出后反变换，就可计算出数学关系式 中的常数,若 ，不能拟合成线性关系曲线， 须重新寻找合适的数学关系式0rr 数据点的分布应是线性分布，可用来反映分布规律 00 BA 函数关系式举例 00 BA 非线性回归方程n步骤:(1) 确定函数的类型（如双曲线、指数曲线、对数曲线等）(2) 求解相关函数中的未知参数 曲线问题 直线问题（变量代换） 回归曲线 回归多项式直线问题-跟前面所讲一致，先计算相关系数R, 判断能否能拟合线性关系曲线，若可以求最佳直线的斜率B，截距A，然后再进行反变换，就可以计算出数学关系中的常数，最后得到最佳曲线。 Back yx160165170175180185140 150 160 170 180 190 200Y X儿子们身高向着平均身高“回归”，以保持种族的稳定Back XY BackY XBack 表二表一Back