第九章多元回归与多项式回归

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第九章,多元回归与多项式回归,学习要求,了解多元回归、偏相关系数、通径分析、多项式回归的概念；理解多元回归、多项式回归关系的显著性检验及准确度测定的意义；掌握正规方程组求解求逆紧凑法的步骤及建立最优回归方程、通径分析方法。,重点与难点,重点：,涉及本章统计量的含义，建立最优回归方程及通径分析方法,难点：,求解求逆紧凑法的应用,思考题及作业,1,、何谓,偏回归及偏相关系数、通径系数、及决定系数？,2,、,求解求逆紧凑法的公式有哪些性质？这些性质有何用处？,3,、,试述偏相关系数、,复相关系数及,简单相关系数的区别？,4,、习题作业：,标准化综合测试题,第九章,14,题,参考书,1,贵州农学院,(,主编,).2001.,生物统计附试验设计,教材,.,中国农业出 版社,.172197,页,2,莫惠栋著,.1992.,农业试验统计,.,上海科学技术出版社,.467580,页,第一节,多元回归与多元相关,1,、阐述多元回归的概念,2,、重点介绍正规方程组的解法,世界上的事情是复杂的，生物现象尤其这样。在生物现象中，变量与变量的关系往往不是简单的一对一的关系，而是很多变量相互之间都有关联。在极大多数的实际问题中，一个变量不是受一个而是受多个变量的影响。要研究一个依变量与多个自变量间的关系，就需要用多元回归分析和多元相关分析的方法。,线性回归是最基本的回归关系。这里介绍的多元回归，也是多元线性回归。多元线性回归与一元线性回归的原理完全相同，只是计算方法比较复杂而已。,一、配置多元回归方程的一般方法,设,y,为一依变量，它受,x,l,、,x,2,、,x,3,x,m,的,m,个自变量的影响，我们可以在它们之间配置一个线性回归方程如下：,=,b,0,+b,1,x,1,+b,2,x,2,+b,3,x,3,+,b,m,x,m,（,9,1,）,其中,b,0,为常数项，,（,9,2,）,b,1,、,b,2,、,b,3,b,m,为,y,对,x,l,、,x,2,、,x,3,x,m,的偏回归系数。,b,1,=b,y1.2,，,3,m,，,b,2,=b,y2.1,，,3,m,，,b,3,=b,y3.1,，,2,m,，,，,b,m,=,b,ym,.1,，,2,，,3,(m,1),。,b,1,=b,y1.2,，,3,m,表示,当,x,2,、,x,3,x,m,诸变量都固定时，自变量,x,l,变化一个单位而使依变量,y,平均改变的值，这就是,y,对,x,1,的偏回归系数,，或称为回归系数。其余各偏回归系数都具有相应的含义。,b,1,、,b,2,、,b,3,b,m,还是利用最小二乘法来确定，即选取这样的,b,1,、,b,2,、,b,3,b,m,，,使离回归平方和（剩余平方和）。,SS,E,=SS,离回归,=(,y,),2,=y,(b,0,+b,1,x,1,+b,2,x,2,+b,3,x,3,+,b,m,x,m,),2,(93),达到极小值。用求偏微分的方法可得出,b,1,、,b,2,、,b,3,b,m,必须满足下列正规方程：,上述方程组的系数项，按主对角线上为各变量的离均差平方和，,SS,1,、,SS,2,、,SS,3,SS,m,。,其余则为各自变量两两相互的离均差乘积和，并依主对角线为轴左右对称相等（,SP,ij,=,SP,ji,），,常数项为各自变量同依变量,y,的离均差乘积和，,SP,1y,，,SP,2y,，,SP,3y,SP,my,。,解这个正规方程组，即得,b,1,、,b,2,、,b,3,b,m,代入公式,9,2,求得,b,0,，,再一起代人公式,9,1,，就得到多元归归方程。,二、正规方程组的解法,正规方程组的解法，与一般方程组的解法相同，已在一般数学教科书中介绍过，如行列式法、消元法等。本章将重点介绍求解求逆紧凑法。,1,、行列式法 常用于解低元的正规方程组。如二元正规方程组：,（,94,）,（,95,）,例,1,当需要解三元或三元以上方程组时，则用以下计算方法。目前最为流行的是求解求逆紧凑法。,2,消元法 消元法求解的原理是利用乘或除法使方程组中两方程式的同一项具有相同的系数，然后将此两式相加或相减使该项系数为零，从而消去一元。逐次消元，最后得一方程及各元之解（略）。,以上两种方法都无求逆过程，而逆矩阵元素是偏回归系数显著性检验所不可缺少的。故以上两种方法不常用。,例,2,这些方程用矩阵的形式表示为：,AB=Y,（,9,6,）,或记为,其中：,A,为系数矩阵；,B,为所要解的偏回归系数的列向量；,Y,为正规方程组等号右边的常数项的列向量。如果对方程（,96,）的两边都从左边乘以,A,的逆矩阵，即,A,1,，,我们可得,A,1,AB=A,1,Y,（,9,7,）,3,矩阵法 正规方程组的求解可用矩阵法来进行。,A,1,A,=,E,，,EB=B,。,这里,E,是单位矩阵，它是一个特别重要的对称矩阵，它的主对角线上元素都等于,1,，而对角线以外的元素都等于,0,。,单位矩阵的性质相当于一般数学中的,1,。方程（,9,7,）可变为：,B=A,1,Y,（,98,）,当我们算出了,A,的逆矩阵（,A,1,）,代入（,98,），即可得方程,b,的解。对于例,2,资料，由于其系数矩阵的逆矩阵为：,即：,代入方程（,98,）得：,注*逆矩阵一般用,C,表示（,C=A,1,），,故其元素用,c,ij,表示，亦具有对称性，它在统计学中常称之为高斯乘数。由矩阵法求解，常称之高斯解法。,即：,b,1,=0.3804+(,0.320)4+(,0.141)3=,0.181,b,2,=(,0.320)4+0.4804+(,0.040)3=0.519,b,3,=(,0.141)4+(,0.040)4+0.4233=0.541,关于逆矩阵的计算，我们仍可用消元法中的轮消法来求逆矩阵元素。其方法是在系数矩阵后附单位矩阵而不是附常数项的列向量。,求得逆矩阵元素（,c,ij,）,后，即可将其乘常数项的列向量而求解，如前述。由于求解求逆的工作量较大，特别是在具有较多的元时。因此一般用计算机同时进行求解求逆，考虑到节省计算机的内存数，故目多采用的是求解求逆紧凑法。,4,求解求逆紧凑法,求解求逆紧凑法是在采用矩阵法时却省去了单位矩阵，而将单位矩阵处的计算结果前移到系数矩阵的位置，而不是附在系数矩阵后。即在系数矩阵后仍附常数项的列向量，成为一个增广矩阵后用轮消法消元。最后在系数矩阵处得逆矩阵元素，常数项不变仍为各元之解。,求解求逆紧凑法的应用步骤,仍以例,2,资料为例，说明其紧凑法求解求逆计算,（,1,）列出增广矩阵,（,2,）应用下列公式（紧凑式轮消法）对各元素进行变换,式中：,l,变换的次数，,a,(,l,+1),变换,l,次后的元素，,a,(,l,),变换,l,次时的元素，,k,每次变换的主行列标号，,a,kk,变换行主单元的元素，,i,元素,a,的行标，,j,元素,a,的列标。,9.1,式用于变换主行（,k,）,主元素的变换；,9.2,式用于变换主行除主元素外其它元素的变换；,9.3,式用于变换主列（,k,）,除主元素外其它元素的变换；,9.4,式用于除变换主行主列元素外其它各元素的变换。,如：当,l,=0,，,k=1,，,i=2,、,3,，,j=2,、,3,、,4,时，应用,9,9,公式可将,A,(0),变换成,A,(1),其中各元素的变换是：,按,9.1,式将,A,(0),中待变换的主元素,10,取倒数得：,1/10=0.1,按,9.2,式将,A,(0),中待变换主行,(,k=1),除,10,外，其它元素均被主元素,10,除得：,7/10=0.7,、,4/10=0.4,、,4/10=0.4,按,9.3,式将,A,(0),中待变换主列,(,k=1),除,10,外，其它元素均被主元素,10,除后改变符号 得：,7/10=,0.7,、,4/10=,0.4,按,9.4,式将,A,(0),中除主行主列外，其它各元素的变换是：用该元素减去同行同列中位于与主元素,(10),相对应的两元素相乘后被主元素,(10),除所得的差。如：,i=2,，,j=2,、,3,、,4,时，元素,7,、,3,、,4,同行中位于与主元素,(10),相对应的元素均为,7,，同列中位于与主元素,(10),相对应的元素分别为,7,、,4,、,4,。则：,7,77/10=2.1,3,74/10=0.2,4,74/10=1.2,类似地，当,i=3,，,j=2,、,3,、,4,时，,A,(0),中元素,3,、,4,、,3,可变换成：,3,47/10=0.2,4,44/10=2.4,3,44/10=1.4,当,l,=1,，,k=2,，,i=1,、,3,，,j=1,、,3,、,4,时，应用,99,公式可将,A,(1),变换成,A,(2),其中各元素的变换是：,A,(1),中待变换的主元素,2.1,取倒数得：,1/2.1=0.476,变换主行,(,k=2),除,2.1,外，其它元素均被主元素,2.1,除得：,0.7/2.1=,0.333,、,0.2/2.1=0.095,、,1.2/2.1=0.571,变换主列,(,k=2),除,2.1,外，其它元素均被主元素,2.1,除后改变符号得：,0.7/2.1=,0.333,、,0.2/2.1=,0.095,除主行主列外，其它各元素的变换是：,i=1,，,j=1,、,3,、,4,时,i=3,，,j=1,、,3,、,4,时,0.1,0.7(,0.7)/2.1=0.333,0.4,0.2(,0.7)/2.1=,0.333,0.4,0.70.2/2.1=0.333 2.4,0.20.2/2.1=2.381,0.4,0.71.2/2.1=0.333 1.4,0.21.2/2.1=1.286,当,l,=2,，,k=3,，,i=1,、,2,，,j=1,、,2,、,4,时，依,99,公式可将,A,(2),变换成,A,(3),经过,3,次轮消后，系数矩阵元素变换为逆矩阵元素。而常数项值则为各元之解,(,b,i,),。,求解求逆紧凑法公式具有如下,4,个性质；,（,1,）每作一次变换,l,k,就得一个子方程的解及该子方程组系数矩阵的逆矩阵，如,是例,2,资料的子方程组，它的解是：,b,1,=0 b,2,=0.519,其系数矩阵的逆矩阵为：,这可从,A,(2),中见到。,（,2,）消去变换后的矩阵与消去的次序无关。这点可从例,2,资料自行验证。,（,3,）对,k,行作一次消去变换后，再对,k,行重复作一次消去变换，等于没有对该行作消去变换。,（,4,）当方程组的系数矩阵为对称矩阵时。,A,(,l,),具有如下的对称性；,当作,b,i,、,b,j,均已作了消去变换，或均未作消去变换时 。这可以,A,(2),中,1,、,2,行或,A,(1),中的,2,、,3,行系数矩阵的变换中看到。,当对,b,i,、,b,j,中一个且仅一个作过消去变换时 ，这可以从,A,(1),的,1,、,2,行或,A,(2),的,1,、,3,行中验证。,这些性质在方程组的求解求逆计算中或配置可行的多元回归方程中各有用处。,三、多元回归在科研中的应用实例,应用实例,猪的瘦肉量是肉用型猪育种中的重要性状，但这个性状的度量比较麻烦，需要进行整个胴体的剥离和称量。据研究，这个性状与其它一些比较容易度量的性状，如膘厚，胴体长，眼肌面积等之间，存在着一定的相关，但与其中任何一个性状的相关都不太高。因此利用任何一个简单回归间接估计都不可能太准确。为了提高间接估测的准确度，需要配,置一个多元回归方程。,设,y,瘦肉量，,x,l,眼肌面积，,x,2,胴体长，,x,3,膘厚。根据三江猪育种组的实测资料，统计,54,头杂种猪的有关性状，得如下数据：,SSx,1,=846.2281 SSx,2,=745.6041,SSx,3,=13.8987,SSy,=70.6617,SPx,1,x,2,=40.6832 SPx,1,x,3,=,6.2594 SPx,2,x,3,=-45.1511,