数理统计6回归-课件

第六章相关与回归第六章相关与回归数理统计在化学中的应用李振华制造序言化学中的分析测试过程究其本质而言，即是要研化学中的分析测试过程究其本质而言，即是要研究建立被测物理量与被测物质含量之间的关系，也可究建立被测物理量与被测物质含量之间的关系，也可以说以说分析测试的最终目的就是为了能用回归分析方法分析测试的最终目的就是为了能用回归分析方法去求得被测物质的含量从而得以解决实际问题去求得被测物质的含量从而得以解决实际问题。相关。相关指的就是变量与变量之间的某种关系，相关是研究回指的就是变量与变量之间的某种关系，相关是研究回归的前提。归的前提。回归回归在统计上指的在统计上指的是利用一个变量对另一是利用一个变量对另一个变量所进行的的预测个变量所进行的的预测，回归分析回归分析就是就是确定自变量和确定自变量和因变量所存在的函数关系因变量所存在的函数关系。只有在确定了函数关系之。只有在确定了函数关系之后，才可能从一个变量预测或推算另一个变量，这在后，才可能从一个变量预测或推算另一个变量，这在化学研究中有着极其广泛的应用。化学研究中有着极其广泛的应用。数理统计在化学中的应用李振华制造回归的来历n早在19 世纪后期,英国生物学家Golton 在研究家族成员的相似性时发现：虽然一般说来高个子的父代会有高个子的子代，但是子代的身高比他们的父代更趋向一致，即若父代身材高大，则他们的子代会趋向矮一些，而若父代身材矮小，他们的子代会趋向高一些。他把子代的身高向平均值靠拢的趋势称为“向平庸的回归”。nKarl Pearson 观察了1078 个家庭中父亲身高x 和儿子身高 y,建立了一个线性方程y=33.8+0.51x数理统计在化学中的应用李振华制造平均身高 低于平均身高的平均值高于平均身高的平均值Father67.687 65.42 69.85 Son68.684 67.45 69.86 数理统计在化学中的应用李振华制造$6.1 相关关系和相关系数相关关系和相关系数在分析测试中，所研究的变量之间的关系，由于在分析测试中，所研究的变量之间的关系，由于常存在着不可避免的随机误差，因此就使得变量之间常存在着不可避免的随机误差，因此就使得变量之间的关系具有某种不确定性，这种的关系具有某种不确定性，这种变量之间既有着相互变量之间既有着相互影响，又不甚明了和肯定的关系，在统计上就称为影响，又不甚明了和肯定的关系，在统计上就称为相相关关系关关系。相关关系与函数关系之间并没有严格的界限。相关关系与函数关系之间并没有严格的界限。两个变量之间的相关关系，如达到一定的紧密程度时，两个变量之间的相关关系，如达到一定的紧密程度时，就一定会发现它们之间有着确定的函数关系。在统计就一定会发现它们之间有着确定的函数关系。在统计学上学上研究变量之间是否存在一定的相关关系，就称为研究变量之间是否存在一定的相关关系，就称为相关分析相关分析。相关分析的目的就是要求出相关分析的目的就是要求出相关系数相关系数。数理统计在化学中的应用李振华制造统计上常用一变量对另一变量的回归方程的离散程度来表示相关系数，并用字母 r 来表示，定义如下：从上式可见，残余差方和 Q 越小，回归方程的离散程度越小，回归系数越接近 1，也就越意味着存在着确定的函数关系。Q:残余方差y的回归估计值数理统计在化学中的应用李振华制造相关系数的另一种表示Sxy(Cov(x,y):变量x和y的样本协方差数理统计在化学中的应用李振华制造$6.2 相关系数的显著性检验相关系数的显著性检验当两变量间确实具有高度紧密的相关性时，我们才能说据此所求得的回归方程才有实际意义。为此在进行回归分析之前，往往需要先进行线性相关的假设检验。$6.2.1 相关系数的 t 检验适合于小样本的 t 检验的步骤如下：1.H0:=0（二变量无显著相关关系）H1:0（0为相关系数的真值）2.计算检验统计量 t计：当 r=0.90 时，其分布并不是正态分布，但研究表明其修正值是满足t分布的.数理统计在化学中的应用李振华制造$6.2.1 相关系数的 t 检验 2.计算检验统计量 t计：3.若 t计 t/2,n-2，则拒绝 H 0，反之，则接受数理统计在化学中的应用李振华制造$6.2.1 相关系数的 z 检验 当样本容量n 30时，可以进行两种z检验，一种是检验有没有相关性，另一种是检验两个相关系数之间有无显著性。数理统计在化学中的应用李振华制造例6-1：用相关分析求出某一化学反应速度与光照时间的相关系数r=0.68，样本容量为24，问相关关系是否显著？（=0.05）解：1.H0:=0=0；H1:02.计算统计量：3.查表t0.05,22=TINV(0.05,22)=2.074.结论：拒绝H0,即化学反应速度和光照时间的有显著性关系。数理统计在化学中的应用李振华制造例6-2：上题中如果样本容量为30，现已知以往历次试验表明实验数据近似于正态分布，且r的平均值为0.72，试问0.68与它在统计上是否相同？（=0.05）解：1.H0:=0=0.72；H1:02.计算统计量：3.查表z0.05=TINV(0.05,)=1.9604.结论：接受H0，即r=0.72和r=0.68在统计上是相同的。数理统计在化学中的应用李振华制造$6.3 线性回归和非线性回归线性回归和非线性回归$6.3.1 一元线性回归y=ax+b,a,b:回归系数最小二乘法：定义残余差方和Q。数理统计在化学中的应用李振华制造通过最小二乘法所得到的回归线有着以下几个特点：通过最小二乘法所得到的回归线有着以下几个特点：1.它必定通过x,y的平均值这一点；2.它对所有点来说是误差最小的；3.它常常不是通过实验数据中的任一点；4.不能随意外推。数理统计在化学中的应用李振华制造例6-3 试拟合以下一样品中铀含量和荧光强度的实验试拟合以下一样品中铀含量和荧光强度的实验数据的线性回归方程数据的线性回归方程铀含量(10-7g)荧光强度(%)x2xyy2112.3112.3151.29 218.6437.2345.96 435.916143.61288.81 651.036306.02601.00 867.164536.84502.41 1080.5100805.06480.25 Sum31265.42211840.915369.72数理统计在化学中的应用李振华制造$6.2.2 非线性回归非线性回归n两变量的关系如是非线性的，就叫非线性回归，通常非线性回归均可以通过适当的数学变换将其转化为线性回归。数理统计在化学中的应用李振华制造表6-1数理统计在化学中的应用李振华制造例6-4数理统计在化学中的应用李振华制造$6.3.3 二元线性回归二元线性回归与一元线性回归相类似，同样可以证明，如果有两个自变量，二元线性回归的回归方程为 y=b0+b1 x1+b2 x2,使用最小二乘法可知，b1、b2分别为y对x1、x2的偏回归系数.数理统计在化学中的应用李振华制造数理统计在化学中的应用李振华制造MATLAB软件实现y=120 141 124 126 117 125 123 125 132 123 132 155 147;x2=50 20 20 30 30 50 60 50 40 55 40 40 20;x1=152 183 171 165 158 161 149 158 170 153 164 190 185;n=13;m=2;X=ones(n,1),x1,x2;%ones:生成由1组成的阵.b,bint=regress(y,X)b=-62.963 1.0683 0.40022bint=-100.84 -25.086 0.87294 1.2636 0.21481 0.58562数理统计在化学中的应用李振华制造$6.3.4 非线性多元回归数理统计在化学中的应用李振华制造例6-6的MATLAB软件实现n见讲义数理统计在化学中的应用李振华制造例6-6 Origin实现数理统计在化学中的应用李振华制造例6-6 Gnuplot实现1.建立数据文件test.dat2.f(x)=b1*x+b2*x*2+b3*x*33.给初始猜测值4.b1=1.0;b2=1.0;b3=1.04.Fit f(x)“test.dat”u 1:2 via b1,b2,b35.作图：6.plot f(x),”test.dat”数理统计在化学中的应用李振华制造或需要解决的问题：1）在回归模型中如何估计参数a、b和2？2）模型的假设是否正确？需要检验。3）利用回归方程对试验指标y进行预测或控制？$6.4 回归线的置信区间数理统计在化学中的应用李振华制造解出的参数记为则回归方程：最小二乘法:数理统计在化学中的应用李振华制造一元回归的方差分析一元回归的方差分析数理统计在化学中的应用李振华制造残余方差和，偏差平方和，残余方差偏差平方和残余方差和残余方差残余标准差数理统计在化学中的应用李振华制造给定的自变量x0，如何给出对应的y0的区间？$6.4.2 回归线的置信区间数理统计在化学中的应用李振华制造y0的置信度为(1)%的预测区间为：$6.4.2 回归线的置信区间数理统计在化学中的应用李振华制造y0的置信度为(1)%的预测区间为：$6.4.2 回归线的置信区间数理统计在化学中的应用李振华制造a和b的置信度为(1)%的预测区间为：$6.4.3 回归系数的置信区间数理统计在化学中的应用李振华制造提出假设：1、相关系数检验|r|1|r|1，线性相关|r|0，非线性相关模型：Y=a+bx+$6.4.4 回归模型的假设检验数理统计在化学中的应用李振华制造F-检验法数理统计在化学中的应用李振华制造$6.5.1 回归方程预测值的置信区间：$6.5 回归预测和回归估计的置信区间数理统计在化学中的应用李振华制造$6.5.2 回归方程回归估计值的置信区间：f=n-2,m次重复分析数理统计在化学中的应用李振华制造使用命令regress实现一元线性回归模型的计算 c=regress(Y,X)或 c,cint,r,rint,stats=regress(Y,X,alpha)回归系数a，b以及它们的置信区间残差向量e=Y-Y及它们的置信区间决定系数R2，F-统计量和与F对应的概率p。残差及其置信区间可以用rcoplot(r,rint)画图。默认值是0.05一元线性回归的Matlab软件实现数理统计在化学中的应用李振华制造例例输入：输入：x=1097 1284 1502 1394 1303 1555 1917 2051 2111 2286 2311 2019 2435 2625 2948 3155 3372;y=698 872 988 807 738 1025 1316 1539 1561 1765 1762 1960 1902 2019 2446 2736 2825;X=ones(size(x),x,pause c,cint,r,rint,stats=regress(y,X,0.05),pausercoplot(r,rint)数理统计在化学中的应用李振华制造输出：c=-460.5282(参数a)0.9840(参数b)cint=-691.8478 -229.2085 (a的置信区间)0.8779 1.0900 (b的置信区间)r=79.1248 69.1244 -29.3788-104.1112 -83.5709 -44.5286 -109.7219 -18.5724 -55.6100 -23.8029 -51.4019 449.6576 -33.4128 -109.3651 5.8160 92.1364 -32.3827(残差向量)rint=（略）（参见残差分析图）stats=0.9631(R2)391.2713(F)0.0000(P0)数理统计在化学中的应用李振华制造第第12个数据点个数据点异常，可删除异常，可删除数理统计在化学中的应用李振华制造1、确定回归系数的点估计值：确定回归系数的点估计值：b=regress(Y,X)对一元线性回归，取p=1即可 多元线性回归的多元线性回归的Matlab实现实现数理统计在化学中的应用李振华制造3、画出残差及其置信区间：画出残差及其置信区间：rcoplot(r,rint)2、求回归系数的点估计和区间估计、并检验回归模型：求回归系数的点估计和区间估计、并检验回归模型：b,bint,r,rint,stats=regress(Y,X,alpha)回归系数的区间估计残差用于检验回归模型的统计量，有三个数值：相关系数r2、F值、与F对应的概率p置信区间 显著性水平（缺省时为0.05）数理统计在化学中的应用李振华制造例例解：解：1、输入数据：输入数据：x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164;X=ones(16,1)x;Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102;2、回归分析及检验：回归分析及检验：b,bint,r,rint,stats=regress(Y,X)数理统计在化学中的应用李振华制造3、残差分析，作残差图：、残差分析，作残差图：rcoplot(r,rint)从残差图可以看出，除第二个数据外，其余数据的残差离零点均较近，且残差的置信区间均包含零点，这说明回归模型 y=-16.073+0.7194x能较好的符合原始数据，而第二个数据可视为异常点.4、预测及作图：、预测及作图：z=b(1)+b(2)*x plot(x,Y,k+,x,z,r)数理统计在化学中的应用李振华制造（一）一元多项式回归（一）一元多项式回归:y=a1xm+a2xm-1+amx+am+11、回归：、回归：（1）确定多项式系数的命令：p,S=polyfit(x,y,m)其中x=(x1,x2,xn)，y=(y1,y2,yn)；p=(a1,a2,am+1)是多项式的系数；S是一个矩阵，用来估计预测误差.（2）一元多项式回归命令：polytool(x,y,m)2、预测和预测误差估计：、预测和预测误差估计：(1)Y=polyval(p,x)求polyfit所得的回归多项式在x处的预测值Y；(2)Y，DELTA=polyconf(p,x,S,)求polyfit所得的回归多项式在x处的预测值Y及预测值的显著性为1-的置信区间YDELTA；缺省时为0.05.多项式回归的多项式回归的Matlab实现实现数理统计在化学中的应用李振华制造法一法一 直接作二次多项式回归：直接作二次多项式回归：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;p,S=polyfit(t,s,2)得回归模型为：t(s)1/302/303/304/305/306/307/30s(cm)11.8615.6720.6026.6933.7141.9351.13t(s)8/309/3010/3011/3012/3013/3014/30s(cm)61.4972.9085.4499.08113.77 129.54 146.48数理统计在化学中的应用李振华制造法二法二化为多元线性回归：化为多元线性回归：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;T=(t.2)t ones(14,1);b,bint,r,rint,stats=regress(s,T);b,stats得回归模型为：Y=polyconf(b,t,s)plot(t,s,k+,t,Y,r)预测及作图预测及作图数理统计在化学中的应用李振华制造例:试分析年龄与运动（旋转定向）能力年龄 17192123252729第1组20.4825.1326.1530.0026.1020.3019.35第2组24.3528.1126.3031.4026.9225.7021.30数理统计在化学中的应用李振华制造假设模型输入：x1=17:2:29;x=x1,x1;y=20.48 25.13 26.15 30.0 26.1 20.3 19.35 24.35 28.11 26.3 31.4 26.92 25.7 21.3;p,S=polyfit(x,y,2);p 数理统计在化学中的应用李振华制造还可计算y的拟合值：输入：Y,delta=polyconf(p,x,S);Y结果：Y=22.5243 26.0582 27.9896 28.3186 27.0450 24.1689 19.6904 22.5243 26.0582 27.9896 28.3186 27.0450 24.1689 19.6904拟合效果图：数理统计在化学中的应用李振华制造Origin数理统计在化学中的应用李振华制造命令：rstool(x,y,model,alpha）nm矩阵显著性水平（缺省时为0.05）n维列向量（二）多元二项式回归（二）多元二项式回归数理统计在化学中的应用李振华制造例例3 设某商品的需求量与消费者的平均收入、商品价格的统计数据如下，建立回归模型，预测平均收入为1000、价格为6时的商品需求量.法一法一 直接用多元二项式回归：x1=1000 600 1200 500 300 400 1300 1100 1300 300;x2=5 7 6 6 8 7 5 4 3 9;y=100 75 80 70 50 65 90 100 110 60;x=x1 x2;rstool(x,y,purequadratic)需求量10075807050659010011060收入1000600 1200500300400130011001300300价格5766875439数理统计在化学中的应用李振华制造先在作图的窗口export beta和rmse，再在Matlab工作区中输入命令：beta,rmse数理统计在化学中的应用李振华制造结果为结果为:b=110.53130.1464-26.5709-0.00011.8475 stats=0.9702 40.6656 0.0005法二法二数理统计在化学中的应用李振华制造例6-7 用紫外吸光光度法测定若干个乙醇样品中的苯含量(g/ml)。测得试样的吸光度为下列结果：(1)试求出回归方程；(2)求出回归系数的置信区间；(3)如果测量三次某未知试样溶液得到吸光度为1.21，1.23，1.26，试求该未知试样含量和回归估计的置信区间。(=0.05)苯含量 0.20.51.01.52.02.53.0吸光度 0.200.370.640.931.221.501.80数理统计在化学中的应用李振华制造$6.6 回归方程的拟合检验$6.6.1 影响回归效果的因素v=nm-1=N-1，n：测量次数，m：重复次数回归差方和(vU=1)总偏差平方和残余差方和(vQ=N-2)误差差方和(vR=N-n)失拟差方和(vV=n-2)数理统计在化学中的应用李振华制造$6.6.2 失拟检验和回归检验一、失拟检验检验失拟方差与误差方差之间的显著性1）如F1 F(vV,vR)：失拟情况显著2）如F1 F(vV,vR)：失拟并不显著数理统计在化学中的应用李振华制造$6.6.2 失拟检验和回归检验二、回归检验检验回归方差U与残余方差Q之间的显著性1）如F1 F(vV,vR)而 F2 F(vU,vQ)：回归显著2）如F1 F(vV,vR)而 F2 F(vU,vQ)：回归不显著数理统计在化学中的应用李振华制造回归的问题n数据点要比回归参数多，否则会出现过拟合数理统计在化学中的应用李振华制造1、回归：、回归：（1）确定回归系数的命令：beta,r,J=nlinfit(x,y,model,beta0)（2）非线性回归命令：nlintool(x,y,model,beta0,alpha)残差Jacobian矩阵回归系数的初值是事先用m-文件定义的非线性函数估计出的回归系数输入数据x、y分别为 矩阵和n维列向量，对一元非线性回归，x为n维列向量。非线性回归非线性回归数理统计在化学中的应用李振华制造2、预测和预测误差估计：、预测和预测误差估计：Y,DELTA=nlpredci（model,x,beta,r,J）求nlinfit 或nlintool所得的回归函数在x处的预测值Y及预测值的显著性为1-alpha的置信区间YDELTA.3、作图：、作图：YY,delta=nlpredci(model,x,beta,r,J)；plot(x,y,k+,x,YY,r)数理统计在化学中的应用谢谢！谢谢！64