11 数理统计基本概念

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,作出精确而可靠的结论.,数理统计可以分为,两大类,：,一类是如何科学地安排试验，,-,描述统计学,如：试验设计、抽样方法。,另一类是研究如何分析所获得的随机数据，,对所研究,的问题进行科学的、合理的估计和推断，,尽可能地,为,采取一定的决策提供依据，,-,推断统计学,，,如：参数估计、假设,检验等。,以获取有效的随机数据。,第1章 数理统计的基本概念,1,100个样品进行强度测试，于是面临下列几个问题：,例如,某厂生产一型号的合金材料，,用随机的方法选取,1,、估计这批合金材料的强度均值是多少?,(参数的点估计问题）,2,、强度均值在什么范围内？,(参数的区间估计问题）,3,、若规定强度均值不小于某个定值为合格，那么这,批材料是否合格？,(参数的假设检验问题）,4,、这批合金的强度是否服从正态分布？,5,、若这批材料是由两种不同工艺生产的，那么不同,的工艺对合金强度有否影响？,若有影响，那一种工艺,生产的强度较好？,(分布检验问题）,(方差分析问题）,2,6,、若这批合金,由几种原料用不同的比例合成，那么,如何表达这批合金的强度与原料比例之间的关系？,(回归分析问题）,我们依次讨论参数的点估计、区间估计、假设检验、,方差分析、回归分析,下面引入一些数理统计中的术语。,3,二、统计量,一、总体与样本,抽样和抽样分布,三、几个常用的分布,四、正态总体统计量的分布,4,1.总体,研究对象的某项数量指标值全体称为,总体(母体),个体,总体中每个成员（元素）,研究某批灯泡的质量,总体,考察国产 轿车的质量,总体,一 总体和样本,5,破坏性的试验更是不允许对整个总体进行考察.,考察某工厂生产的灯泡寿命,考察某型号手机的质量,考察吸烟和患肺癌的关系,在实际问题中，,要考察整个总体往往是不可能的，,因为它需要耗费太多的资源和太多的时间.,有些,2. 样本,6,样本中所包含的个体数目称为样本容量.,从国产轿车中抽5辆进行,耗油量试验。,样本容量为5。,为了推断总体分布及各种特征，,一个可行的办法,是从该总体中按一定的规则抽取若干个个体进行观察,和试验，,以获得有关总体的信息.,这一抽取过程称为,“抽样”，,所抽取的部分个体称为样本.,7,方法.,由于抽样的目的是为了对总体进行统计推断，,为了使抽取的样本能很好地反映总体，,必须考虑抽样,统计中，采用的抽样方法是随机抽样法，,即子样中每个个体是从母体中随意地取出来的。,8,（1） 重复（返回）抽样,分量,X,k,与所考察的总体有相同的分布.,从总体中抽取个体检查后放回，,母体成分不变（分布不变）,相互独立的随机变量.,9,对无限母体而言做无返回抽取，并不改变母体的成分,独立且同分布于母体,（2） 非重复（无返回）抽样,取出样本后改变了母体的成分，所以,对有限母体，,不相互独立，,10,(2),独立同分布性,它要求抽取的样本满足下面两点:,(1),代表性,（随机性）：,最常用的一种抽样方法叫作,“简单随机抽样”。,其中每一个分量,X,k,与所考察的总体有相同的分布.,每一个个体被抽到的可能性相同。,从总体中抽取样本的每一个,分量,X,k,是随机的,是相互独立的随机变量.,若不特别说明，就指简单随机样本.,简单随机样本是应用中最常见的情形，,今后当说到,“,X,1,X,2,X,n,是取自某总体的样本”时，,11,简单随机样本可以用与总体独立同分布的,n,个相互,独立的随机,变量,若总体,X,的分布函数为,联合分布函数为,若总体X的分布密度函数为,表示.,则其简单随机样本的,则其简单随机样本的,联合密度函数为,离散总体,则样本的分布列,12,样本的联合概率密度为,(2)总体,X,的概率密度为,例1,对下列总体分别求出样本的联合分布,13,我们只能观察到随机变量取的值,而见不到随机变量.,3. 总体、样本、样本值的关系,事实上我们抽样后得到的资料都是具体的、确定的值.,如我们从某班学生中抽取10人测量身高，,得到10个数，,它们是样本取到的值而不是样本.,因而可以由样本值去推断总体.,总体分布决定了样本取值的概率规律，,也就是样本,取到样本值的规律，,去推断总体的情况-总体分布,F,(,x,)的性质.,样本是联系二者的桥梁,统计是从手中已有的资料-样本值，,14,4. 样本的分布,1）样本的频数分布,将,n,个样本值,按从小到大排列，把相同,的数合并，并指出其频数（样本中各数出现的次数）,x,频数,频率,15,1）样本的经验分布函数,样本值,样本值小于或等于x的个数，作,样本的经验分布函数,给出了在n次独立重复试验中，事件,出现的频率，具有分布函数的一切性质。如：,非降，右连续；,16,由频数分布知,17,若样本为,n,维r.v，那么对于每一样本值,就可作一个经验分布函数，故,是随机变量,-,n,次独立重复试验中，事件,发生的频率。,由伯努利大数定律，,18,这就是我们可以由样本推断总体的基本理论依据.,格列汶科进一步证明了：当,n,时，,F,n,(,x,),以概率1关于,x,一致收敛于,F,(,x,),，即,这就是著名的格列汶科定理.,定理告诉我们，当样本容量,n,足够大时，对所有的,x,F,n,(,x,),与,F,(,x,),之差的绝对值都很小，这件事发生的概率为1.,19,五、直方图,(1)离散情况,(2)连续情况,其中 为未知。如何估计 ？,i,p,设总体,X,为连续型随机变量，如何估计未知的密度函数,f,(,x,) ?,20,定义1,设,是来自总体X的一个样本，,为一实值连续函数，,其不包含任何,未知参数，则称,为一个,统计量,。,为,的观测值。,注：,是随机变量的函数仍为随机变量。,便是一个数。,注：统计量是随机变量。,二 统计量,1. 统计量,21,例1,为来自总体的样本,未知，,已知，判断下列函数哪些是统计量。,22,2.,几个常见的统计量,样本均值,样本方差,它反映了总体,均值的信息,是来自总体,X,的一个样本，,它反映了总体,方差的信息,样本标准差,23,证,左边,重要公式,24,样本,k,阶原点矩,样本,k,阶中心矩,它反映了总体,k,阶矩,的信息,它反映了总体,k,阶,中心矩的信息,25,常见统计量的性质,26,是来自总体,例2,设,的一样本,总,体,的,阶矩,存在，证明,(1),(2),证,独立且与,同分布,独立且与,同分布,由辛钦大数定律，知,27,统计量既然是依赖于样本的，而后者又是随机变量，故统计量也是随机变量，因而就有一定的分布，这个分布叫做,统计量的“抽样分布”,.,常用的,有,三. 抽样分布,分布，,正态分布，,t,分布，,F,分布,28,(1) 标准正态分布,X的,上,(0,45时，由,35,记为,T,t,(,n,).,服从自由度为,n,的,t,分布.,(3),t,分布,设,X,N,(0,1) ,Y,则称变量, 且,X,与,Y,相互独立，,当,n,充分大时，其图形类似于标准正态分布密度函数的图形。,t,分布的密度函数关于,x,= 0 对称,性质,36,（1）具有自由度为,n,的,t,分布的随机变量,T,的,当,n,充分大时，其图形类似于标准正态分布密度,（2）,t,分布的密度函数关于,x,= 0 对称，且,2. 性质,数学期望和方差为:,E,(,T,) = 0;,D,(,T,) =,n,/ (,n,- 2 ) , 对,n, 2,函数的图形.,很大.,不难看到，当,n,充分大时，,t,分布近似,N,(0,1)分布.,但对于较小的,n，,t分布与,N,(0,1)分布相差,37,3 、 t 分布的分位点,对于给定的正数,称满足条件,的点,为,分位点”。,分布的“上,例,查t 分布表，附表3,38,取,当,时,分布上侧分位点,分布下侧分位点,分布双侧分位点,t,的分布的双侧,分位点为满足,39,(4),F,分布,的,F,分布，,n,1,称为第一自由度，,设,X,与,Y,相互独立，,则称统计量,服从自由度为,称为第二自由度，记作,由定义可得,性质,40,F,分布的分位点,对于给定的正数,称满足条件,为,分布的,的点,上 分位点,41,即它的数学期望并不依赖于第一自由度,n,1.,(2)X,的数学期望为:,若,n,2,2,(1)由定义可见，,F,(,n,2,n,1,),2.性质,42,(3)F 分布的分位点,对于给定的正数,称满足条件,的点,为,分位点,分布的上,43,F 分布的性质,44,表中所给的,都是很小的数，如0.01，0.05等,当,表中查不出，由性质（2）,较大时，如0.95，,45,例1,设随机变量,求,的分布。,解,随机变量,与,独立,因而,由于,由定理 3 得,由题可知,46,四. 正态总体抽样分布定理,的样本, 则有,定理1 (样本均值的分布),设,X,1,X,2, ,X,n,是来自正态总体,47,定理2 (样本方差的分布),设,X,1,X,2, ,X,n,是取自正态总体,分别为样本均值和样本方差.,则有,的,样本,和 相互独立。,48,分别是这两个样本的均值,且,X,与,Y,独立,是取自,X,的样本,样本,分别是这两个样本的样本方差,则有,是取自,Y,的,定理 3 (两总体样本均值差的分布),49,例2,一个样本，求,设,是来自正态总体,的,(1),(2),由定理 2 知,解,50,例2,一个样本，求,设,是来自正态总体,的,(1),(2),查表可得,51,思考与练习,是来自正态总体,的样,1.,设,本, 则有,(A),;,;,(B),;,(C),;,(D),52,二、估计量的评选标准,一 、点估计,第四讲,参数估计,三、区间估计,四、正态总体均值与方差的,区间估计,53,参数估计是统计推断的基本问题之一，,问题中，,并不一定要求密度函数，,而只要知道参数那么,在许多实际,分布就决定了。,考察灯泡厂生产的灯泡质量，,由于种种随机,易知灯泡使用寿命是随机变量，,记为,且,问题：,如何估计,和,？,引例1,因素的影响，,知道了参数，,2,的值，那么寿命X的分布就完全,确定了.,54,参数估计要解决问题:,总体分布函数的形式为已知,需要确定未知参数。,但其中参数,未知时，,这类问题称为参数估计问题。,只有当参数 确定后，,才能通过,概率密度函数计算概率。,对于未知参数，,如何应用样本,所提供的信息去对,其一个或多个未知参数进行估计。,对未知参数估计的两种方法：,通过样本,1、 点估计,2、区间估计,55,1 点估计,点估计问题：,56,第一节 点估计,故可用样本矩来估计总体矩。,这个估计方法是英国统计学家,K,.皮尔逊,最早提出的,基本原理：,总体矩是反映总体分布的最简单的,数字特征，,当总体含有待估计参数时，,总体矩是,待估计参数的函数。,样本取自总体，,即样本矩在一定程度上可以逼近总体矩，,一、矩估计法,57,其中,是待估参数,为来自,的样本,存在,设总体的,k,阶矩,则样本的,k,阶矩,(,大数定律,),令,从中解得,k,个方程组,即为,矩估计量,。,矩估计量的观察值称为,矩估计值,。,设总体,X,的分布函数为,58,矩估计的步骤：,连续型,离散型,59,例 1,设某炸药厂一天中发生着火现象的次数X服从,60,例2,设总体,在,上服从均匀分布，,解：,由矩法,解得,61,是在总体类型已知条件下使用的一种参数估计方法 .,2.,极大似然法,62,极大似然法的基本思想,先看一个简单例子：,一只野兔从前方窜过 .,是谁打中的呢？,某位同学与一位猎人一起外出打猎 .,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下 .,63,你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 .,这个例子所作的推断已经体现了极大似然法的基本思想 .,以上这种选择一个参数使得试验结果具有最大概率的思想就是极大似然法的基本思想 .,64,基本思想:,若事件 发生了,则认为事件,中出现的概率最大。,最大似然估计,就是在一次抽样中,若得到观测值,则选取,若一试验有,n,个可能结果,现做一试验,在这,n,个可能结果,作为 的估计值,，,使得当,时,样本出现的概率最大,。,65,最大似然估计法,:,是,的一个样本值(如离散型),(1)设,事件 发生的概率为,的函数，,形式已知,X,的分布律为：,的联合分布律为,：,样本的,似然函数,66,即取,使得：,与,有关, 记为,称为参数,的,最大似然估计值,称为参数,的,最大似然估计量,.,达到最大的参数,作为,的估计值，,现从中挑选使概率,样本的似然函数,67,两点说明,68,2、用上述求导方法求参数的MLE有时行不通，这时要用极大似然原则来求 .,使似然函数 达到最大的 即 的MLE，,69,(4) 在最大值点的表达式中, 用样本值代入,就得参数的极大似然估计值 .,(1) 由总体分布导出样本的联合分布律,(或联合密度);,(2) 把样本联合分布律(或联合密度)中自变,量看成已知常数,而把参数 看作自变量,得到似然函数,L,( );,(3) 求似然函数,L,( ) 的最大值点(常常转化,为求ln,L,( )的最大值点) ，即,的MLE;,求极大似然估计(MLE)的一般步骤是：,70,下面举例说明如何求极大似然估计,L,(,p,)=,设,X,1,X,2,X,n,是取自总体,X,b,(1,p,) 的一个样本，求参数,p,的极大似然估计.,解：似然函数为:,例1,71,对数似然函数为：,对,p,求导并令其为0，,=0,得,即为,p,的MLE .,72,似然函数为：,73,-它与矩估计量是相同的。,74,解：似然函数为,设,X,1,X,2,X,n,是取自总体,X,的一个样本,其中 0,求 的极大似然估计.,i,=1,2,n,例3,75,对数似然函数为,解：似然函数为,i,=1,2,n,求导方法无法求参数 的MLE.,76,是,对,故使 达到最大的 即 的MLE，,取其它值时，,且是 的增函数,由于,这时要用极大似然原则来求 .,77,即 为 的MLE .,78,X的概率密度为：,79,极大似然估计不变性,80,由于估计量作为样本的函数是一个随机变量,对于不同的样本值, 估计值也不同, 因此评价一个,估计量的优劣就不能仅由一个观测值来确定, 而要,根据估计量的统计性质来评价. 通常一个好的估计,量其观测值应在待估计参数的真值附近波动, 且波,动的幅度越小越好, 即要使估计量与待估计参数在,某种统计意义下非常“接近”.,81,常用的几条标准是：,1无偏性,2有效性,3相合性,这里我们重点介绍前面两个标准 .,第2节 估计量的评选标准,82,而它的期望值等于未知参数的真值.,则称 为 的无偏估计 .,设,是未知参数 的估计量，若,.,真值,1无偏性,估计量是随机变量，,对于不同的样本值会得到不同的,估计值 .,我们希望估计值在未知参数真值附近摆动，,这个标准 .,这就导致无偏性,定义,无偏性的意义是：,用 来估计 时无系统偏差。,则称,是,的渐近无偏估计量.,83,例如 设总体X的数学期望,存在，,是X的样本，求证,均为的无偏估计。,为,2,的无偏估计量,不是,2,的无偏估计量,84,用S,2,来估计,2,有系统偏差。,85,为,2,的无偏估计量,也是,2,的无偏估计量,86,例：由大数定律知,一致性说明：对于大子样，由一次抽样得到的估计量 的值可作,的近似值,87,3. 有效性,:,都是,的无偏估计量；若,则称,较,有效.,设,若,的所有二阶矩存在无偏估计量中有一个估计量 ，,使对任意无偏估计量 有,88,下面讨论无偏估计方差的下界，达到这个下界的无偏估,量称为优效估计量（最小方差无偏估计）。,定理：罗克拉美不等式（条件见书）,罗克拉美不等式,右端为罗克拉美下界，记为,89,类似：d.r.v,注：有时能找到无偏估计使它的方差达到这个下界，有时达不到,90,见书上p60 例3.2.4和例3.2.5.,91,