概率论与数理统计第七章课件

,概率论与数理统计,计算机科学学院,裘国永,概率论与数理统计计算机科学学院,第七章 参数估计,总体是由总体分布来刻画的。,总体,分布类型,的判断,在实际问题中，我们根据问题本身的专业知识或以往的经验或适当的统计方法，有时可以判断总体分布的类型。,总体分布的,未知参数,的估计,总体分布的参数往往是未知的，需要通过样本来估计。通过样本来估计总体的参数。称为,参数估计,，它是统计推断的一种重要形式。,第七章 参数估计总体是由总体分布来刻画的。,例如,（,1,）为了研究人们的市场消费行为，我们要先搞清楚人们的收入状况。,假设某城市人均年收入,X,N,(,2,),。但参数,和,2,的具体值并不知道，需要通过样本来估计。,（,2,）假定某城市在单位时间,(,譬如一个月,),内交通事故发生次数,X,p,(,),。,参数,未知，需要从样本来估计。,例如,参数估计,点估计,区间估计,例如，,X,N,(,2,),若,2,未知,通过构造样本的函数，给出它们的估计值或取值范围就是参数估计的内容。,点估计,区间估计,参数估计点估计区间估计例如，XN(,2),点估,参数估计的类型,点估计,估计未知参数的值,区间估计,估计未知参数的取值范围，,并使此范围包含未知参数,真值的概率为给定的值。,参数估计的类型点估计 估计未知参数的值区间估计,7.1,点估计,要求：,（,1,）理解参数的点估计、估计量和估计值的概念。,（,2,）掌握矩估计法和最大似然估计法。,总体的分布函数形式已知，但它的一个或多个参数未知，借助总体,X,的一个样本来估计总体未知参数的值的问题称为参数的,点估计问题,。,7.1 点估计要求：总体的分布函数形式已知，但它的一个或,定义,设,X,1,X,n,是总体,X,的一个样本,其分布函数为,F,(,x,;,),。,其中,为未知参数,为参数空间,x,1,x,2,x,n,是相应的样本值。,点估计问题就是要构造一个适当的统计量。,一、估计量和估计值,用其观察值,来,估计未知参数,，称,为,的,估计值,为,的,估计量,。,注：,在不致引起混淆的情况下,称估计量和估计值为估计,并都记为,；,定义 设X1,Xn是总体X的一个样本,其分布函,二、寻求估计量的方法,1.,矩估计法,2.,最大似然法,3.,最小二乘法,4.,贝叶斯方法,这里我们主要介绍前面两种方法。,二、寻求估计量的方法1.矩估计法2.最大似然法3.最小,矩法是基于一种简单的“,替换,”思想建立起来的一种估计方法。,是英国统计学家,K,.,皮尔逊,最早提出的。,依据：,(1),样本矩,(2),样本矩的连续函数依概率收敛于相应的总体矩的连续函数。,依概率收敛于相应,的总体矩,1.,矩估计法（简称“矩法”）,矩法是基于一种简单的“替换”思想建立起来的一种估计方法。,矩估计法的具体做法如下,(2),从这,k,个方程中解出,j,=1,2,k,那么用诸 的估计量,A,i,分别代替上式中的诸,即可得诸 的,矩估计量,：,j,=1,2,k,(1),写出总体的前,k,阶矩,1,2,k,一般是这,k,个未知参数的函数,记为：,i,=1,2,k,设总体的分布函数中含有,k,个未知参数,1,2,k,。,(3),矩估计法的具体做法如下(2)从这 k 个方程中解出j=1,即,以,A,i,分别代替上式的,可得,的,矩估计量,矩估计量的观察值称为,矩估计值,。,即 以Ai分别代替上式的可得的矩估计量矩估计量的观察值称为,例,7.1,设总体,X,在,a,b,上服从均匀分布,a,b,未知,。,是来自,X,的样本,试求,a,b,的矩估计量。,解：,例7.1 设总体 X 在 a,即,可得,a,b,的矩估计量为,样本矩,总体矩,以,A,i,分别代替上式的,即 可得 a,b 的矩估计量为 样本矩总体矩以Ai分别代,解：,例,7.2,设总体,X,的均值 和方差 都存在,未知。是来自,X,的样本,试求 的矩估计量。,解得,于是 的矩估计量为,解：例7.2 设总体 X 的均值,解,:,由矩法,可得,的据估计量,例,7.3,设总体,X,的概率密度为,是未知参数,其中,X,1,X,2,X,n,是取自,X,的样本,求参数,的矩估计。,解得,解:由矩法,可得的据估计量 例7.3 设总体X的概率,矩法的优点,是简单易行,并不需要事先知道总体是什么分布。,缺点,是，当总体类型已知时，没有充分利用分布提供的信息。一般场合下,矩估计量不具有唯一性。,其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性。,矩法的优点是简单易行,并不需要事先知道总体是什么分布。,它是在总体类型已知条件下使用的一种参数估计方法。,它首先是由德国数学家,高斯,在,1821,年提出的。,Gauss,Fisher,然而,这个方法常归功于英国统计学家,费歇,。,费歇,在,1922,年重新发现了这一方法，并首先研究了这种方法的一些性质。,2.,最大似然法,它是在总体类型已知条件下使用的一种参数估计方法。它首先是由,最大似然法的基本思想,先看一个简单例子：,是谁打中的呢？,某位同学与一位猎人一起外出打猎。一只野兔从前方窜过。,如果要你推测，,你会如何想呢,?,只听一声枪响，野兔应声倒下。,最大似然法的基本思想先看一个简单例子：是谁打中的呢？某位同学,你就会想，只发一枪便打中，猎人命中的概率一般大于这位同学命中的概率。看来这一枪是猎人射中的。,这个例子所作的推断已经体现了最大似然法的基本思想：,一次试验就出现的事件有较大的概率。,你就会想，只发一枪便打中，猎人命中的概率一般大于这位同学命中,例,7.4,设总体,X,服从,0-1,分布,且,P,X=,1=,p,用最大似然法求,p,的估计值。,解：,总体,X,的分布律为,设,x,1,x,2,x,n,为总体样本,X,1,X,2,X,n,的样本值,则,7-18,例7.4 设总体 X 服从0-1分布,且P X,对于不同的,p,L,(,p,),不同,见右下图,现经过一次试验,事件,发生了，,则,p,的取值应使这个事件发生的概率最大。,对于不同的 p,L(p)不同,见右下图现经过一次试验,在容许范围内选择,p,，使,L,(,p,),最大,注意到，,ln,L,(,p,),是,L,的单调增函数,故若,某个,p,使,ln,L,(,p,),最大,则这个,p,必使,L,(,p,),最大,。,所以,为,所求,p,的估计值。,在容许范围内选择 p，使L(p)最大 注意到，,一般,设,X,为,离散型随机变量,，其分布律为,则,X,1,X,2,X,n,取到,x,1,x,2,x,n,的概率为,7-21,即,似然函数与最大似然估计,P,X,1,=,x,1,X,2,=,x,2,X,n,=,x,n,=,p,(,x,1,;,q),p,(,x,2,;,q),p,(,x,n,;,q),记为,L,(,x,1,x,2,x,n,;q),或,L,(q),称为样本的,似然函数。,一般,设 X 为离散型随机变量，其分布律为则 X1,X2,若,X,连续,且,X,f,(,x,;,),则似然函数为,注,1,未知参数可以不止一个,如,1,k,设,X,f,(,x,;,1,2,k,),则定义似然函数为,若 X 连续,且 Xf(x;),则似然函数为注1,定义,在一组样本值,x,1,x,2,x,n,给定的条件下,使得,则称,为,的,最大似然估计值,。,而相应,的,统计量,称为,的,最大似然估计量,。,若有,定义 在一组样本值x1,x2,xn给定的条件下,几点说明：,1.,求似然函数,L,(,),的最大值点,可以应用微积分中的技巧。,由于,ln(,x,)是,x,的增函数,，,ln,L,(,),与,L,(,)在,的同一值处达到它的最大值，假定,是一实数，且,ln,L,(,),是,的一个可微函数。通过求解方程：,可以得到,的最大值。,几点说明：1.求似然函数L()的最大值点,可以应用,2.,用上述求导方法求参数的最大值有时行不通，这时要用最大似然原则来求。,3.,若概率函数中含有多个未知参数,则可解方程组,2.用上述求导方法求参数的最大值有时行不通，这时要用最大,求最大似然估计的步骤,(1),做似然函数,(2),做对数似然函数,设,或,试求,的最大似然估计。,求最大似然估计的步骤(1)做似然函数(2)做对数似然函数,(3),列出似然方程,若该方程有解，则其解,就是,的最大似然估计值。而相应的,统计量,是,的最大似然估计量。,(3)列出似然方程 若该方程有解，则其解就是,例,7.5,设总体,X,b,(1,p,),，,X,1,X,n,是来自,X,的一个样本,，试求参数,p,的最大似然估计量。,解：,设,x,1,.,x,n,是对应于样本,X,1,X,n,的一个样本值。则总体,X,的分布律为,故似然函数为,例7.5 设总体Xb(1,p)，X1,Xn是,解似然方程,对似然函数求对数,可得,p,的最大似然估计值为,p,的最大似然估计量为,解似然方程对似然函数求对数可得p的最大似然估计值为p的最大似,例,7.6,设,X,1,X,n,为取自,总体,的样本，,求参数,的最大似然估计,。,解：,设,x,1,.,x,n,是对应于样本,X,1,X,n,的一个样本值,.,则总体的概率密度函数为,似然函数为,：,例7.6 设X1,Xn为取自,对似然函数求对数,解似然方程,对似然函数求对数解似然方程,可得,所以,的最大似然估计量为,可得所以的最大似然估计量为,作业,P173,：,2,、,3,作业,