概率统计经典讲义.ppt

,第七章 参 数 估 计,理工大学理学院数理系计算数学教研室田作威,总体是由总体分布来刻画的.,总体分布类型的判断在实际问题中,我们根据问题本身的专业知识或以往的经验或适当的统计方法,有时可以判断总体分布的类型.,总体分布未知参数的估计总体分布的参数往往是未知的,需通过样本来估计.通过样本来估计总体的参数,称为参数估计,它是统计推断的一种重要形式.,现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值 的估计. 而全部信息就由这5个数组成 .,（假定身高服从正态分布 ）,设这5个数是:,1.65 1.67 1.68 1.78 1.69,估计 为1.68，,这是点估计.,这是区间估计.,假如我们要估计某队男生的平均身高.,1 点 估 计,设总体X的分布函数的形式为已知，但它的一个或多个参数是未知的，借助于总体X的一个样本来估计总体未知参数值的问题称为参数的点估计问题。,一、基本概念,例1 已知某地区新生婴儿的体重X,随机抽查100个婴儿,得100个体重数据,9, 7, 6, 6.5, 5, 5.2, ,而全部信息就由这100个数组成.,点估计问题的一般提法,设总体X的分布函数F(x; )的形式为已知，是待估参数. X1, X2, ,Xn是X的一个样本，x1, x2, ,xn是相应的一个样本值.,点估计问题就是要构造一个适当的统计量 (称为的估计量)，并用它的观察值 （称为的估计值）作为未知参数的近似值.,寻求估计量的方法,1. 矩估计法,2. 极大似然法,3. 最小二乘法,4. 贝叶斯方法,这里我们主要介绍前面两种方法 .,其基本思想是用样本矩估计总体矩,其理论依据是大数定律.,矩估计法是基于一种简单的“替换”思想建立起来的一种估计方法 . 是由英国统计学家K.皮尔逊最早提出的 .,二、矩估计法,总体k阶矩:,样本k阶矩:,总体k阶中心矩:,样本k阶中心矩:,步骤一,设总体X的分布函数中含有k个未知参数,一般地, m (m=1,2, ,k)是总体分布中的参数1,2,k的函数，即：,m= m (1,2,k) (m=1,2, ,k),计算总体X的m阶原点矩 m=E(Xm), m=1,2, ,k,令 m (1,2,k) = Am (m=1,2, ,k)， 并解该方程组，得到：,步骤二,它们分别作为1,2 ,k的估计量，这种估计量称为矩估计量，矩估计量的观察值称为矩估计值., X1,X2 , ,Xn是独立同分布的， X1m,X2m, ,Xnm也是独立同分布的.,原理解释,于是: E(Xim)=E(Xm)= m (i=1,2,n),根据大数定律,样本原点矩Am作为 X1m,X2m, ,Xnm的算术平均值依概率收敛到均值m=E(Xm)，即:,解:,令：,，从中解得,此即为 的矩估计量.,解: 由密度函数知,是均值为 的指数分布,故,E(X- )=,D(X- )=,于是,E(X2)=,解得:,令：,即：,解：,解方程组:,例4 求某个总体X均值,方差2的矩估计量.,即:,于是得和2的矩估计量:,矩估计法的优点是简单易行,并不需要事先知道总体是什么分布 .,矩估计法的缺点是，当总体类型已知时，没有充分利用总体分布提供的信息 .,稍事休息,最大似然估计法是在总体类型已知条件下使用的一种参数估计方法 .,它首先由德国数学家高斯在1821年提出的 ,Gauss,Fisher,但该方法常归功于英国统计学家费歇 .,费歇在1922年重新发现了这一方法，并首先研究了该方法的一些性质 .,二、最大似然估计法,设x1,x2,xn是样本X1,X2,Xn的观察值，称：,设X1,X2,Xn是取自总体X的一个样本，样本的联合概率密度函数(连续型）或联合分布律 (离散型)为 f (x1,x2,xn; ) .,为样本X1,X2,Xn的似然函数.,注意： x1,x2,xn为样本X1,X2,Xn的观察值，它们都是常数.,似然函数：,看作参数 的函数，它可作为 将以多 大可能产生样本值x1,x2,xn的一种度量 .,最大似然估计法就是用使 达到最大值的 去估计 ，即求 ，使得：,一般而言，求得的 是x1,x2,xn的函数， 即：,通常称 为参数 的最大似然估计量，称 为参数 的最大似然估计值.,(4) 在最大值点的表达式中, 用样本代入就得到参数的最大似然估计量 .,求最大似然估计的一般步骤：,(1) 由总体分布导出样本的联合分布律 (或联合概率密度);,(2) 把样本的联合分布律(或联合概率密度) 中自变量看成已知常数,而把参数 看作 自变量,得到似然函数L( );,(3) 求似然函数L( ) 的最大值点(常常转化为求ln L( )的最大值点);,L(p)= f (x1,x2,xn; p ),例5 设X1,X2,Xn是取自总体 Xb(1, p) 的一个样本，求参数p的最大似然估计.,解：似然函数为:,对数似然函数为：,令,解得,于是p 的最大似然估计量为:,p 的最大似然估计值为:,求正态总体N(,2)两个未知参数和2的最大似然估计.(注:我们把2看作一个参数),解:,例6,解得:,由此，得最大似然估计量为：,求总体X U(a,b)的两个参数a,b的最大似然估计.,解:,例7,我们由上看到,L(a,b)作为a和b的二元函数是不连续的.所以我们不能用似然方程组来求最大似然估计,而必须从最大似然估计的定义出发,求L(a,b)的最大值.,为使L(a,b)达到最大，ba应该尽量地小.但b又不能小于maxx1,x2 , ,xn ,否则, L(a,b)=0.类似地a不能大过minx1,x2,xn.,因此,a和b的最大似然估计量为,