点估计的优良性

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,点估计的优良性,林春艳,山东财经大学统计学院,点估计的优良性,对于未知参数 ，我们前面讲了两种估计方法：矩估计和极大似然估计。一般来讲，用这两种估计方法得到的估计量是不一样的，那么这里就有一个优劣问题。判断一个估计量的优劣一般有三种标准：,一、无偏性,二、有效性,三、相合性（一致性）,一、无偏性,定义,3.1,设 为参数 的一个估计量，,若 ，则称 为 的一个无偏估计量，否则称 是有偏的。,如果 ，则称 为 的渐进无偏估计。,无偏性是对估计量的最基本要求。其含义为当一个无偏估计量被多次使用时，其估计值在未知参数附近波动，且这些估计值的理论平均值等于该未知参数。,由第二个例题可以看出，一个参数的无偏估计可能不惟一，此时用无偏性来评价这些估计量已经失效，需要引入其他评价标准。,二、有效性与有效估计量,无偏性只是估计量的一个评价标准，当无偏估计不惟一时，我们应当考虑另外的评价标准，有效性就是其中一个。,定义,3.2,设总体 服从某种分布 ， 为未知参数，,是来自总体 的样本，若,与 都是 的无偏估计，且对一切 ，都有 ，则称 比 有效。也就是说，在 的无偏估计中，方差越小越有效。,一个参数的无偏估计的方差可不可以任意少，或者说是否有一个下界？为了回答该问题，我们需要对总体的分布做一些假设。,正则性条件：设总体 的概率密度函数为 ，其中参数 未知， 关于 可导，且 的取值与 的非零区域无关，即 与 无关。 是来自总体 的样本。为了将问题一般化，我们考虑 的函数 的无偏估计量,的方差，其中 关于 可导。,T,必须满足,特别地，若取 ，则上式为,其中 称为参数 的信息量。,定义,3.3,如果 的无偏估计 达到了罗,-,克拉美不等式的下界，即,则称,T,为 的有效估计量。,其实，罗,-,克拉美不等式所规定的下界不是整个无偏估计的下界，而是无偏估计类中的一个子集,-,正规无偏估计类的方差下限。,定义,3.4,设,T,为 的一个无偏估计量，称,为,T,的有效率。,为了下面计算的方便，我们给出信息量 的另一种表示法。,性质,本节前面的推导以及例题均假设总体,X,为连续随即变量，其实，罗,-,克拉美不等式以及有效估计量的定义对离散型的总体也是成立的。,定理,3.3,设总体 的概率函数或概率密度函数,关于 可导，其中 为未知参数，且,与 无关， 是来自总体 的样本。如果,其中 与 只与 有关。则,为 的无偏有效估计量。,三、相合估计（一致估计）,我们不仅希望一个估计量是无偏的，且具有较小的方差，还希望当样本容量,n,无限大时，估计量能在某种意义下收敛于被估计的参数值，这就是所谓的相合性（或一致性）的要求。,定义,3.5,设 是未知参数 的估计序列，如果 依概率收敛于 ，即对任意 ，有,则称 是 的相合估计或一致估计。,相合性是对估计量的一个基本要求。一个相合估计量意味着，只要样本容量,n,足够大，就可以保证估计误差达到任意给定的精度。如果一个估计量不是相合估计，则它就不是一个好的估计量，在应用中往往不予考虑。,定理,3.4,设 是 的一个无偏估计，若,且,则 是 的相合估计。,四、充分统计量,统计推断都是从样本出发，在具体的推断过程中，都是通过统计量 ，来进行的。通俗地讲，统计量 是对样本 的一个“加工”或压缩（其维数由,n,降为,k,），其目的是为了“去粗取精”，使之形式更加简单，使用更加方便。,例如，样本均值与样本方差 ，,， ；这是经常用到的统计量，是一个,2,维向量，而通常样本容量,n,要大得多。自然要问，通过压缩或降维以后的统计量 来推断总体与通过原有样本,X,来推断总体，其效果是否一样？即是否会损失有用的信息？如果效果一样，信息未受到任何损失，则该统计量就称为充分统计量。充分统计量是,Fisher,于,1922,年提出来的，这是统计学中非常重要的概念，因为它不损失信息地把,n,维样本简化成,k,维统计量（通常,k,比,n,小很多），在此基础上进行统计推断要简单方便得多。,定义,3.6,设总体,X,具有分布函数 ，,是来自总体,X,的样本， 为一个统计量。,当给定,T=t,时，若样本 的条件分布与参数 无关，则称,T,为 的充分统计量。,定义中样本 的分布与 无关，意味着在给定,T=t,时，样本的剩余部分不再包含 的信息。也就是说在,T,中包含 的全部信息。这正是充分统计量的含义。,定理,3.5 Neyman-Fisher(,因子分解定理,),设总体,X,的概率函数或概率密度函数为 ，其中参数,未知。一个统计量 为 的充分统计量的充要条件为样本 的联合概率函数或联合概率密度函数 可以分解为,其中 是仅依赖于 而与 无关的非负函数， 是 与 的非负函数。,定理,3.6,设 是 的一个充分统计量，若 是单值可逆函数，则 也是 的充分统计量。,