抽样调查-调查中的非抽样误差培训课件(-)

第十一章 调查中的非抽样误差11.1 引言 非抽样误差是指除抽样误差以外的,由于各种原因引起的误差。在概率抽样、非概率抽样、其他全面调查和非全面调查已及普查中，非抽样误差都有可能存在。同抽样误差相比，非抽样误差有如下特点：同抽样误差相比，非抽样误差有如下特点：1、非抽样误差不是由于抽样的随机性带来的，所以在抽样调查中，它不可能随着样本量的增大而减小；2、在抽样调查中，由于非抽样误差的影响，往往造成估计量的有偏；3、有些非抽样误差难以识别和测定。如抽样框是不完善的，而调查设计人员并没有意识到；4、有些非抽样误差成因复杂，对其研究不够，因此，在很多时候非抽样误差比抽样误差造成的影响更严重，对此必须引起高度重视。根据非抽样误差的来源、性质可分为以下三类：（1）抽样框误差，即由不完善的抽样框引起的 误差；（2）无回答误差，即由于种种原因没有从被调 查单元获得调查结果，造成调查数据的缺失；（3）计量误差，即所获得的调查数据与其真值之间不一致造成的误差。一、概念抽样调查中的总体有两个：目标总体调查研究对象的全体。抽样总体从中抽取样本的总体。（即抽样框）理想抽样框的标志是目标总体和抽样总体完全重合。否则抽样框就是不完善的。11.2 抽样框误差二、抽样框误差的类型及影响（1）抽样框误差的类型 丢失目标总体单元。包含非目标总体单元。抽样框中的单元与目标总体单元不一一对 应。（存在一对多或多对一的情况）不正确的辅助信息。（如分层抽样、不等 概抽样、比率估计和回归估计等所需的辅助 信息）（2）对抽样框误差的基本认识 有些误差来自构成抽样框资料本身，而不 是由于抽样设计的问题。抽样框存在的问题，有些是不容易解决的。因此抽样框的维护、抽样框使用情况的不断总结与研讨，对于经常性的调查项目来说是十分必要的。抽样框的不完善并不是不能使用。可以进行修补、调整。（3）抽样框误差的影响 设目标总体单元：N 抽样框中单元：N1 抽样框中丢失的单元：N0 N=N1+N0 总体总量的估计 总体总量的真值是：现从抽样框中的N1个单元中采用简单随机抽样抽出容量为n的一个样本，由于n取自于N1对总体总量的估计为：显然此时的估计是有偏的，偏倚为：这表明估计量低估了总体总量，令Y的相对偏倚可以写为 由上式可知，总体总和的相对偏倚取决于 和 总体均值的估计在抽样框存在丢失单元情况下，均值估计量为：此时估计量的偏倚为：的相对偏倚可以写为：由上式可以看出，如果丢失单元的均值与抽样单元的均值相同，即 ，则估计量 是目标变量 的无偏估计。反之，如果 ，偏倚状况则随着 的变化而变化。三、不完善抽样框的使用 抽样框不完善并不是不能使用，因为构造一个完善的抽样框有时是非常困难的。使用不完善抽样框时若能采用一些补救措施，有助于减小抽样框误差。主要采用以下三项补救措施：利用核查，掌握误差情况，对不完善抽样框 进行调整；事先制定一些规则，对发现的抽样框问题进 行现场处理；使用多个抽样框进行抽样。11.3 无回答误差一、概念 无回答误差是指在调查中由于各种原因，调查人员没能够从入选样本的单元处获得所需要的信息，由于数据缺失造成估计量的偏差。无回答误差是一种重要的非抽样误差，这种现象十分普遍，对估计量的危害也比较大，所以国际上对这方面的讨论一直比较热烈，目前这种讨论还在继续。从无回答的内容来看可分为：单元无回答 （被调查单元没有参入或拒绝受调查，他们交的是一份白卷）项目无回答 （被调查单元虽然接受了调查，但对其中的一些项目没有回答）从无回答的性质来看可分为：有意无回答 （有意无回答常常与调查内容有关，如对调查内容反感，或涉及个人隐私不愿意回答）无意无回答 （无意无回答常常与调查内容无关，之所以无回答是因为被调查者生病或很忙，无法接受调查）有意无回答对数据质量的影响很大，回答者和不回答者之间往往存在系统性差异。这种不回答不仅减少了有效样本量，造成估计量方差增大，而且会带来估计偏倚。无意无回答可以看成是随机的，这种不回答虽然会造成估计量方差增大，但通常认为不会带来估计偏倚。二、无回答产生的原因及影响 如果把采集数据的过程划分为查找、接触和采访三个阶段，三个阶段都有可能出现无回答。1、查找阶段 调查人员无法找到被调查者，主要原因有地址不详、被调查者搬迁、调查人员不熟悉地址；2、接触阶段 被调查生病、对调查不感兴趣或别的原因拒访；3、采访阶段 调查开始后被调查者对某些问题不愿提供答案、调查员由于粗心遗漏某些项目等无回答的影响：回答层（N1）总体（N）无回答层（N0）则总体均值为：回答层样本(n1 )总体样本（n）无回答层样本(n0)根据回答层单元计算出的样本均值为用 作为总体真值 得估计量，其偏倚为：偏倚相对偏倚 由上式可以看出：无回答偏倚主要来自两个方面：一个是回答层与无回答层之间的数量差异 ；一个是无回答率 。三、降低无回答的措施主要措施是预防，预防措施有：问卷设计得具有吸引力；注意适当的长度；充分利用调查组织单位的权威性和影响力；注意调查员的挑选；做好调查员的培训；注意调查过程的监控；奖励措施；再次调查。四、对存在无回答数据的调整 调查中无回答的情况总是难以避免，由于无回答造成数据不全，如果不加处理，就有可能造成估计量偏倚。下面介绍几种数据调整的方法：1、再抽样调整 在第一次无回答的单元中随机抽取一个子样本，通过更细致、更充分的工作，获得该子样本的数据，作为整个无回答层的代表值。2、加权调整 对存在无回答数据进行补救的另一种方法是采用加权调整。加权调整法是通过对调查中所获得的回答数据使用加权因子，达到对数据的调整，减小由于无回答造成的估计偏倚。3、相关推估法 相关推估法主要用于调查中的项目无回答，即调查单元不是完全拒绝调查，而是拒绝其中某些项目的调查。这时可以利用回答项目的信息对无回答数据进行推估。4、插补调整 在数据整理阶段，利用调查结果，采用一定的方式，为无回答的缺失值确定一个合理的估计值，插补到原缺失数据的位置上。实际使用时，用得较多的是均值插补，其方法是：首先根据辅助信息将样本分为若干组，是组内各单元的主要特征相似。然后分别计算各组目标变量Y的均值，将各组均值作为组内所有缺失项的替补值11.4 计量误差 计量误差是指由于种种原因，调查中所获得的数据与真值不一致。计量误差主要成因来自于以下几个方面：设计误差（设计方面原因造成计量误差）被调查者误差（被调查者提供的数据失真）调查者误差（现场调查人员造成的误差）其他误差（由于测量工具、编码、录入）减少计量误差的措施 减少计量误差需要对调查全过程进行质量监控：（1）调查设计方面 调查问卷设计出来后，应组织有关人员对问卷进行讨论。如果是大型调查活动，还要在正式调查之前进行预调查，在实践中对问卷进行检验。（2）现场准备方面 在收集数据之前，需要做好准备工作：招聘调查员；培训访问员；编写调查手册。（3）调查结果审核方面 审核是对调查质量进行控制的一道重要的工序，也是减少计量误差的有效方法。审核的目的是要保证调查所得数据的完整性、一致性和有效性。审核可以在调查过程中的任何阶段进行：收据数据时进行审核 （调查员在调查进行过程中根据常识和经验，可以判断出一些问题的答案是否属于“可接受”范围）数据收集完毕后的审核 （审核的重点是数据的一致性审核和离群值的检测）11.5 离群值的检测和处理一、离群值的概念 离群值是指调查数据集中的极端值，是指与其他数据明显不一致的观测值。离群值 的出现可能有以下两个原因：由于数据本身具有的差异性。看起来值得怀疑的东西也许是真实的；由于被调查者回答数据有错误或调查人员记录数据有错误。二、离群值的确认 通常离群值的检测是通过测量它们与数据中心的相对距离来辨认的。例如，若 是要观测的样本数据，m 和 s 分别是侧度数据集中趋势和离散趋势的指标，那么，离数据中心的相对距离可以定义为 如果 越过了预先确定的偏离值，那么该观测值就被认为是离群的。另外，离群值也可以通过下面的置信区间进行确认：式中 和 分别为根据预先确定的置信度得到的标准正态分布的上限和下限值。落在这个区间之外的观测值被认为是离群值。三、离群值的处理 如果在调查进行中发现离群值，就要及时处理，例如进行回访核实，对错误进行更正。如果在调查完毕后的审核中发现离群值，通常对离群值采用插补处理，即将离群值剔除，然后使用插补法调整。如果在审核时没有进行处理的离群值可以在估计的时候处理。估计时有以下三种方法处理离群值：改变数值 这种方法首先要将样本数据按从大到小依次排序，然后再按下面的步骤计算：在简单随机抽样中，总体总量 Y 的无偏估计公式为：式中，i表示样本中第i个单元，s为所有样本的集合.若样本数据中第k个最大值kth被认为是离群值，单侧k次缩尾估计量就可以通过第n-k个最大值yn-k代替这些离群值，即调整权重 处理离群值的另一种方法是降低离群值的权重，从而使它们的影响变小。例如，赋予离群值的权重为1，即离群值仅仅代表它自己而不代表其他总体单元。选取稳健估计量 在经典的估计理论中，通常假定估计量服从正态分布，样本均值和样本方差估计量在正态分布的假设下也是最理想的。但是，这些估计量对离群值非常敏感。稳健估计量则能克服这种局限性，例如中位数比均值更稳定，四分位数比通常的方差估计量更稳定。（第十一章结束）（第14讲）考场作文开拓文路能力分解层次(网友来稿)江苏省镇江中学 陈乃香说明：本系列稿共24讲，20XX年1月6日开始在资源上连载【要义解说】文章主旨确立以后，就应该恰当地分解层次，使几个层次构成一个有机的整体，形成一篇完整的文章。如何分解层次主要取决于表现主旨的需要。【策略解读】一般说来，记人叙事的文章常按时间顺序分解层次，写景状物的文章常按时间顺序、空间顺序分解层次；说明文根据说明对象的特点，可按时间顺序、空间顺序或逻辑顺序分解层次；议论文主要根据“提出问题分析问题解决问题”顺序来分解层次。当然，分解层次不是一层不变的固定模式，而应该富于变化。文章的层次，也常常有些外在的形式：1小标题式。即围绕话题把一篇文章划分为几个相对独立的部分，再给它们加上一个简洁、恰当的小标题。如世界改变了模样四个小标题：寿命变“长”了、世界变“小”了、劳动变“轻”了、文明变“绿”了。2序号式。序号式作文与小标题作文有相同的特点。序号可以是“一、二、三”，可以是“A、B、C”，也可以是“甲、乙、丙”从全文看，序号式干净、明快；但从题目上看，却看不出文章内容，只是标明了层次与部分。有时序号式作文，也适用于叙述性文章，为故事情节的展开，提供了明晰的层次。3总分式。如高考佳作人生也是一张答卷。开头：“人生就是一张答卷。它上面有选择题、填空题、判断题和问答题，但它又不同于一般的答卷。一般的答卷用手来书写，人生的答卷却要用行动来书写。”主体部分每段首句分别为：选择题是对人生进行正确的取舍，填空题是充实自己的人生，判断题是表明自己的人生态度，问答题是考验自己解决问题的能力。这份“试卷”设计得合理而且实在，每个人的人生都是不同的，这就意味着这份人生试卷的“答案是丰富多彩的”。分解层次，应追求作文美学的三个价值取向：一要匀称美。什么材料在前，什么材料在后，要合理安排；什么材料详写，什么材料略写，要通盘考虑。自然段是构成文章的基本单位，恰当划分自然段，自然就成为分解层次的基本要求。该分段处就分段，不要老是开头、正文、结尾“三段式”，这种老套的层次显得呆板。二要波澜美。文章内容应该有张有弛，有起有伏，如波如澜。只有这样才能使文章起伏错落，一波三折，吸引读者。三要圆合美。文章的开头与结尾要遥相照应，把开头描写的事物或提出的问题，在结尾处用各种方式加以深化或回答，给人首尾圆合的感觉。【例文解剖】话题：忙忙，不亦乐乎 忙，是人生中一个个步骤，每个人所忙的事务不同，但是不能是碌碌无为地白忙，要忙就忙得精彩，忙得不亦乐乎。忙是问号。忙看似简单，但其中却大有学问。忙是人生中不可缺少的一部分，但是怎么才能忙出精彩，忙得不亦乐乎，却并不简单。人生如同一张地图，我们一直在自己的地图上行走，时不时我们眼前就出现一个十字路口，我们该向哪儿，面对那纵轴横轴相交的十字路口，我们该怎样选择?不急，静下心来分析一下，选择适合自己的坐标轴才是最重要的。忙就是如此，选择自己该忙的才能忙得有意义。忙是问号，这个问号一直提醒我们要忙得有意义，忙得不亦乐乎。忙是省略号。四季在有规律地进行着冷暖交替，大自然就一直按照这样的规律不停地忙，人们亦如此。为自己找一个目标，为目标而不停地忙，让这种忙一直忙下去。当目标已达成，那么再找一个目标，继续这样忙，就像省略号一样，毫无休止地忙下去，翻开历史的长卷，我们看到牛顿在忙着他的实验；爱迪生在忙着思考；徐霞客在忙着记载游玩；李时珍在忙着编写本草纲目。再看那位以笔为刀枪的充满着朝气与力量的文学泰斗鲁迅，他正忙着用他独有的刀和枪在不停地奋斗。忙是省略号，确定了一个目标那么就一直忙下去吧!这样的忙一定会忙出生命灵动的色彩。忙是惊叹号。世界上的人都在忙着自己的事，大自然亦如此，小蜜蜂在忙，以蜂蜜为回报。那么人呢?居里夫人的忙，以放射性元素的发现而得到了圆满的休止符；爱因斯坦在忙，以相对论的问世而画上了惊叹号；李白的忙，以那豪放的诗歌而有了很大的成功；张衡的忙，因为那地动仪的问世而让世人仰慕。每个人都应该有效率的忙，而不是整天碌碌无为地白忙。人生是有限的、短暂的，因此，每个人都应该在有限的生命里忙出属于他的惊叹号；都应在有限的生命里忙出他的人生精彩篇章。忙是万物、世界、人生中都不可缺少的一部分。作为这世上最高级动物的我们，我们在忙什么呢?我们要忙得有意义，有价值，我们要忙出属于我们的精彩。我们的忙不能永远是问号，而应是省略号和感叹号。忙就要忙得精彩，忙得不亦乐乎。解剖：本文将生活中的一句口头禅“忙得不亦乐乎”机智翻新，拟作标题，亮出一道美丽的风景。并据此展开述说，让人神清气爽。文章开篇扣题，亮出观点：忙，是人生中一个个步骤，不能碌碌无为地白忙，要忙就忙得精彩，忙得不亦乐乎。然后，作者分别用问号、省略号、惊叹号巧妙设喻，抓住这三种标点符号的特征，摆实事，讲道理，入情入理，入理入心。深刻地阐明人生忙，忙要像问号一样，经常问问自己，不能盲目，不能瞎忙，要忙得有意义；人生如四季一样是有规律的，要选准目标，像省略号一样，毫无休止地忙下去，忙出生命灵动的色彩；而人生有限，每个人都应有限的生命里忙出属于他的惊叹号，忙出人生精彩的篇章。结尾，作者用一个段落总结全文，照应开头，照应题目，有力收束。【精题解析】阅读下面的材料，根据要求作文。在一处地势十分险恶的峡谷，谷底奔腾着咆哮的急流，峡谷间有一座索桥，几根光秃秃、晃悠悠的铁索横在峡谷间，它是通过这个地方的唯一路径，这里经常有人因为失足而跌入深谷。有一天，有三个人来到了这里。一个聋子，一个瞎子，还有一个健康的人。聋子看看这座桥，很害怕，但是他听不到急流的声音，他用眼睛看着脚下步伐，很顺利地过去了。瞎子不知峡谷的险恶，他心平气和，十分稳妥地通过了。第三个人是健康人，一直犹豫不敢走这索桥，可是又没有其他路可走。于是，他十分紧张地硬着头皮走上索桥，到了桥中央，他看到脚下万丈深渊，云雾升腾，听到谷底急流咆哮，早已两腿颤颤，面如土色，一不小心跌下桥去。请就“不要把困难看得太明白”为话题写一篇文章。注意所写内容必须在话题范围之内。试题引用的材料，考生在文章中可用也可不用。立意自定。文体自选。题目自拟。不少于800字。不得抄袭。解析：有时候，把困难看得太明白，分析得太透彻，反而会被困难吓倒以至于阻拦我们前进的脚步。倒是那些未把困难完全看清楚而勇往直前的人，更容易达到终点。作者邮箱：13952865227谢谢观赏谢谢观赏