统计学第二章数据的搜集.ppt

第 2 章 数据搜集,2.1 数据来源 2.2 调查数据 2.3 实验数据 2.4 数据误差,学习目标,了解数据的来源 理解数据的调查方法 掌握调查方案的结构和设计 掌握调查问卷设计 了解实验数据 了解数据的误差,2.1 数据来源,2.1.1 数据的间接来源 2.1.2 数据的直接来源,二手数据的来源 二手数据的特点 二手数据的评估,2.1.1 数据的间接来源,二手数据的来源,统计部门和政府部门公布的有关资料，如各类统计年鉴 各类经济信息中心、信息咨询机构、专业调查机构等提供的数据 各类专业期刊、报纸、书籍所提供的资料 各种会议，如博览会、展销会、交易会及专业性、学术性研讨会上交流的有关资料 从互联网或图书馆查阅到的相关资料,二手数据的特点,收集容易，采集成本低 作用广泛 分析所要研究的问题 提供研究问题的背景 帮助研究者更好地定义问题 检验和回答某些疑问和假设 寻找研究问题的思路和途径 收集二手资料在研究中应优先考虑,二手数据的评估,数据是谁收集的？ 可信度评估 为什么目的而收集的？ 数据是怎样收集的？ 什么时候收集的？,使用二手数据需要注意的问题,应注意数据的含义、计算口径和计算方法，避免误用或滥用； 注意二手数据的时间性，不能用过时的数据； 应充分搞清这些数据的来源和可靠程度； 应注明数据的出处，以尊重他人的劳动成果。,2.1.2数据的直接来源(原始数据),调查数据 通过调查方法获得的数据 通常是对社会现象而言 通常取自有限总体 实验数据 通过实验方法得到的数据 通常是对自然现象而言 也被广泛运用到社会科学中 如心理学、教育学、社会学、经济学、管理学等,2.2.1统计调查的方式2.2.2抽样调查的常用方法2.2.3搜集数据的基本方法2.2.4调查方案的设计,2.2 调查数据,2.2.1 统计调查方式,统计调查方式,普查是为某一特定目的而专门组织的一次性全面调查。 特点： 普查通常是一次性的或周期性的。例如国务院规定每10年进行一次人口普查。 普查一般需要规定统一的标准时点。例如，第5次人口普查的标准时间为2000年11月1日0时。 普查数据的准确性、标准化程度均较高 ; 普查的调查项目较少，适用范围较狭窄，调查资料缺乏深度。,普查(census),抽样调查(sampling survey),1.从总体中随机抽取一部分单位作为样本进行调查，并根据样本调查结果来推断总体特征的数据收集方法,2. 具有经济性、时 效性强、适应面广、准确性高等特点,一次失败的抽样调查！,统计报表(statistical report forms),1、统计报表是依照国家有关法规的规定，自上而下地统一布置、自下而上地逐级提供基本统计数据的一种调查方式。 2、统计报表要以一定的原始记录为基础，按照统一的表格形式、统一的指标项目、统一的报送时间和报送程序进行填报。 按填报范围不同可分为全面报表和非全面报表 按报送周期不同可分为日报、月报、季报、年报等。 按填报内容和实施范围不同可分为国家、部门和地方统计报表,2.2.2抽样调查的常用方法,概率抽样,（1）简单随机抽样（simple random sampling）。从有限总体抽取样本时，如果总体中每一个体都有同等机会被选入样本，这种抽样称为简单随机抽样，得到的样本称为随机样本（random sample）。,实践中，得到随机样本并不容易。即使选择对象的确是随机的，最理想的情况所得到的样本也只代表那些愿意回答问题人的观点所组成的总体；没有回答问题的人的观点永远不会被这种调查的样本所代表。 比如在肺癌研究中，人们往往看到吸烟和肺癌的关系的数据；这些数据并不是整个人群中采集的随机样本，它们可能只是医院中的病人记录中得到的。 在报纸和网上也有问卷，但得到的只是上了网和有这份报刊，而且愿意回答的人的观点。,抽样框是有关总体全部单位的名录。,特点 简单、直观，在抽样框完整时，可直接从中抽取样本 用样本统计量对目标量进行估计比较方便 局限性 当N很大时，不易构造抽样框 抽出的单位很分散，给实施调查增加了困难 没有利用其他辅助信息以提高估计的效率 所以规模较大的调查中，很少直接采用简单随机抽样，一般把这种方法与其他方法结合起来使用。,（2）分层（分类）随机抽样（stratified sampling）。先根据某一特征把总体分为若干类（层，stratum），再从各类中按简单随机抽样原则进行抽样。 比如按照教育程度把要访问的人群分成几类，再在每一类中按其所占比例进行抽样。,男生,女生,样本,层内个体之间的差异越小，而不同层之间的差异越大时，分层抽样的效果好。,（3）整群随机抽样（cluster sampling）。先把总体分为若干群（cluster），再以群为单位进行随机抽样，对抽出来的群进行普查。 比如在某县进行调查，首先在所有村中选取若干村子，然后只对这些村子的人进行调查。显然，如果各村情况差异不大，这种抽样还是方便的。否则就会增大误差。,（4）系统抽样,系统抽样（也称等距抽样）：将总体N个单位按某种顺序排列，按规则确定一个随机起点，再每隔一定间隔逐个抽取样本单位的抽样方法。 直线等距抽样： 将总体分成n个组，每组有 k=N/n个单位。 在第一组随机选择一个单位，之后每隔k个选择一个。,N = 64 n = 8 k = 8,第一组,非概率抽样 方便抽样：选择容易接触的个体作为调查研究对象 判断抽样：根据研究者的判断，选择“有代表性”或“典型性”的样本单位； 自愿抽样：指被调查者自愿参加，成为样本中的一分子，向调查人员提供有关信息。 滚雪球抽样,滚雪球抽样 其原理是先找到最初的样本单位，然后根据他们提供的信息去获得新的样本单位；这种过程不断继续，直到完成规定的样本容量为止。 主要用于对稀少群体的调查。 例如某研究部门在调查保姆问题时，先访问了7名保姆，然后再请她们提供其他保姆名单，逐步扩大到近百人。,实际上每个抽样通常都可能是各种抽样方法的组合。既要考虑精确度，还要根据客观情况考虑方便性、可行性和经济性。不能一概而论。 这些抽样方法的选择多半是艺术，而不是科学。 不仅抽样方法，而且调查方法、问卷设计、调查过程等，均可能是致命的。,练 习,1、某小区4000户居民从1-4000编号，在1-100中随机抽取1个号码3，则3、103、2033903构成抽样调查样本 2、为了解某地区职工家庭状况，将职工家庭按居委会分组，并以居委会为单位进行简单随机抽样，在对抽中的居委会所辖每户职工家庭进行调查 3、对农作物单位面积产量调查，按平原、丘陵、山区分组来抽选样本单位,系统抽样,整群随机抽样,分层随机抽样,2.2.3搜集数据的基本方法访问法 面谈调查 邮寄调查（自填式） 电话调查 座谈会 个别深度访谈观察法,面谈调查 (personal interview),1.调查者与被调查者通过面对面地交谈而获得资料 2.有标准式访问和非标准式访问 标准式访问通常按事先设计好的问卷进行 非标准式访问事先一般不制作问卷,对不起，打扰了！,面谈调查中的注意事项,在调查中，调查者到人地生疏的地方搜集资料，且被调查者往往又不愿意提供的这些资料，为顺利完成调查访问工作，调查者事前的准备工作非常重要。事前的准备工作包括以下内容： 仪容仪表 携带访问工具 预约并先了解访问对象 熟记问题及方法 运用各种技巧激发被调查者主动合作 注意自身的安全,邮寄调查 (mail survey),也称邮寄问卷调查,是一种标准化调查 调查者与被调查者没有直接的语言交流，信息的传递依赖于问卷 通过某种方式将调查表或问卷送至某调查者手中，由被调查者填写，然后将问卷寄回指定收集点 问卷或表格的发放方式有邮寄、宣传媒介传送、专门场所分发三种,电话调查 (telephone survey),调查者利用电话与被调查者进行语言交流以获得信息 时效快、成本低 问题的数量不宜过多,您好! 我是调查公司的调查员,座谈会 (colloquia),1.也称集体访谈 2.将一组被调查者集中在调查现场，让他们对调查的主题发表意见以获得资料 3.参加座谈会的人数不宜过多，一般为610人 4.侧重于定性研究,个别深度访问 (personal Interviewing),一次只有一名受访者参加、针对特殊问题的调查 适合于较隐秘的问题，如个人隐私问题；或较敏感的问题，如政治方面的问题 侧重于定性研究,观察法 (observational method),1.就调查对象的行动和意识，调查人员边观察边记录以收集所需信息 2.特点：调查人员不是强行介入，能够在被调查者不察觉的情况下获得资料,2.2.4 调查设计,调查方案的结构 调查问卷设计,调查方案的结构(survey plan),调查方案的内容,调查目的 (objective of survey),1.调查要达到的具体目标 回答“为什么调查？” 调查之前必须明确,例如，2000 年11 月1 日零时举行的全国第五次人口普查的调查方案中，明确规定这次调查的目的就在于：为了准确的查清第四次全国人口普查以来我国人口在数量、地区分布、结构和素质方面的变化，为科学的制定国民经济和社会发展战略规划，统筹安排人民的物质和文化生活，检查人口政策执行情况，提供可靠的资料。可见，在这一调查方案中，调查目的是具体和明确的。,关于当前大学生的消费情况调查方案,调查目的部分： 了解当前大学生的消费情况，分析大学生消费的现状，指出大学生高消费的误区，并提出建设性的对策思考。 在此基础上，提出相应的改进建议，为今后的大学生消费提供一个可供参考的方案。 形成大学生以艰苦奋斗为荣，骄奢淫逸为耻的消费观，创建节约型校园文化。引导他们在考虑个人消费时不忘光荣传统，科学规划安排，使个人消费标准与家庭情况相适应。教育学生要树立勤俭节约、科学的消费意识。,调查对象和调查单位 (Respondent and Survey unit),调查对象：调查研究的总体或调查范围 调查单位：需要对之进行调查的单位。可以是调查对象的全部单位(全面调查)，也可以是调查对象中的一部分单位(非全面调查) 回答“向谁调查？”,举例,北京市大学生消费情况调查方案的调查对象和调查单位： 学校类型，力求涵盖综合性大学以及文、理科大学，选取11所高校为：中央财经大学、北京外国语大学、北京交通大学、北京民族大学、北京理工大学、人民大学、清华大学、北京航空航天大学、北京师范大学、北京林业大学、北京大学。对于抽样方法有以下考虑： 1、大一新生刚入学，代表性较差，因而只调查其他年级，抽样的年级人数比为2：2：1； 2、调查中尽量保证男女比例为1：1； 3、进行整群抽样，即分别在大二和大三中随机抽取两个班，在大四中随机抽取一个班。,调查项目 (Survey items),调查的具体内容（研究课题的概念化、操作化、指标化） 通常表现为表格或问卷 回答“调查什么？”,大学生消费情况调查,生活方面校内饮食、校外饮食、服装、日化用品及其他 学习方面书籍、考试费、辅导费 休闲娱乐旅游、网上冲浪、电影、音乐、通讯,方案设计中的其他问题,1.明确调查所采用的方法 2.确定调查资料的所属时间和调查工作的期限 3.调查的组织与实施细则,调查问卷设计,提问项目的设计,回答项目(答案)的设计,问题顺序的设计,什么是问卷,什么是问卷？ (questionnaires),用来搜集调查数据的一种工具 调查者根据调查目的和要求所设计的，由一系列问题、备选答案、说明等组成的表格。 不同的调查问卷在具体结构、题型、措词、版式等设计上会有所不同，但在结构上一般都由开头部分、甄别部分、主体部分和背景部分组成,问卷的基本结构,开头 部分,甄别 部分,主体 部分,背景 部分,卷首语,填写说明,问卷编号,开头部分(卷首语),女士/小姐/先生 您好！我是市场调查公司访问员，我们正在进行一项有关公众医疗保险意识方面的调查，目的是想了解人们对医疗保险的看法和意见，以便更好地促进医疗保险事业的发展。您的回答无所谓对错，只要真实地反映了您的情况和看法，就达到了这次调查的目的。希望您能积极参与，我们对您的回答完全是保密的。调查要耽搁您一些时间，请您谅解。谢谢您的支持与合作！,问卷的结构,问卷的卷首语，即一封致被调查者的短信，由于它常常放在问卷的封面，故又称封面信。,我是谁？ 我们要调查什么？ 我们为什么进行这项调查？ 我们为什么找你作调查？ 我们的调查有什么用？ 我们的调查不会有损于被调查者的利益。,填写要求： 请您在所选择答案的题号上画圈 对只许选择一个答案的问题只能画一个圈；对可选多个答案的问题，请在你认为合适的答案上画圈 需填写数字的题目在留出的横线上填写 对于表格中选择答案的题目，在所选的栏目内画勾 对注明要求您自己填写的内容，请在规定的地方填上您的意见,开头部分(填写说明),开头部分(问卷编号),问卷编号是将问卷中的调查项目变成数字的工作过程，主要用于识别问卷、调查者、被调查者姓名、地址等。 用于识别问卷便于校对检查、更正错误 也便于分类整理，易于计算机处理和统计分析,问卷编号 001,甄别部分,甄别也称为过滤，它是先对被调查者进行过滤，筛选掉不需要的部分，然后针对特定的被调查者进行调查 通过甄别，可以筛选掉与调查事项有直接关系的人，以达到避嫌的目的 可以确定哪些人是合格的被调查者，哪些人不是 甄别的目的是确保被调查者合格，能够作为该调查项目的代表，从而符合调查研究的需要,甄别部分,S1请问您或您的家庭成员有没有在下列行业工作的呢？ 1广告、公关机构 2市场研究、咨询、调查机构 3电视，广播，报纸等媒介机构 终止访问 4轿车制造 5轿车批发、零售 6以上皆无继续访问 S2请问您的年龄是： 120岁以下终止访问 220岁30岁 330岁40岁 440岁50岁 550岁以上终止访问,主体部分,是调查问卷的核心内容 包括所要调查的全部问题，主要由问题和答案所组成,背景部分,通常放在问卷的最后，主要是有关被调查者的一些背景资料 该部分所包含的各项问题，可使研究者根据背景资料对被调查者进行分类比较分析,1.您具体做 什么工作？ 2.您的受教 育程度？,背景部分,A请 问 您 的 教 育 程 度？ (901) 没 受 过 正 式 教 育 1 小 学， 初 中 2 高 中， 职 高， 中 专， 技 校 3 大 专， 大 学 或 以 上 4 B请 问 您 的 职 业 和 职 位 是 什 么？(902) 普 通 职 员， 工 人1 部 门 经 理 负 责 人/ 高 级 管 理 人 员 2 公 司 老 板， 厂 长，总 经 理 3 专 业 人 员 4 个 体 户，自 营 职 业 5 失 业， 待 业 6 学 生7 离 退 休 人 员 8 其 他(请注明） 9,提问项目的设计,提问的内容尽可能短 用词要确切、通俗 可按6W准则加以推敲。6W即Who(谁)，Where(何处)，When(何时)，Why(为什么)，What(什么事)，How(如何) 一项提问只包含一项内容 避免诱导性提问 避免否定形式的提问 避免敏感性问题,用词要确切、通俗,请问您使用什么牌子的洗发水？,请问您最近三个月使用什么牌子的洗发水？,您最近一段时间使用什么品牌的化妆品？,您最近一个月使用什么品牌的化妆品？,您觉得这种电视机的画面质量怎么样？,您认为这种电视机的画面是否清晰？,一项提问只包含一项内容,您觉得这种新款轿车的加速性能和制动性能怎么样？,您觉得这种新款轿车的加速性能怎么样？ 您觉得这种新款轿车的制动性能怎么样？,避免诱导性提问,人们认为长虹牌彩电质量不错，你觉得怎么样？,您觉得长虹牌彩电的质量怎么样？,避免否定形式的提问,您觉得这种产品的新包装不美观吗？,您觉得这种产品的新包装美观吗？,回答项目(答案)的设计,回答的类型与方法,回 答 的 类 型 与 方 法,开放性问题 (自由回答型),封闭性问题 (选择回答型),两项选择法,多项选择法,顺序选择法,评定尺度法,限制选择型,多项选择型,单项选择型,开放性问题,对问题的回答未提供任何具体的答案，由被调查者根据自己的想法自由作出回答 属于自由回答型 优点：比较灵活，适合于搜集更深层次的信息，特别适合于那些尚未弄清各种可能答案或潜在答案类型较多的问题。而且可以使被调查者充分表达自己的意见和想法，有利于被调查者发挥自己的创造 缺点：由于会出现各种各样的答案，给调查后的资料整理带来一定困难,开放性问题,您认为我国目前的广告宣传中，存在的 主要问题是什么？ 您对这种捷达新款车有何更具体的看法？,封闭性问题,对问题事先设计出了各种可能的答案，由被调查者从中选择 优点：问题的答案是标准化的，有利于被调查者对问题的理解和回答，也有利于调查后的资料整理。 缺点：对答案的要求较高，对一些比较复杂的问题，有时很难把答案设计周全。 设计时要注意：问题的答案是选择回答型，所以设计出的答案一定要穷尽和互斥 回答方法有：两项选择法、多项选择法、顺序选择法、评定尺度法等,封闭性问题(两项选择法),答案只有两项，要求被调查者选择其中之一来回答 优点：被调查者只需在二者之中选择一项，回答比较容易；调查后的数据处理也很方便 缺点：得到的信息量较少；当被调查者对两项答案均不满意时，很难作出回答,您有手机吗？ 1. 有 2没有,封闭性问题(多项选择法),在设计问卷时，对一个问题给出三个或三个以上的答案，让被调查者从中选择进行回答 根据要求选择的答案多少不同，有以下类型 单项选择型：要求被调查者对所给出的问题答案选择其中的一项 多项选择型：要求被调查者对所给出的问题答案中，选出自己认为合适的答案，数量不受限制 限制选择型：要求被调查者在所给出的问题答案中，选出自己认为合适的答案，但数量要受一定限制,封闭性问题(单项选择法实例),单项选择型,您觉得哪种类型的广告宣传效果最好？ (选一项) 1电视广告 2广播广告 3杂志广告 4报纸广告 5路牌广告,封闭性问题(多项选择法实例),多项选择型,请问您在购买小轿车时，主要考虑哪些因素？ (选出您认为合适的答案) 1价格 6维修费用 2款式 7乘坐舒适 3品牌 8行使平稳 4耗油量 9加速性能 5售后服务 10制动性能,封闭性问题(顺序选择法),问题答案有多个，要求被调查者在回答时，对所选的答案按要求的顺序或重要程度加以排列。其中，对所选的的答案数量可以进行一定的限制，也可以不进行限制 问题答案不仅可以反映所要调查的内容，而且可以反映出被调查者对问题的看法，从而增加了信息量,封闭性问题(评定尺度法),问题答案，由表示不同等级的形容词组成， 并按照一定的程度排序，由被调查者依次选择,您对这种新款轿车是否感到满意？ 1非常满意；2比较满意；3一般 4不太满意；5不满意。,问题顺序的设计,问题的安排应具有逻辑性 问题的顺序应先易后难 能引起被调查者兴趣的问题放在前面 开放性问题放在后面 版面格式的设计 问卷的结构安排要合理，问卷的主体部分要突出、醒目 不要编排过密，各问题之间要留出一定的空间 外表及内容的印刷要美观,2.3 实验数据,实验数据是指在实验中控制实验对象而搜集到的变量的数据。 2.3.1实验组和对照组 2.3.2实验中的若干问题,2.3.1实验组和对照组 实验组是随即抽选的实验对象的子集。在这个子集中，每个单位接受某种特别的处理。 对照组中每个单位不接受实验组成员所接受的某种特别的处理。,为什么需要对照组？,最早的案例：17世纪初，英国海军患坏血病的原因 背景：海上帝国，坏血病的威胁，国防部进行研究 怀疑：维生素摄入量少 实验方法：四艘军舰离港，一艘有柑橘汁供应，三艘没有 结果：有柑橘汁供应水手身体状况良好，没有柑橘汁供应水 手开始成批生病 结论：缺乏维生素摄是导致产生疾病的原因,问题一：患病原因可能是那三艘船上有导致生病的物质 问题二：上有柑橘汁船的人可能就喜欢喝橙汁 问题三：上船之前水手身体状况一样吗？,注意： 实验组合对照组的产生应遵循随机原则，即将实验单位随机地分配到实验组和对照组。 实验组和对照组应该是匹配的。 匹配是指对实验单位的背景材料进行分析比较，将情况类似的每对单位分别随机地分配到实验组和对照组。,2.3.2实验中的若干问题 人的意愿 如果实验对象为人，人们都有自己的生活方式和处事原则，都有自己的爱好和兴趣，他们未必会按照研究者的要求和布置行事。 心理问题 在实验中人们对被研究非常敏感，这使得他们更加注意自我，从而走到事物的另一个极端。 道德问题,案例：人口密度和人的行为的关系研究 假说：人口密度过高可能产生负效应，引发犯罪和精神病 理论依据：马尔萨斯人口论，其论点有“人口过剩是贫困的主要原因”，“过剩人口会造成社会病态”。 老鼠实验：随着实验笼里老鼠密度增高，老鼠表现烦躁不安，母鼠不愿看护自己幼鼠，抢食现象加剧，最后导致自相残杀。 需研究的问题：这类现象在人类中是否存在？ 难点：对人类无法使用象老鼠那样进行自相残杀的实验。,文档调查，具体做法是 1.按人口密度将分析区域划出若干块（实验区域为芝加哥市） 2.查阅“芝加哥地方公众记事录”，里面有人口密度，犯罪率，精神病患者人数等宝贵资料 存在的问题，表象上看，人口密度和犯罪数量相关； 但人口密度和犯罪数量又与另外变量，如职业、种族、教育、收入等要素相关，人口密度高的地方犯罪率高，但人口密度高的地方居住者的教育水平、收入水平偏低，黑人比例高，职业差。是职业、文化程度、收入水平影响犯罪率？还是人口密度影响犯罪率？,2.4 数据误差,数据误差是指通过调查搜集到的数据与研究对象真实结果之间的差异。 数据的误差有两类： 抽样误差 非抽样误差,研究调查误差的主要目的是找出导致误差产生的原因，进而采取对策避免、减少误差或控制误差水平。,抽样误差 如果总体是一锅八宝粥，随机样本是充分搅拌后的八宝粥中的任意一勺 该勺中的八宝粥的成分比例应该和整个一锅粥类似 搅拌越充分，样本的代表性也越好,一勺八宝粥中的成分比例和整锅不尽相同，可能稍微多些或稍微少些。这是很正常的，因为样本的特征不一定和总体完全一样。 这种差异不是错误，而是必然会出现的抽样误差（sampling error）。,抽样误差(sampling error),由于抽样的随机性所带来的误差 所有样本可能的结果与总体真值之间的平均性差异 影响抽样误差的大小的因素 样本量的大小 总体的变异性,非抽样误差(non-sampling error),相对抽样误差而言 除抽样误差之外的，由于其他原因造成的样本观察结果与总体真值之间的差异 存在于所有的调查之中 概率抽样，非概率抽样，全面性调查 有抽样框误差、回答误差、无回答误差、调查员误差、测量误差,有关总体全部单位的名录。,误差的控制,抽样误差可计算和控制 非抽样误差的控制 调查员的挑选 调查员的培训 督导员的调查专业水平 调查过程控制 调查结果进行检验、评估 现场调查人员进行奖惩的制度,本章小结,数据来源 调查数据 实验数据 数据误差,【作业】,假设我们要研究在校大学生的生活费支出情况（或其它调查项目）。 要求： 1）请设计一份调查方案； 2）你认为这项调查采用那种调查方法比较合适？ 3）设计一份调查问卷。 4）收集在校大学生生活费支出的数据。,