数据的收集解析课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第二章 数据与数据的获得,第二章 数据与数据的获得,2.1 数据是怎样得到的？,平时生活中，我们可以通过报纸、电视、互联网、年鉴等途径看到各种数据。,这些间接得到的（并非自己收集的）均属于二手数据。,2.1 数据是怎样得到的？平时生活中，我们可以通过报纸、电,2.1 数据是怎样得到的？,二手数据的主要来源,1.统计部门和政府部门公布的有关资料，如各类统计年鉴,2.各类经济信息中心、信息咨询机构、专业调查机构等提供的数据,3.各类专业期刊、报纸、书籍所提供的资料,4.各种会议，如博览会、展销会、交易会及专业性、学术性研讨会上交流的有关资料,5.从互联网或图书馆查阅到的相关资料,2.1 数据是怎样得到的？二手数据的主要来源,2.1 数据是怎样得到的？,获得第一手数据（研究者亲自参与，通过调查或实验获取）要困难得多。,某方便面企业每年至少花三四千万元来收集和分析数据。,调查其产品及竞争者在市场中的状况、各种类型消费者对其产品的态度。,2.1 数据是怎样得到的？获得第一手数据（研究者亲自参与，,2.2 个体、总体和样本,所要研究的对象的全体，称为,总体,（或母体）。,组成总体的每个对象称为,个体,（或成分）。,从总体中按一定的规则抽出的部分个体称为,样本,。,2.2 个体、总体和样本 所要研究的对象的全体，称为总体（,2.2 个体、总体和样本,在考察一批新工艺生产的灯泡的使用寿命时，从中任意抽取50只进行试验。,这里新工艺生产的这批灯泡的寿命是总体，其中每只灯泡的寿命是个体，抽取的50只灯泡的寿命是一个样本,。,2.2 个体、总体和样本在考察一批新工艺生产的灯泡的使用寿,2.2 个体、总体和样本,注意：,总体的定义中所说的是“考察对象”是一种数据指标如上例中总体应该是“该批灯泡的使用寿命”，而不简单的说成“这批灯泡”。,既然总体是一种数据指标，且随着调查对象的不同而发生变化，表明总体就是一个随机变量。,总体的容量，样本的容量。,2.2 个体、总体和样本 注意：,2.3 收集数据时的误差,如果总体是一锅八宝粥的质量，随机样本则是充分搅拌后的八宝粥中的任意一勺的质量。,该勺中的八宝粥的成分比例应该和整个一锅粥类似,搅拌越充分，样本的代表性也越好,2.3 收集数据时的误差如果总体是一锅八宝粥的质量，随机样,2.3 收集数据时的误差,一勺八宝粥中的成分比例和整锅不尽相同，可能稍微多些或稍微少些。这是很正常的，因为样本的特征不一定和总体完全一样,这种差异不是错误，而是必然会出现的,抽样误差（sampling error）。,2.3 收集数据时的误差一勺八宝粥中的成分比例和整锅不尽相,2.4 获取数据的调查的方法,一、,普查,（Census）,普查是针对有限总体而言的。普查，就是收集有限总体中的每一个个体的相关指标的指标值。,二、,抽样调查,（部分调查）,抽样调查就是指在总体中选择一部分个体进行调查，从所了解的局部数据来了解总体的情况。,2.4 获取数据的调查的方法 一、普查（Census）,2.4 获取数据的调查的方法,抽样调查的两层含义,：,1）抽样，即从总体中抽出部分个体,2）调查，调查,那些,反映在个体上的、我们关心的数量指标，并加以记录。,抽样调查的意义,同普查相比，抽样调查的优势,1）成本低 ；2）耗时少；,3）收集个体信息方面，可以更详尽；,4）获得的个体信息，可以更为准确。,2.4 获取数据的调查的方法抽样调查的两层含义：,2.4 获取数据的调查的方法,抽样调查的方法：,一般来说，可以分为两大类：概率抽样和非概率抽样。,2.4 获取数据的调查的方法抽样调查的方法：,2.4 获取数据的调查的方法,概率抽样也称随机抽样。,特点,按一定的概率以随机原则抽取样本。,抽取样本时使每个单位都有一定的机会被抽中。,每个单位被抽中的概率是已知的，或是可以计算出来的。,当用样本对总体目标量进行估计时，要考虑到每个样本单位被抽中的概率。,2.4 获取数据的调查的方法概率抽样也称随机抽样。,2.4 获取数据的调查的方法,简单随机抽样,(simple random sampling),从总体,N,个单位中随机地抽取,n,个单位作为样本，每个单位入抽样本的概率是相等的。,最基本的抽样方法，是其它抽样方法的基础。,特点,简单、直观，在抽样框完整时，可直接从中抽取样本。,用样本统计量对目标量进行估计比较方便。,局限性,当,N,很大时，不易构造抽样框。,抽出的单位很分散，给实施调查增加了困难。,没有利用其它辅助信息以提高估计的效率。,2.4 获取数据的调查的方法简单随机抽样 (simple,2.4 获取数据的调查的方法,分层抽样,(stratified sampling),将抽样单位按某种特征或某种规则划分为不同的层，然后从不同的层中独立、随机地抽取样本。,优点,保证样本的结构与总体的结构比较相近，从而提高估计的精度。,组织实施调查方便。,既可以对总体参数进行估计，也可以对各层的目标量进行估计。,2.4 获取数据的调查的方法分层抽样(stratified,2.4 获取数据的调查的方法,整群抽样,(,cluster sampling,),将总体中个各个单位按照某一标志量分为若干群，抽样时直接抽取群，然后对中选群中的所有单位全部实施调查。,特点,抽样时只需群的抽样框，可简化工作量。,调查的地点相对集中，节省调查费用，方便调查的实施。,缺点是估计的精度较差。,2.4 获取数据的调查的方法整群抽样 (cluster,2.4 获取数据的调查的方法,系统抽样,(,systematic sampling,),将总体中的所有单位(抽样单位)按一定顺序排列，在规定的范围内随机地抽取一个单位作为初始单位，然后按事先规定好的规则确定其它样本单位。,先从数字1到k之间随机抽取一个数字r作为初始单位，以后依次取r+k，r+2k等单位。,优点：操作简便，可提高估计的精度。,缺点：对估计量方差的估计比较困难。,2.4 获取数据的调查的方法系统抽样(systematic,2.4 获取数据的调查的方法,多阶段抽样,(multi-stage sampling),先抽取群，但并不是调查群内的所有单位，而是再进行一步抽样，从选中的群中抽取出若干个单位进行调查。,群是初级抽样单位，第二阶段抽取的是最终抽样单位。将该方法推广，使抽样的段数增多，就称为多阶段抽样。,具有整群抽样的优点，保证样本相对集中，节约调查费用。,在大规模的抽样调查中，经常被采用的方法。,2.4 获取数据的调查的方法多阶段抽样(multi-sta,2.4 获取数据的调查的方法,非概率抽样,(,non-probability sampling,),相对于概率抽样而言,抽取样本时不是依据随机原则，而是根据研究目的对数据的要求，采用某种方式从总体中抽出部分单位对其实施调查,有方便抽样、判断抽样、自愿样本、滚雪球抽样、配额抽样等方式,2.4 获取数据的调查的方法非概率抽样(non-proba,2.4 获取数据的调查的方法,方便抽样,调查,过程中由调查员依据方便的原则，自行确定入抽样本的单位,调查员在街头、公园、商店等公共场所进行拦截调查,厂家在出售产品柜台前对路过顾客进行的调查,优点：,容易实施，调查的成本低,缺点：样本单位的确定带有随意性，样本无法代表有明确定义的总体，调查结果不宜推断总体,2.4 获取数据的调查的方法方便抽样,2.4 获取数据的调查的方法,判断抽样,研究人员根据经验、判断和对研究对象的了解，有目的选择一些单位作为样本,有重点抽样，典型抽样，代表抽样等方式,判断抽样是主观的，样本选择的好坏取决于调研者的判断、经验、专业程度和创造性,抽样成本比较低，容易操作,样本是人为确定的，没有依据随机的原则，调查结果不能用于对推断总体,2.4 获取数据的调查的方法判断抽样,2.4 获取数据的调查的方法,自愿样本,被调查,者自愿参加，成为样本中的一分子，向调查人员提供有关信息,例如，参与报刊上和互联网上刊登的调查问卷活动，向某类节目拨打热线电话等，都属于自愿样本,自愿样本,与抽样的随机性无关,样本是有偏的,不能依据样本的信息推断总体,2.4 获取数据的调查的方法自愿样本,2.4 获取数据的调查的方法,滚血球抽样,先选择一组调查单位，对其实施调查之后，再请他们提供另外一些属于研究总体的调查对象，调查人员根据所提供的线索，进行此后的调查。这个过程持续下去，就会形成滚雪球效应,适合于对稀少群体和特定群体研究,优点：容易找到那些属于特定群体的被调查者，调查的成本也比较低,2.4 获取数据的调查的方法滚血球抽样,2.4 获取数据的调查的方法,配额抽样,先将体中的所有单位按一定的标志(变量)分为若干类，然后在每个类中采用方便抽样或判断抽样的方式选取样本单位,操作简单，可以保证总体中不同类别的单位都能包括在所抽的样本之中，使得样本的结构和总体的结构类似,抽取具体样本单位时，不是依据随机原则，属于非概率抽样,2.4 获取数据的调查的方法配额抽样,2.4 获取数据的调查的方法,概率抽样与非概率抽样的比较,概率,抽样,依据随机原则抽选样本。,样本统计量的理论分布存在。,可根据调查的结果推断总体。,非概率,抽样,不是依据随机原则抽选样本。,样本统计量的分布是不确定的。,无法使用样本的结果推断总体。,2.4 获取数据的调查的方法概率抽样与非概率抽样的比较,2.5 调查方法的主要类别,搜集数据的基本方法,调查方法的主要类别,2.5 调查方法的主要类别搜集数据的基本方法,2.5 收集数据的基本方法,自填式问卷调查,没有调查员协助的情况下由被调查者自己完成调查问卷。,问卷递送方法有：调查员分发、邮寄、网络、媒体,要求调查问卷结构严谨，有清楚的说明。,弱点,问卷的返回率比较低,不适合结构复杂的问卷,调查周期比较长,数据搜集过程中出现的问题难于及时采取调改措施,2.5 收集数据的基本方法自填式问卷调查,2.5 收集数据的基本方法,面访式问卷调查,调查员与,被调查者面对面提问、被调查者回答的一种调查方式。,优,点,可提高调查的回答率,可提高调查数据的质量,能调节数据搜集所花费的时间,弱,点,调查的成本较高,调查过程的质量控制有一定难度,2.5 收集数据的基本方法面访式问卷调查,2.5 收集数据的基本方法,电话式问卷调查,通过电话向被调查者实施调查。,特点,速度快，能在短时间内完成调,适合于样本单位十分分散的情况,局限,如果被调查者没有电话，调查将无法实施,访问的时间不能太长,使用的问卷需要简单,被访者不愿意接受调查时，难以说服,2.5 收集数据的基本方法电话式问卷调查,2.5 收集数据的基本方法,观察法,观察法大致分两类：,一是借助仪器、设备来观察；,二是直接凭借调查者自己的感官来观察的方法。,2.5 收集数据的基本方法观察法,2.6 数据的类型,一、按照数据的测度等级划分.可以分为4类：,比率级数据；间距级数据；,序次数据；名义级数据；,二、按照数据的获取角度来分,可以分为2类：,观察数据；实验数据,2.6 数据的类型一、按照数据的测度等级划分.可以分为4类,2.6 数据的类型,比率级数据（又称定比数据）,比率级数据具有最高级的测度等级。它是具有一定单位的实际测量值。此类数据可以进行加减乘除四则运算。,统计分析中，比率级数据只能用数字表示,2.6 数据的类型比率级数据（又称定比数据）,2.6 数据的类型,间距级数据（又称定距数据）,间距级数据，是只能做加减运算，不能做乘除运算的数据。,统计分析中，比率级数据只能用数字表示。,注：定比数据和定距数据统称为刻度级数据。,2.6 数据的类型间距级数据（又称定距数据）,2.6 数据的类型,序次级数据（又称定级数据）,序次级数据是只能比较大小，而不能够做加减运算，更不能做乘除运算的数据。,序次级数据可以用数字表示，也可以用字母表示,2.6 数据的类型序次级数据（又称定级数据）,2.6 数据的类型,名义级数据（又称定类数据）,名义级