统计学数据的搜集与整理.ppt

统计学 STATISTICS,第二章 数据的搜集与整理,第一节 数据的搜集 现实生活中有不少问题是不能像我们以往解数学题一样套用公式、法则的方法解决，而需要在仔细观察和积累数据的基础上，经过整理和描述分析的数据，才能给出答案。也就是用数据来说话。当我们确定了研究问题，就需要搜集相关的数据，设计调查方案，有些研究的问题需要通过实验来获得数据，那么怎样使用实验方法获得数据呢？,第二章 数据的搜集与整理,第一节 数据的搜集 统计数据的搜集就是按照统计研究所预定的目的和任务，运用恰当的统计方法，有组织、有计划地向调查对象搜集原始统计资料的工作过程。属于统计工作过程的基础阶段。 一、数据来源 从使用者的角度看，统计数据来源于两种渠道：一是直接来源，即统计数据直接源于自己的调查或实验，称之为一手数据或直接数据；二是间接来源，即统计数据来源于别人的调查或实验，称之为二手数据或间接数据。,1、数据的间接来源 分为内部信息数据和外部信息数据。 内部信息数据是指从被调查单位内部直接获取的，与调查单位有关的信息数据资料，例如，通过企业的统计报表、资产负债表等获取的企业有关数据。 外部信息数据是指从各级政府、贸易组织、计算机网络等渠道获取的数据。例如，统计部门和各级政府定期发布的统计公报、定期出版的各类统计年鉴国内部分提供统计数据的网站及相关内容见表2-1。,2、数据的直接来源 统计调查是获取直接数据的主要方法，数据的直接来源主要有两个渠道：一是统计调查或观察；二是科学实验。,二、统计调查方案设计 调查背景 调查目的 调查内容 调查方法和抽样方法 调查对象和调查范围 调查时间进度表 调查费用预算 附件,三、统计调查的形式 按调查的组织形式，对统计调查方法进行分类：普查、重点调查、典型调查和抽样调查等。 （一）普查 普查是一种专门组织的一次性的全面调查。 普查是为了了解总体的全面情况。 （二）重点调查 重点调查是对总体中的重点单位进行的专门调查。“重点单位”是指此类单位的变量值（调查所要了解的变量）占总体中该变量值总和有较大比重。重点调查是为了了解总体的基本情况。,（三）典型调查 典型调查是对总体中的有代表性的单位进行的专门调查。如我国的投入产出调查。 一般来说，典型调查是为了了解总体的特殊情况。 （四）抽样调查 抽样调查又称抽样推断，它是指按随机原则对总体进行抽取样本，以样本资料来推断总体的有关特征的一种专门调查。 抽样调查方法运用广泛。,四种调查方法比较,四种调查方法比较,（五）统计报表 统计报表是指按照国家统一规定以统计表的形式定期逐级上报统计资料的制度化的调查方式。 优点：在报表实施范围内，各报告单位一定是以制度化形式按期并以统一口径报送统计表，从而确保调查资料全面性、连续性和统一性。 缺点：要花费较大的人力、物力和财力，而且资料的准确性受人为因素影响很大，所以应将统计报表与专门调查等方法结合起来运用。 我国的统计调查方法体系：以周期性的普查为基础，以抽样调查为主体，辅助重点调查、典型调查和进行科学推断。,四、原始数据的搜集方法 原始数据的搜集方法主要有三类：询问法、观察法和实验法。 1、询问法将所要了解的事项以当面、书面或电话的方式，向被调查者提出询问，以获取所需资料的一种方法。 面谈调查能够直接听取对方意见，灵活性高，但成本也高，调查时拒访率高，调查结果容易受调查人员技术水平的影响。 电话访谈是目前应用非常广泛的一种调查方法，主要特点是速度快、成本低，但在电话普及率较低的地区不适用，电话调查的问题也不宜过多，否则会被拒访。 问卷调查是由调查人员交给被访问者的问卷，说明方法后由其自行填写，再由调查人员收回。随着互联网的普及，问卷调查也可以在网上进行。,2、观察法 观察法是不与调查对象直接交流，而以旁观者的身份对具体事件、人物、行为模式等特征和演变过程进行记录的数据搜集方法。观察法分为直接观察法和实际痕迹测量法两种。 常用的观察法有如下三种： 神秘顾客，是由经过严格培训的调查员，在规定的时间里扮演成顾客，对事先设计的一系列问题逐一进行评估或评定的一种方式。神秘顾客以普通顾客身份进入客户指定的门店，观察店面，对店面环境、服务人员行为语言、服务规范性等方面进行暗访； 购买者行为研究，常常被零售商用于分析顾客的购买倾向。例如，大型超市的入口处经常陈列着厂家来推销的新产品或者商店要推销的季节性商品。顾客走进商店时，多半会驻足观看和选购这些商品。观察人员可以利用这一机会，观察和收集消费者对新产品和季节产品的关注度及购买情况的资料。 消费痕迹观察法，也是间接观察法的一种，通过观察消费者留下的痕迹来推断其消费行为。例如，国外有一家饮料公司曾根据垃圾站饮料瓶的回收情况，来分析消费者口味的偏好。,3、实验法 实验也可以用于数据的搜集。实验法是通过实验来研究变量之间因果关系的一种方法。实验法常用来调查某种因素对市场销售量的影响，例如，某一商品在改变品种、品质、包装、设计、价格等因素时，可以在一定条件下进行小规模实验，通过观察用户的反应来做出是否推广的决策。,五、统计误差 统计误差是指在统计工作中由于种种原因产生的与研究对象本来状态有差异的结果。统计误差分为： （1）抽样误差 是指由抽样的随机性引起的样本结果与总体真值之间的误差。在抽样的过程中，根据不同的样本，可以得到不同的观测结果。 （2）非抽样误差 是指相对抽样误差而言的，是指除抽样误差之外的，由其他原因引起的样本观测结果与总体真值之间的差异。例如，调查者在接受调查时给出的回答与真实情况不符，导致的误差。非抽样误差是可以避免的。 练习：设计大学生就业意向调查方案。,第二节 统计数据的整理 统计数据整理是对所搜集到的原始的、零散的资料进行加工和综合，使之系统化。将搜集的数据进行科学的分类汇总、加工处理，才能揭示现象的规律性。 一、数据的预处理 数据的预处理主要包括数据的审核、筛选、排序等。 1、数据的审核 数据审核就是检查数据中是否有错误，对于调查取得的原始数据，主要从资料的准确性和完整性审核。,准确性审核检查的方法有两个： 一是逻辑检查，根据调查项目之间的内在联系，检查资料是否符合逻辑性，项目的答案是否存在异常值等。二是计算检查，检查调查表中各项数字的计算方法、计算口径、计算结果有无差错，数字之间该平衡的是否平衡。 完整性审核，主要是检查应调查的单位或个体是否有遗漏，所有的调查项目是否填写齐全等。,对于通过其他渠道取得的二手数据，要审核数据的适用性和时效性。 适用性审核，即要弄清楚数据的来源、数据的口径以及有关的背景资料，以便确定这些数据是否符合分析研究的需要。 时效性审核，即要尽可能使用最新的数据，对于时效性较强的问题如数据过于滞后，就可能失去研究的意义。,2、数据筛选 数据筛选主要包括两方面：一是将某些不符合要求的数据或有明显错误的数据剔除；二是将符合某种特定条件的数据筛选出来，将不符合特定条件的数据剔除。 3、数据排序 数据排序是指按一定顺序将数据排列，以便研究者通过数据发现一些明显的特征或趋势，找到解决问题的线索。,二、数据的整理与图示 数据经过预处理后可根据需要进一步做分类或分组。针对于不同类型的数据，所采用的处理方式和所使用的处理方法是不同的。数值型数据则主要是做分组整理； 1、品质数据的整理与图示 品质数据包括分类数据和顺序数据，主要是做分类整理。 分类数据的整理与图示 频数（次数）是指落在某一个特定类别或组中的数据个数。把各个类别及落在其中的相应的频数全部列出，用表格形式表现出来，称为频数分布（次数分布）。 比例也称构成比，他是一个样本（或总体）中各个部分的数据与全部数据之比。,【例2-1】调查广告市场的状况，一家广告公司在某城市随机抽取200人就广告问题作了问卷调查，其中的一个问题是：“您比较关心下列哪一类广告？” 1.商品广告；2.服务广告；3.金融广告；4.房地产广告；5.招生招聘广告；6.其他广告 经过分类整理后，可以看出关注商品广告的人数最多，关注其他广告的人数最少。,分类数据的图示 条形图是用宽度相同的条形的高度或长短来表示数据多少的图形。条形图可以横置或纵置，纵置时也叫柱形图。例如，根据上例中表2-2某城市中关注广告类型的人数可以绘制如果2-1所示的条形图。 图2-1 某城市居民关注不同类型广告人数分布,饼图它是以圆的面积或圆内各扇形面积来表示数值大小或总体内部结构的一种图形。它主要用于表示一个样本（或总体）中各组成部分的数据占全部数据的比例，对于研究结构性问题十分有用。 例如，根据上例中表2-2可以绘制如果2-2所示的饼图。 图2-2 某城市居民关注不同类型广告人数构成,顺序数据的整理与图示 在品质数据的整理与图示中介绍的方法，如频数、比例、百分比、条形图等，也都是用于顺序数据的整理与图示。对于顺序数据，还可以计算累计频数和累计频率（百分比）。 累计频数是将各有序类别或组的频数逐级累加起来得到的频数。它表明总体在某一变量值的某一水平上下一共包含的总体频数。频数的累计方法有两种： 向上累计，从类别顺序的开始一方向类别顺序的最后一方累加频数（数值型分组数据是从变量值小的一方向变量值大的一方累加频数），组距数列中的向上累计，表明各组上限以下一共所包含的总体频数有多少。 向下累计，从类别顺序的最后一方向类别顺序的开始一方累加频数（数值型分组数据则是从变量值大的一方向变量值小的一方累加频数），组距数列中的向下累计，表明各组下线以上一共包含的总体频数有多少。,例2.1 在一项有关某酒店顾客满意度的调查中，研究人员在某酒店随机抽取300名顾客进行调查，其中的一个问题是：“您对酒店员工的服务态度是否满意？”要求回答的类别依次如下： 1.非常满意； 2. 满意； 3. 一般； 4. 不满意； 5. 非常不满意 调查结果的频数分布表如表2-3所示。,顺序数据的图示 根据上例中的累计频数或累计频率，可以绘制累计频数分布或频率分布图。如图2-3所示。 （a）向上累计 （b）向下累计 图2-3 某酒店顾客对员工服务满意度的频数分布图,数值型数据的整理与图示 分类和顺序数据的整理与图示方法，也都是用于数值型数据。但一些适用于数值型数据的特定整理和图示的方法，并不适用于分类数据和顺序数据。 数据分组 数值型数据的结果表现为数值，在进行整理时通常是进行数据分组。根据统计研究的需要，将原始数据按照某种标准分成不同的组别，分组后再计算出各组中的数据出现的频数，就形成了一张频数分布表。数据分组的方法有单变量分组和组距分组两种。,单变量分组：把每一个变量值作为一组，通常只适用于离散变量，且变量值较少的情况下使用； 组距分组：适用于连续变量或变量值较多的情况下，它是将全部变量值一次划分为若干个区间，每一个区间的变量值作为一组。 组距 、上限、下限、等距数列、异距数列,次数密度：本组的次数与本组的组距之比。 组中值 （每组变量值变动范围的中点值） 组中值=（上限下限）/2 缺下限开口组组中值=上限邻组组距/2 缺上限开口组组中值=下限邻组组距/2 如12及以下 12-14 求组中值？,注意：在异距数列中，反映总体单位在各组分布密集程度的指标,30,变量数列的编制 例：30名同龄儿童身高（cm）： 106，99，85，121，84，94，106，105，110，119，101，95，91，87，105，106，109，118， 96 ，128，91，97，105，111，111，107，103，101，107，106。 （1）将变量值按大小次序排列 84，85，87，91，91，94，95，96，97，99，101，101，103，105，105，105，106，106，106，106，107，107，109，110，111，111，118，119，121，128。 （2）计算全距：R=12884=44（cm） （3）确定组数与组距 令i=10cm，则组数n=44/10=4.4，取5组,31,84，85，87，91，91，94，95，96，97，99，101，101，103，105，105，105，106，106，106，106，107，107，109，110，111，111，118，119，121，128。 （4）编制变量数列,统计分组的原则 1.穷尽原则（每一个单位在给定的组中找到自己的归属） 2.互斥性原则（不相容性原则）,补充：品质型数据分组,数值型数据的图示,直方图是用直方形的高度和宽度来表示次数分布特征的图形。 平面直角坐标系中的横轴表示各组组限，纵轴表示次数。对于异距数列则应以次数密度为纵轴、各组组限为横轴绘制直方图。 与直方图相似作用的图是折线图，它以各组标志值中点位置作为该组标志的代表值，然后用折线将各组次数连接起来。直方图与折线图的面积是相等的。,频数分布的主要类型 1.钟形分布 特征：两头小，中间大。 （1）对称分布：,0,（2）偏态分布： 右偏（正偏）分布 左偏（负偏）分布,0,0,变量值出现极大值,变量值出现极小值,2.U形分布 特征：两头大，中间小,0,靠近中间的变量值分布的频数少，靠近两端的变量值分布的频数多,3.J形分布 特征：一边小，一边大 （1）正J形分布 （2）反J形分布,0,0,四、统计表 统计表是用于展示数据的另一个工具，是将统计资料用表格的形式表现出来，将搜集到的杂乱无章的数据整理到一张统计表内，会使这些数据变得一目了然，清晰易懂。,统计表的种类 简单表、分组表、复合表 (P34) 统计表的编制规则 设计内容合理 标题简明、确切、概括地反应表的基本内容 主词宾词栏应先列各个项目，后列总计 空格处用“-”或“”代替。 应注明单位 必要时要在下端加注解。,练习：,一个金融产品的预期收益率的变化通常可以衡量其投资风险。预期收益率变化越小，投资风险越低；预期收益率变化越大，投资风险越高。从市场上分别抽取40只商业类股票和40只高科技类股票，根据上市公司上年派发的现金股利与本期股票价格可以计算出预期收益率。根据40种商业类股票的预期收益率和40种高科技类股票的预期收益率可以画出一下两个直方图，如果你是投资者，你会选择投资哪一类股票？,通过例子，我们可以归纳完整的统计过程包括： （1）收集数据：收集股票上年派发的现金股利与本期股票价格的数据。 （2）整理数据：计算收益率。 （3）分析数据：用图表的形式展示数据。 （4）做出决策：若是稳健型投资者，可选择商业类股票，若是激进型投资者，可选择高科技类股票。,作业： 1.设计常熟理工学院大学生就业意向调查方案； 2.根据调查方案设计调查表。,