非参数统计第1章绪论课件

添加标题,第一章 绪 论,主要内容,1.,统计的实践,2.,非参数统计方法简介,3.,参数统计过程与非参数统计的比较,4.,非参数统计的历史,5.,必要的准备知识,1.,统计的实践,我们周围的世界,符号和数据就是整个世界。,数据繁衍，信息匮乏：观察数据激增，设计数据细分。,数据的复杂性和不确定性的特点更为突出。,数据分析方法和手段不足。,统计的方法论,就,方法论而言，统计分析主要解决两方面的问题：,寻找数据内部差异中共同的特征。,寻找数据之间本质的差异。,统计分析的目标是从数据中发现比数据本身更为有用的知识,2.,非参数统计方法简介,参数方法,定义：样本被视为从分布族的某个参数族抽取出来的总体的代表，而未知的仅仅是总体分布具体的参数值，推断问题就转化为对分布族的若干个未知参数的估计问题，用样本对这些参数做出估计或者进行某种形式的假设检验，这类推断方法称为,参数方法,。,比如：,（,1,）研究保险公司的索赔请求数时，可能假定索赔请求数来自泊松分布,P,(,a,);,（,2,）,研究化肥对农作物产量的影响效果时，平均意义之下，每测量单元（可能是）产量服从正态分布,N,(,a,b,).,一个典型的参数检验过程,1.,总体参数,Example: Population Mean,2.,假定数据的形态为,Whole Numbers or Fractions,Example: Height in Inches (72, 60.5, 54.7,),3.,有很强的假定,Example:,正态分布,4.,例子,: Z Test, t Test,2,Test,一个例子：,对两组学生进行语法测试，如何比较两组学生的成绩是否存在差异？,原始数据,秩,25,30,29,34,24,25,13,32,24,30,32,37,9.5,14.0,12.0,21.0,7.5,9.5,2.0,17.5,7.5,14.0,17.5,24.0,44,33,22,8,47,31,40,30,33,35,18,21,35,28,22,26.0,19.5,5.5,1.0,27.0,16.0,25.0,14.0,19.5,22.5,3.0,4.0,22.5,11.0,5.5,非参数检验过程,1.,不涉及总体的分布,Example: Probability Distributions, Independence,2.,数据的形态各异,定量数据,定序数据,Example: Good-Better-Best,名义数据,Example: Male-Female,3.,例子,:,Wilcoxon,Rank Sum Test/Run Test,F, F, F, F, F, F, F, F, M, M, M, M, M, M, M,F, M, F, M, F, M, F, M, F, M, F, M, F, M, F,3.,参数统计与非参数统计比较,对总体假定较少，有广泛的适用性，结果稳定性较好。,1.,假定较少,2.,不需要对总体参数的假定,3.,与参数结果接近,针对几乎所有类型的数据形态。,容易计算,在计算机盛行之前就已经发展起来。,非参数检验的优点,1.,可能会浪费一些信息,特别当数据可以使用参数模型的时候。,Example: Converting Data From Ratio to Ordinal Scale,2.,大样本手算相当麻烦,3.,一些表不易得到,非参数检验的弱点,本学期内容结构体系,非参数统计的主要内容,内容,非参数检验,相应的参数检验,2独立样本,中位数检验,秩和检验,独立样本,t,检验,2 配对样本,/单一样本,符号检验,Wilcoxon,检验,成对样本,t-,检验,2独立样本,Kruskal,-Wallis,检验,单一因素,ANOVA,两因素,Friedman,检验,双因素,ANOVA,相关性检验,Spearman,秩相关,Pearson,相关性检验,分布的检验,Kolmogorov,-Smirnov,4.,非参数统计的历史,非参数统计的历史,非参数统计的形成主要归功于,20,世纪,40,年代,50,年代化学家,F.Wilcoxon,等人的工作,。,Wilcoxon,于,1945,年提出两样本秩和检验，,1947,年,Mann,和,Whitney,二人将结果推广到两组样本量不等的一般情况；,Pitman,于,1948,年回答了非参数统计方法相对于参数方法来说的相对效率方面的问题；,非参数统计的历史（续）,60,年代中后期，,Cox,和,Ferguson,最早将非参数方法应用于生存分析。,70,年代到,80,年代，非参数统计借助计算机技术和大量计算获得更稳健的估计和预测，以,P.J.Huber,以及,F.Hampel,为代表的统计学家从计算技术的实现角度，为衡量估计量的稳定性提出了新准则。,90,年代有关非参数统计的研究和应用主要集中在非参数回归和非参数密度估计领域，其中较有代表性的人物是,Silverman,和,J. Fan,。,5.,必要的准备知识,（1）,假设检验,（,2,）渐进相对效率,（,3,）秩检验统计量,（,4,）,U,统计量,(1),假设检验回顾,问题：,(,a,),新引进的生产过程是否优于旧过程？,（,b,）,几种不同的肥料哪一种更有效？,（,c,）,大学生的就业率与城市失业率之间是否存在关系？,内容,（,a,）,假设的真正涵义和作用,（,b,）,如何选择零假设和备择假设,（,c,）,检验的,p,-,值和显著性水平的作用,（,d,）,两类错误,（,e,）,置信区间和假设检验之间的关系,单边检验和双边检验的,p,值?,例,2,：,Poisson,分布,H,0,: 1,H,1,:,按照假设检验的步骤，可以选取统计量,为检验统计量，检验的,目的是使得,C=5,C=7,同样显著性水平之下的检验在不同样本量下的势函数,0.9901263,0.9997043,（,2,）检验的相对效率,渐进效率的概念,分位数和非参数置信区间,秩检验统计量,无,结点秩的定义,例题：某学院本科三年级有,9,个专业组成，统计每个专业学生每月消费数据如下，用,S-Plus,求消费数据的秩和顺序统计量的现值：,300 230 208 580 690 200 263 215 520,2.,有结数据的秩,设样本 取自总体,X,的简单随机抽样，将数据排序后,相同的数据点组成一个“结”，称重复数据的个数为结长。,例,1,：,3.8 3.2 1.2,1.2,3.4 3.2,3.2,解：结长为,3,。,U,统计量,核的,概念,例：总体期望有无偏估计,X,1,，,总体期望是,1,可估的，,X,1,是总体期望的核。,对称核和,U,统计量的概念,U,统计量的特征计算,U,统计量的大样本性质,U,统计量举例,本章内容回顾,1.,统计的实践,2.,非参数统计方法简介,3.,参数统计过程与非参数统计的比较,4.,非参数统计的历史,5.,必要的准备知识,