统计建模-数据描述分析课件

概率统计建模李新民数学科学学院概率统计建模李新民1概率统计建模题n（1）CUMCM1993-B:足球队排名问题；足球队排名问题；n（2）CUMCM2001-B:公交车调度问题；公交车调度问题；n（3）CUMCM2002-B:彩票中的数学问题；彩票中的数学问题；n（4）CUMCM2004-D:公务员招聘问题；公务员招聘问题；n（5）CUMCM2005-A:长江水质的评价和预测问题；长江水质的评价和预测问题；n（6）CUMCM2006-B:艾滋病疗法评价与预测问题；艾滋病疗法评价与预测问题；n（7）CUMCM2007-A:中国人口预测问题中国人口预测问题n（8）CUMCM2008-D:NBA赛程的分析与评价问题赛程的分析与评价问题n（9）CUMCM2009-B:眼科病床的合理安排眼科病床的合理安排n（10）CUMCM2010-B:上海世博会影响分析与评价上海世博会影响分析与评价n（11）CUMCM2011-A:城市表层土壤重金属污染分析城市表层土壤重金属污染分析n（12）CUMCM2012-A:葡萄酒的评价葡萄酒的评价n（13）CUMCM2013-A:车道被占用对城市道路通行能力的影响车道被占用对城市道路通行能力的影响概率统计建模题（1）CUMCM1993-B:足球队排名问题；2主要内容n统计软件及描述性统计n回归分析n方差分析n多元统计分析主要内容统计软件及描述性统计3统计软件及描述性统计统计软件及描述性统计4SPSS统计软件SPSS统计软件5非专业统计人员的首选统计软件SPSS采用类似EXCEL表格的方式输入与管理数据，数据接口较为通用，能方便的从其他数据库中读入数据。其统计过程包括了常用的、较为成熟的统计过程，完全可以满足非统计专业人士的工作需要。非专业统计人员的首选统计软件SPSS采用类似EXCEL表格的6SPSS的功能n样本数据的描述和预处理；n假设检验(包括参数检验、非参数检验及其他检验);n方差分析n相关分析n回归分析n聚类分析n判别分析n因子分析n时间序列分析SPSS的功能样本数据的描述和预处理；7SPSS的窗口类型n数据编辑窗口n程序编辑窗口n输出窗口n简式输出窗口SPSS的窗口类型数据编辑窗口81、数据编辑窗口：（1）启动SPSS直接进入 （2）文件新建数据文件 File/New/Data1、数据编辑窗口：（1）启动SPSS直接进入 9 2、程序编辑窗口：文件新建语句文件 File/New/Syntax 2、程序编辑窗口：文件新建语句文件 103、输出窗口：现实统计方法运行输出的结果，对输出结果可以进行模块裁剪、编辑、存档等3、输出窗口：现实统计方法运行输出的结果，对输出结果可以11n利用频数分析可以方便地对数据按组进行归纳整理，对变量的数据有一个整体上的认识。（1）建立数据文件：例）建立数据文件：例1.sav（2）选择统计方法：）选择统计方法：AnalyzeDescriptiveStatisticsFrequencies，送入变量，点击确定，送入变量，点击确定（3）输出结果：）输出结果：例例1：对某大学：对某大学10名学生测量他们的血压名学生测量他们的血压x，得到如下数据：，得到如下数据：120120120134128102130132126126 频数分析利用频数分析可以方便地对数据按组进行归纳整理，对变量的数据有12其他：描述统计分析Descriptive等，图表其他：描述统计分析Descriptive等，图表13SPSS统计图SPSS统计图14条图条图散点图散点图线图线图直方图直方图饼图饼图面积图面积图箱式图箱式图正态正态Q-QQ-Q图图正态正态P-PP-P图图质量控制图质量控制图ParetoPareto图图自回归曲线图自回归曲线图高低图高低图交互相关图交互相关图序列图序列图频谱图频谱图误差线图误差线图统计图汇总条图散点图线图直方图饼图面积图箱式图正态Q-Q图正态P-P图15n在在对对数数据据进进行行深深入入加加工工之之前前，总应该对数据有所印象。总应该对数据有所印象。n可可以以借借助助于于图图形形和和简简单单的的运运算算，来了解数据的一些特征。来了解数据的一些特征。n由由于于数数据据是是从从总总体体中中产产生生的的，其其特特征征也也反反映映了了总总体体的的特特征征。对对数数据据的的描描述述也也是是对对其其总总体体的的一个近似的描述。一个近似的描述。在对数据进行深入加工之前，总应该对数据有所印象。16 一、定量变量的图表示一、定量变量的图表示:1.直方图直方图n对于一个定量变量，比如某个地区对于一个定量变量，比如某个地区（地区（地区1）测量了）测量了163个高三男生的身个高三男生的身高高（S3height1.txt）。n用图形来表示这个数据，使人们能够用图形来表示这个数据，使人们能够看出这个数据的大体分布或看出这个数据的大体分布或“形状形状”的一个办法是画的一个办法是画直方图直方图(histogram)。n图图1就是利用这个数据由就是利用这个数据由SPSS软件所软件所画的直方图。画的直方图。一、定量变量的图表示:1.直方图对于一个定量变17该图的横坐标是身高区间，这里每一格代表该图的横坐标是身高区间，这里每一格代表5cm的身高范围（格子的身高范围（格子宽度因不同的数据性质或要求而定，这里的格子宽度为宽度因不同的数据性质或要求而定，这里的格子宽度为5cm），而），而纵坐标为各种身高区间的身高的频数。纵坐标为各种身高区间的身高的频数。直方图直方图该图的横坐标是身高区间，这里每一格代表5cm的身高范围（格子182.盒型图盒型图n简单一些的是简单一些的是盒形图盒形图(boxplot，又称，又称箱图、箱线图、盒子图箱图、箱线图、盒子图)。n图图2的左边一个是根据地区的左边一个是根据地区1高三男生高三男生的身高数据所绘的盒形图；其右边的的身高数据所绘的盒形图；其右边的图代表另一个地区（地区图代表另一个地区（地区2）的高三）的高三学生的身高。学生的身高。2.盒型图简单一些的是盒形图(boxplot，又称箱图、箱线19盒型图盒型图盒子的中间横线是数据的中位数盒子的中间横线是数据的中位数(median)，封闭盒子的上下两横线，封闭盒子的上下两横线（边）为上下四分位数（点）；按照（边）为上下四分位数（点）；按照SPSS的默认选项，如果所有的默认选项，如果所有样本中的数目都在离四分位点样本中的数目都在离四分位点1.5倍盒子长度之内，则线的端点为最倍盒子长度之内，则线的端点为最大和最小值，否则线长就是大和最小值，否则线长就是1.5倍的盒子长度（盒子长度称为四分位倍的盒子长度（盒子长度称为四分位间距），在其外面的度量单独点出间距），在其外面的度量单独点出盒型图盒子的中间横线是数据的中位数(median)，封闭盒子203.茎叶图茎叶图 n在直方图和盒形图中，很难恢复数据在直方图和盒形图中，很难恢复数据的原貌。而另一种图：的原貌。而另一种图：茎叶图茎叶图(stem-and-leaf plots)可以恢复数据可以恢复数据n以地区以地区1高三男生身高为例（图高三男生身高为例（图3），），茎叶图既展示了分布形状又有原始数茎叶图既展示了分布形状又有原始数据。它象一片带有茎的叶子。茎为较据。它象一片带有茎的叶子。茎为较大位数的数字，叶为较小位数的数字。大位数的数字，叶为较小位数的数字。3.茎叶图 在直方图和盒形图中，很难恢复数据的原貌。而另一种21茎叶图茎叶图其中茎叶图中茎的单位为其中茎叶图中茎的单位为10cm，而叶子单位为，而叶子单位为1cm。比如，由于。比如，由于第一行茎为第一行茎为150cm，因此叶子中的九个数字，因此叶子中的九个数字001223344代表九个数代表九个数目目150、150、151、152、152、153、153、154、154cm等。每等。每行左边有一个频数（比如第一行有行左边有一个频数（比如第一行有9个数目，第二行有个数目，第二行有17个等等）；个等等）；可以看出最长的一行为从可以看出最长的一行为从165cm到到169cm的一段（有的一段（有35个数）。个数）。茎叶图其中茎叶图中茎的单位为10cm，而叶子单位为1cm。比224.散点图散点图 n数据会有两个变量，如美国男士和女数据会有两个变量，如美国男士和女士初婚年限数据（士初婚年限数据（marriage.txt）。）。n该数据描述了自该数据描述了自1900年到年到1998年男女年男女第一次婚姻延续的时间。第一次婚姻延续的时间。n这里年份是一个变量，婚姻延续时间这里年份是一个变量，婚姻延续时间是第二个变量。由于不可能将所有人是第二个变量。由于不可能将所有人的婚姻年限都给出来，所以每年就取的婚姻年限都给出来，所以每年就取了一个中间的值了一个中间的值(中位数中位数)作为代表。作为代表。4.散点图 数据会有两个变量，如美国男士和女士初婚年限数据（23散点图散点图散点图24二、二、定性变量的图表示：定性变量的图表示：1.饼图饼图n定性变量（或属性变量，分类变定性变量（或属性变量，分类变量）不能点出直方图、散点图或量）不能点出直方图、散点图或茎叶图，但可以描绘出它们各类茎叶图，但可以描绘出它们各类的比例。的比例。n下面用下面用SPSS绘的图绘的图5（饼图，（饼图，pie chart）表示了说世界各种主要语表示了说世界各种主要语言人数的比例言人数的比例.二、定性变量的图表示：1.饼图定性变量（或属性25饼图饼图饼图262.条形图条形图n而用同样数据画的图而用同样数据画的图6称为称为条形条形图（图（bar chart）。n从每一条可以看出讲各种语言从每一条可以看出讲各种语言的实际人数，而且分别给出了的实际人数，而且分别给出了每个语种中母语和日常使用的每个语种中母语和日常使用的人数（在图中并排放置）。条人数（在图中并排放置）。条形图显示比例不如饼图直观。形图显示比例不如饼图直观。2.条形图而用同样数据画的图6称为条形图（bar chart27条形图条形图条形图28三、统计量三、统计量n可用少量所谓汇总统计量或可用少量所谓汇总统计量或概括概括统计量统计量(summary statistic)来描述来描述定量变量的数据。定量变量的数据。n这些数字是从样本数据得来的，这些数字是从样本数据得来的，因而也是样本的函数，因而也是样本的函数，n任何样本的函数，只要不包含总任何样本的函数，只要不包含总体的未知参数，都称为体的未知参数，都称为统计量统计量(statistic)。n样本的随机性决定统计量的随机样本的随机性决定统计量的随机性（统计量也是随机变量）性（统计量也是随机变量）三、统计量可用少量所谓汇总统计量或概括统计量(summary291.数据的数据的“位置位置”-集中程度集中程度数据有位置吗？数据有位置吗？这里三个数据的位置一样吗？这里三个数据的位置一样吗？1.数据的“位置”-集中程度数据有位置吗？这里三个数据的位30n“位置位置”一般是关于数据中某变一般是关于数据中某变量观测值的量观测值的“中心位置中心位置”或者数或者数据分布的中心（据分布的中心（center或或center tendency）。）。n和这种和这种“位置位置”有关的统计量就有关的统计量就称为称为位置统计量位置统计量(location statistic)。n位置统计量当然不一定都是描述位置统计量当然不一定都是描述“中心中心”了，比如后面要讲的了，比如后面要讲的k百百分位数（或分位数（或k分位数）。分位数）。“位置”一般是关于数据中某变量观测值的“中心位置”或者数据分31n最最常常用用的的位位置置统统计计量量：算算术术平平均均数数，它它在在统统计计中中叫叫做做均均值值(mean)；严严格格地地说说叫叫做做样样本本均均值值(samplemean)，以以区区别别于于总总体体均均值。值。n如如果果记记样样本本中中的的观观测测值值为为x1,xn，则则样样本均值定义为本均值定义为最常用的位置统计量：算术平均数，它在统计中叫做均值(mean32n(样本样本)中位数中位数(median)是数据按照大小排列之是数据按照大小排列之后位于中间的那个数后位于中间的那个数(如果样本量为奇数如果样本量为奇数)，或者中间两个数目的平或者中间两个数目的平均均(如果样本量为偶数如果样本量为偶数)。n由于中位数不易被极端由于中位数不易被极端值影响，所以中位数比值影响，所以中位数比均值稳健均值稳健(robust)。(样本)中位数(median)是数据按照大小排列之后位于中33n上下四分位数（或分别称为第一四分位数和第三四分位数，first quantile,third quantile）则分别位于（按大小排列的）数据的上下四分之一的地方。上下四分位数（或分别称为第一四分位数和第三四分位数，firs34n一般地还称上四分位数为一般地还称上四分位数为75百分位数百分位数（75pecentile，有，有75的观测值小于的观测值小于它），下四分位数为它），下四分位数为25百分位数百分位数（有（有25的观测值小于它）。的观测值小于它）。n一般地，一般地，k百分位数百分位数（k-pecentile）意）意味着有味着有k的观测值小于它。的观测值小于它。n如果令如果令a a=k%，则则k百分位数也称为百分位数也称为a a分位数分位数(a a-quantile)。n样本中出现最多的数目，称为样本中出现最多的数目，称为众数众数(mode)一般地还称上四分位数为75百分位数（75 pecentile352.数据的数据的“尺度尺度”-离散程度离散程度n这两个数据“胖瘦”一样吗？2.数据的“尺度”-离散程度这两个数据“胖瘦”一样吗？36n从前面两个高三男生身高数据的盒从前面两个高三男生身高数据的盒形图。左边的数据平均要高些，但形图。左边的数据平均要高些，但右边的数据散布范围要小得多。右边的数据散布范围要小得多。统计中有许多尺度统计量。一般来说，数据越分散，尺度统计量的值越大。从前面两个高三男生身高数据的盒形图。左边的数据平均要高些，但37n极差极差(range)；就是极大值和极小值；就是极大值和极小值之间的差。之间的差。n前面两个高三男生身高数据的极差分前面两个高三男生身高数据的极差分别为别为50cm和和32cm。n盒形图盒子的长度为两个四分位数之盒形图盒子的长度为两个四分位数之差，称为差，称为四分位数极差或四分位间距四分位数极差或四分位间距(interquantile range)；它描述了；它描述了中间半数观测值的散布情况。极差和中间半数观测值的散布情况。极差和四分位极差实际上各自只依赖于两个四分位极差实际上各自只依赖于两个值，信息量太少。值，信息量太少。极差(range)；就是极大值和极小值之间的差。38n另另一一个个常常用用的的尺尺度度统统计计量量为为（样样本本）标标准准差差(standarddeviation)。度度量量样样本本中中各各数数值到均值距离的一种平均。值到均值距离的一种平均。n标标准准差差实实际际上上是是方方差差(variance)的的平平方方根根。如如果果记记样样本本中中的的观观测测值值为为x1,xn，则则样样本方差为本方差为另一个常用的尺度统计量为（样本）标准差(standard d39两个均值一样，但右边的要两个均值一样，但右边的要“胖胖”些，方差为左边的一些，方差为左边的一倍倍两个均值一样，但右边的要“胖”些，方差为左边的一倍40三、统计中几个重要的概率分布n1.二项分布：用二项分布：用B(n,p)或或Bin(n,p)表示表示n它它基基于于可可重重复复的的有有两两结结果果的的相相同同独独立立试试验（每次试验成功概率相同）的分布验（每次试验成功概率相同）的分布n例如抛硬币。例如抛硬币。n每个进入某商场的顾客是否购买某商品每个进入某商场的顾客是否购买某商品n每个被调查者是否认可某种产品每个被调查者是否认可某种产品n每一个新出婴儿的性别。每一个新出婴儿的性别。三、统计中几个重要的概率分布1.二项分布：用B(n,p)或B41n概率公式：概率公式：这里为二项式系数，或记为p(k)表示表示n次次Bernoulli试验中成功试验中成功k次次的概率，的概率，p为每次试验成功的概率。为每次试验成功的概率。概率公式：这里为二项式系数，或记为p(k)表示n次Berno42图图4.1 九个二项分布九个二项分布B(5,p)(p0.1到到0.9)的概率分布图的概率分布图图4.1 九个二项分布B(5,p)43 n另另一一个个常常用用离离散散分分布布是是Poisson分分布布（翻翻译译成成“泊泊松松分分布布”或或“普普阿阿松松分布分布”）。）。n它它可可以以认认为为是是衡衡量量某某种种事事件件在在一一定定期间出现的数目的概率。期间出现的数目的概率。n比比如如说说在在一一定定时时间间内内顾顾客客的的人人数数、打打入入电电话话总总机机电电话话的的个个数数、放放射射性性物物质质放放射射出出来来并并到到达达某某区区域域的的粒粒子子数等等。数等等。另一个常用离散分布是Poisson分布（翻译成“泊松分布”44n参数为参数为l l的的Poisson分布变量的概率分分布变量的概率分布为（布为（p(k)表示表示Poisson变量等于变量等于k的的概率）概率）参数为l的Poisson分布变量的概率分布为（p(k)表示P45参数为参数为3、6、10的的Poisson分布分布（只标出了（只标出了20之内的部分）之内的部分）参数为3、6、10的Poisson分布（只标出了20之内的部46离散型随机变量的数学期望(expected value)1.离散型随机变量X的所有可能取值xi与其取相对应的概率pi乘积之和2.描述离散型随机变量取值的集中程度3.记为 或E(X)4.计算公式为离散型随机变量的数学期望(expected value)离47离散型随机变量的方差(variance)1.随机变量X的每一个取值与期望值的离差平方和的数学期望，记为 2 或D(X)2.描述离散型随机变量取值的分散程度3.计算公式为4.方差的平方根称为标准差，记为 或离散型随机变量的方差(variance)随机变量X的每一个48离散型数学期望和方差(例题分析)【例例例例】一一家家电电脑脑配配件件供供应应商商声声称称，他他所所提提供供的的配配件件100100个中拥有次品的个数及概率如下表个中拥有次品的个数及概率如下表 次品数X=xi0123概率P(X=xi)pi0.750.120.080.05每每100100个配件中的次品数及概率分布个配件中的次品数及概率分布 求该供应商次品数的数学期望和标准差求该供应商次品数的数学期望和标准差 离散型数学期望和方差(例题分析)【例】一家电脑配件供应49 连续变量的分布连续变量的分布n取取连连续续值值的的变变量量，如如高高度度、长长度度、重重量量、时时间间、距距离离等等等等；它它们们被被称称为为连连续续变变量量(continuousvariable)。n换换言言之之，一一个个随随机机变变量量如如果果能能够够在在一一区区间间（无无论论这这个个区区间间多多么么小小）内内取取任任何何值值，则则该该变变量量称称为为在在此此区区间间内内是是连连续续的的，其其分布称为连续型概率分布。分布称为连续型概率分布。n它它们们的的概概率率分分布布很很难难准准确确地地用用离离散散变变量量概率的条形图表示。概率的条形图表示。连续变量的分布取连续值的变量，如高度、长度、重量、时间、50 正态分布正态分布n在在市市场场上上的的精精制制盐盐很很多多是是一一公公斤斤袋袋装装，上上面面标标有有“净净含含量量1kg”的的字字样样。但但当当你你用用稍稍微微精精确确一一些些的的天天平平称称那那些些袋袋装装盐盐的的重重量量时时，会会发发现现有有些些可可能能会会重重些些，有有些些可可能能会会轻轻些些；但但都都是是在在1kg左左右右。多多数数离离1kg不不远远，离离1kg越越近近就就越越可可能能出出现现，离离1kg越远就越不可能。越远就越不可能。n一一般般认认为为这这种种重重量量分分布布近近似似地地服服从从最最常常用用的的正正态态分分布布(normaldistribution，又又叫叫高斯分布，高斯分布，Gaussiandistribution)。正态分布在市场上的精制盐很多是一公斤袋装，上面标有“净含51n近近似似地地服服从从正正态态分分布布的的变变量量很很常常见见，象象测测量量误误差差、商商品品的的重重量量或或尺尺寸寸、某某年年龄龄人人群群的的身身高高和和体体重重等等。等等。n在在一一定定条条件件下下，许许多多不不是是正正态态分分布布的的样样本本均均值值在在样样本本量量很很大大时时，也可用正态分布来近似。也可用正态分布来近似。近似地服从正态分布的变量很常见，象测量误差、商品的重量或尺寸52n正正态态分分布布的的密密度度曲曲线线是是一一个个对对称称的的钟钟型型曲曲线线（最最高高点点在在均均值值处处）。正正态态分分布布也也是是一一族族分分布布，各各种种正正态态分分布布根根据据它它们们的的均均值值和和标标准准差差不不同同而而有区别。有区别。n一一个个正正态态分分布布用用N(m m,s s)表表示示；其其中中m m为为均均值值，而而s s为为标标准准差差。也也常常用用N(m m,s s2 2)来来表表示示，这这里里s s2 2为为方方差差（标标准差的平方）。准差的平方）。正态分布的密度曲线是一个对称的钟型曲线（最高点在均值处）。正53n标标准准差差为为1的的正正态态分分布布N(0,1)称称为为标标准准正正态分布态分布(standardnormaldistribution)。n标准正态分布的密度函数用标准正态分布的密度函数用f f(x)表示。表示。n任任何何具具有有正正态态分分布布N(m m,s s2 2)的的随随机机变变量量X都可以用简单的变换：都可以用简单的变换：Z=(X-m)/sm)/s，成为标准正态随机变量。成为标准正态随机变量。标准差为1的正态分布N(0,1)称为标准正态分布(stan54两条正态分布的密度曲线。左边是两条正态分布的密度曲线。左边是N(-2,0.5)分布，右边是分布，右边是N(0,1)分布分布 两条正态分布的密度曲线。左边是N(-2,0.5)分布，右边是55n正态分布随机变量正态分布随机变量 X 的密度函数的密度函数曲线呈中间高两边低、对称的钟形，曲线呈中间高两边低、对称的钟形，期望（均值）和方差分别为期望（均值）和方差分别为正态分布随机变量 X 的密度函数曲线呈中间高两边低、对称的钟56n68%的数值落在距均值左右1 个标准差的范围内，即 P X +=0.68；n95%的数值落在距均值左右2 个标准差的范围内，即 P 2 X +2 =0.95；n99.7%的数值落在距均值左右3 个标准差的范围内，即 P 3 X +3 =0.997.68%的数值落在距均值左右1 个标准差的范围内，即57n例例4(noodle.txt)某某厂厂家家生生产产的的挂挂面面包包装装上上写写明明“净净含含量量450克克”。在在用用天天平平称称量量了了商商场场中中的的48包包挂挂面面之之后后，得得到到样样本本量量为为48的的关关于于挂挂面面重重量量（单位：克）的一个样本：（单位：克）的一个样本：参数检验与置信区间例4(noodle.txt)某厂家生产的挂面包装上写明“净含58提出原假设：提出原假设：选择统计方法：选择统计方法：AnalyzeMeansOne-simpleTtest，在底部在底部Testvalue框输入检验值框输入检验值450具体判断：具体判断：根据t分布计算出显著性概率（在许多书中称为P值），SPSS中为sig.对于给定的显著性水平 ，若sig.0.05，接受，接受H0；平均差平均差95%的置信区的置信区间为（-2.5876,0.6084），），则均均值的的95%置信区置信区间为（450-2.5876,450+0.6084）单一样本T检验结果分析样本个数48，样本均值449.010461均值比较Compare Means菜单详解n1Means过程求分类变量的综合描述统计量，目的在于比较n2One-Samples T Test过程检验单个变量的均值是否与给定的常数之间存在差异。n3Independent-Samples T Test过程 检验两个不相关的样本来自具有相同均值的总体，检验两个不相关的样本来自具有相同均值的总体，例如想知道购买某产品的顾客与不购买该产品的顾客例如想知道购买某产品的顾客与不购买该产品的顾客的平均收入是否相同。的平均收入是否相同。n4Paired-Samples T Test过程检验两个相关的样本是否来自具有相同均值的总体。常用与被观测对象在实验前后是否有差异。n5One-Way ANOVA过程单因素方差分析，在下节介绍。均值比较Compare Means菜单详解1Means过62