空间数据的统计分析方法ppt课件

,1,空间统计应用,汇总空间分布的关键特征 识别具有统计显著性的空间聚类和空间异常值 评估聚集或离散的整体模式 根据属性相似性对要素进行分组 空间关系建模,2,3,地统计在科学和工程领域中的应用,采矿行业 ：量化矿物资源和评估项目的可行性 环境科学：评估污染级别以判断是否对环境和人身健康构成威胁，以及能否保证修复。 土壤科学：绘制土壤营养水平（氮、磷、钾等）和其他指标（例如导电率），以便研究它们与作物产量的关系和规定田间每个位置的精确化肥用量。 气象：温度、雨量和相关的变量（例如酸雨）的预测 公共健康领域：预测环境污染程度及其与癌症发病率的关系。,4,地统计分析用于研究区域中已测量的采样点为同一区域内其他未测量位置创建准确预测。探索性空间数据分析工具用于评估数据的统计属性，比如空间数据变异性、空间数据相关性和全局趋势。,探索性空间数据分析,采用探索性空间数据分析工具来研究 喀尔巴阡山中监测站处获取的臭氧测量值的属性,5,表面预测和误差建模,白俄罗斯放射铯土壤污染级别的预测图,地统计工具可生成各种类型的地图图层，包括预测图、分位图、概率图、预测标准误差图。,6,阈值制图,概率图来预测值超过临界阈值的位置。,暗橙色和红色显示的位置表示概率大于 62.5%，此处放射性铯 污染超过森林浆果中最大允许级别（临界阈值）。,7,模型验证和诊断,预测伊利诺斯州农场的有机物,将输入数据拆分成两个子集。用数据的第一个子集开发预测的模型。然后使用“验证”工具，比较预测值和其余位置的已知值。,8,协同克里金法的表面预测,探索臭氧（主变量）和二氧化氮（二级变量）之间的空间相关性。在绘制臭氧地图时，协同克里金法可使用二氧化氮数据改进预测。,9,第七章 空间数据的统计分析方法,10,空间数据的统计分析 着重于空间物体和现象的非空间特性的统计分析，研究如何以数学统计模型来描述和模拟空间现象和过程。,11,空间数据统计分析的目的,描述事物在空间上的分布特征（随机的、聚集的或规则的）。 分析数据的空间自相关性，空间自相关性对空间格局的影响，如何利用这种关系构建模型。,12,空间数据统计分析的流程,原始数据,检查、分析数据,选择合适的模型,检验模型或模型比较,探索数据暗含的特点和规律，比如是否为正态分布、有没有趋势效应、各向异性等,进行表面预测。包括半变异模型的选择和预测模型的选择。,最后检验模型是否合理或几种模型进行对比。,分析结果,13,一 基本统计量 二 探索性空间数据分析 三 地统计分析 四 克里金插值方法 五 应用案例,主要内容,14,一 基本统计量,基 本 统 计 量,15,从离散样本点,连续表面,插 值 方 法 的 选 择,模 型 参 数 的 设 置,16,不同的插值方法,17,模型参数设置 有多少样本点参与到计算中来？ 每个样本点的权重是相同的吗？ 选择什么函数来模拟表面？ ,了解数据开始,探索性空间数据分析 Explore Spatial Data Analysis,18,一 基本统计量 二 探索性空间数据分析 三 地统计分析 四 克里金插值方法 五 应用案例,主要内容,19,二 探索性空间数据分析,对样本数据性质的研究，没有先验的理论假设，通过对数据全面深入分析来了解其在空间分布、空间结构以及空间相互影响方面的特征。,Exploratory Spatial Data AnalysisESDA,20,（一）基本分析工具 （二）检验数据分布 （三）寻找数据离群值 （四）全局趋势分析 （五）空间自相关分析,二 探索性数据分析,21,22,（一）基本分析工具,直方图：检查数据集的分布和汇总统计数据。 正态 QQ 图和常规 QQ 图：分别评估数据集是否是正态分布以及研究两个数据集是否具有相似的分布。 Voronoi图：直观地检查数据集的空间可变性和稳定性。 趋势分析：查看并检查数据集的空间趋势。 半变异函数/协方差云：评估数据集的空间依赖性（半变异函数和协方差）。 交叉协方差云：评估两个数据集间的空间依赖性（协方差）。,23,探索性数据分析：直方图,直方图：对采样数据按一定的分级方案（等间隔分级、标准差分等）进行分级，统计采样点落入各个级别中的个数或占总采样数的百分比，并通过条带图或柱状图表现出来。 直方图的一些基本统计量，可以对数据有个初步的了解。 直方图可以直观的反映采样数据分布特征、总体规律，可以用来检验数据分布和寻找数据离群值。,24,将数据分为若干区间，统计每个区间内的要素个数 给出一组统计量 检验数据是否符合正态分布以及发现离群值,25,直方图,频率分布 汇总统计数据,用条形图表示，显示了观察值位于特定区间或组之内的频率。,通过描述统计数据位置、离散度和形状的统计量来概括数据,26,作为一种快速检查手段，如果平均值和中值近似相同，则初步证明数据可能呈正态分布。 该臭氧数据直方图表示数据为单峰（一个高峰）并且向右偏移。分布图的右侧尾部表示存在的采样点相对较少但臭氧浓度值较高。该数据不接近于正态分布。,探索性数据分析：直方图,27,变换,直方图,对数变换,28,评估具有n个值的单变量样本数据是否服从正态分布,正态 QQ 图,如何构建正态 QQ 图？,在累积值之间使用线性内插技术，构建一个与其具有相同累积分布的理论正态分布图，求对应的正态分布值； 标准正态分布（平均值为 0 标准方差为 1 的高斯分布,以横轴为理论正态分布值，竖轴为采样点值，绘制样本数据相对于其标准正态分布值的散点图。,探索性数据分析：QQplot图,正态QQPlot分布图（Normal Quantile-quantile Plot）, 对采样值进行排序； 计算出每个排序后的数据的累积值（i-0.5）/n； 绘制累积值分布图；,29,普通 QQ 图,普通 QQ 图,评估两个数据集的分布的相似程度。,30,使用 QQ 图检查数据分布,正态 QQ 图上的点可指示数据集的单变量分布的正态性。如果数据是正态分布的，点将落在 45 度参考线上。如果数据不是正态分布的，点将会偏离参考线。,31,32,如果在数据中存在趋势，则该趋势就是可以通过数学公式表示非随机（确定性）组成部分。如：通过平面表示一个平缓的山坡。山谷可以使用二阶多项式通过创建 U 形来表示出来。 将局部变化添加到表面。使用其中某个平滑函数为趋势建模,从数据中移除趋势,通过为残差（移除趋势后的剩余部分）建模继续进行分析。为残差建模时，将分析表面中的局部变化。 通过“趋势分析”工具可以识别输入数据集中存在的/不存在的趋势，并且可以识别出最佳拟合此趋势的多项式阶数。,识别数据中的全局趋势,探索性数据分析：趋势分析,33,趋势分析,“趋势分析”工具提供数据的三维透视图。采样点的位置绘制在 x,y 平面上。在每个采样点的上方，值由 z 维中的杆的高度给定。 “趋势分析”工具将散点图投影到 x,z 平面和 y,z 平面上。可以将其视为通过三维数据形成的横向视图。 多项式即会根据投影平面上的散点图进行拟合。 附加要素是您可以旋转数据来隔离方向趋势。,34,趋势很明显，呈倒置的 U 形。这表明可使用二阶多项式对数据进行拟合。 趋势的影响力从区域的中心到各个边界逐渐减弱（即，最大值出现在区域的中心，最小值出现在边的附近）。,35,平面n个离散点，把平面分成n个区，每个区包括一个点，该点所在的区是到该点距离最近的点的集合。,Voronoi图的定义:,探索性数据分析：Voronoi图,36,创建 Voronoi 多边形，以使多边形内的各个位置距该多边形内的采样点的距离小于距任何其他采样点的距离。 创建这些多边形后，采样点的相邻点将被定义为与该所选采样点共享多边形一条边的任何其他采样点。 亮绿色的采样点被一个面包围，这个面以红色高亮显示。与其他任何采样点（以深蓝色小圆点表示）相比，红色面内的每个位置更接近亮绿色采样点。蓝色的面都与红色的面共享一条边，因此，蓝色面内的采样点是亮绿色采样点的相邻点。,检查局部变化,Voronoi 地图是由围绕采样点的位置形成的一系列多边形所构成的地图。,37,通过采用红色和蓝色多边形中采样点的”值”来计算局部值。 然后将此局部值指定给红色多边形。 将针对所有多边形及其相邻点重复此过程，并以色带的形式显示计算结果，以区分具有高局部值和低局部值的区域。,检查局部变化,Voronoi 地图是由围绕采样点的位置形成的一系列多边形所构成的地图。,38,探索性数据分析- 半变异函数/协方差云,39,半变异函数和协方差函数将邻近事物比远处事物更相似这一假设加以量化。 半变异函数和协方差都将统计相关性的强度作为距离函数来测量。 对半变异函数和协方差函数建模的过程就是半变异函数或协方差曲线与经验数据拟合。目标是达到最佳拟合，并将对现象的认知纳入模型，使模型便可用于预测。,40,半变异函数定义为 (si,sj) = var(Z(si) - Z(sj), 其中 var 是方差。 如果两个位置 si 和 sj，在 d(si, sj) 的距离测量上彼此相近，那么会希望这两个位置相似，以便缩小两个位置的差值 Z(si) - Z(sj) 的大小。 当 si 和 sj 距离逐渐增大时，它们变得越来越不相似，它们的值 Z(si) - Z(sj) 的差异也会增大。,半变异函数,典型半变异函数的解析图,标识的是差异,41,协方差函数定义为 C(si, sj) = cov(Z(si), Z(sj), 其中 cov 是协方差。 当两个位置si 和 sj 彼此相近时，希望这两个位置相似，而它们的协方差（相关性）会变大。 当 si 和 sj 距离逐渐增大时，它们变得越来越不相似，并且它们的协方差会变为零。,协方差函数,典型协方差函数的解析图,标识的是相关性,42,在半变异函数和协方差函数关系： (si, sj) = sill - C(si, sj), Sill为基台，使用两种函数中的任一种来执行预测，一般采用半变异函数。,半变异函数和协方差函数之间的关系,典型半变异函数的解析图,典型协方差函数的解析图,43,了解半变异函数：变程、基台和块金,半变异函数显示测量采样点的空间自相关。,块金:测量误差或小于采样间隔距离处的空间变化源,变程:半变异函数的模型首次呈现水平状态的距离,基台:半变异函数模型在变程处所获得的值（y 轴上的值）,44,半变异函数/协方差云,每一个点代表一个点对 空间距离越近，相关性越大 发现离群值以及是否存在各向异性,在半变异函数图中，相互之间最接近的位置应该具有较小的半变异函数值。随着位置对之间的距离增加，半变异函数值也应该增加。但当到达某个距离时云会变平，这表示相互间的距离大于此距离的点对的值不再相关。,45,观察半变异函数图，如果出现某些非常接近的数据位置（在 x 轴上接近零）却具有高于预期的半变异函数值（在 y 轴上的高值），则应该调查这些位置对，看一下是否存在不准确的数据。,46,具有典型半变异函数值的位置对，其点对之间的距离大致相同。 其中的大多数连线与海岸线大致平行，可以看到数据受到方向因素的影响。,47,（二）检验数据分布,在地统计分析中，克里金方法是建立在平稳假设的基础上，并假设数据服从正态分布。如果数据不服从正态分布，需要进行一定的数据变换，从而使其服从正态分布。因此，检验数据分布特征，了解和认识数据具有非常重要的意义。,48,（三）查找全局异常值和局部异常值,全局异常值是相对数据集中的所有值具有非常高值或非常低值的已测量采样点。 局部异常值是一个已测量采样点，具有整个数据集正常范围内的值，但查看周围点时，其值显得异常高或异常低。 识别异常值的原因有两个： 如果异常值是现象中的真实异常情况，那么这可能是研究和理解现象的最重要的点。 如果异常值是由数据输入过程中的错误导致的，那么在创建表面之前应该进行校正或移除。,49,通过直方图工具查找异常值,50,通过半变异函数/协方差云识别异常值,如果数据集中存在具有异常高值的全局异常值，则无论什么距离所有点和异常值的配对在半变异函数云中也将具有高值。,51,彼此靠近的成对位置具有高半变异函数值，当把这些点擦除后，可以看出所有这些点都和单个位置配对。 此位置可能是局部异常值。,局部异常值,52,通过 Voronoi 制图查找局部异常值,通过采用红色和蓝色多边形中采样点的”值”来计算局部值。 然后将此局部值指定给红色多边形。 将针对所有多边形及其相邻点重复此过程，并以色带的形式显示计算结果，以区分具有高局部值和低局部值的区域。,Voronoi 地图是由围绕采样点的位置形成的一系列多边形所构成的地图。,53,（四）全局趋势分析,空间趋势反映了空间物体在空间区域上变化的主体特征，它主要揭示了空间物体的总体规律，而忽略局部的变异。 趋势面分析是根据空间抽样数据，拟合一个数学曲面，用该数学曲面来反映空间分布的变化情况。,54,趋势分析透视图,55,（五）空间自相关分析,通过探索数据，能够更好地了解测量值之间的空间自相关，有助于在选择空间预测的模型时做出更好的决策。 各向同性：空间自相关仅依赖于两个位置之间的距离。 各向异性：对于较长的距离，事物在某些方向上比在其他方向上更相似。半变异函数和协方差中存在这种方向影响。,56,利用“半变异函数/协方差云”工具探索空间结构,半变异函数云中选择相隔一定距离的所有位置对，可以对其进行操作。,数据的全局自相关,57,利用“半变异函数/协方差云”工具查找方向影响,查看半变异函数表面时，半变异函数的值中可能存在方向差异。单击显示搜索方向并设置角度和带宽时，将会看到连在一起的位置具有非常类似的值。,58,探索数据分析结果,臭氧数据为单峰，但并不是非常接近于正态分布，如直方图中所示。 正态 QQ 图也显示出数据不呈正态分布，因为图中的点没有形成一条直线。可能需要进行数据转换。 通过“趋势分析”工具可以看到数据呈现一种趋势，将该趋势细化后，可以看出二阶多项式是对其进行的最佳拟合。 半变异函数/协方差云说明了极高的半变异函数值大部分以垂直于海岸线的连线表示。使用此工具进行的分析表明插值模型应该考虑到各向异性。,59,一 基本统计量 二 探索性空间数据分析 三 地统计分析 四 克里金插值方法 五 应用案例,主要内容,60,地统计（Geostatistics）又称地质统计，以区域化变量为基础，借助变异函数，研究既具有随机性又具有结构性，或空间相关性和依赖性的自然现象的一门科学。 地统计分析理论基础： 前提假设 区域化变量 变异分析 空间估值,地统计概念,61,前提假设,随机过程 统计学认为研究区域中的所有样本值都是随机过程的结果，即所有样本值都不是相互独立的，它们是遵循一定的内在规律的。地统计学就是要揭示这种内在规律，并进行预测。 正态分布 在统计学分析中，假设大量样本是服从正态分布的，地统计学也不例外。在获得数据后首先应对数据进行分析，若不符合正态分布的假设，应对数据进行变换，转为符合正态分布的形式，并尽量选取可逆的变换形式。,62,前提假设,平稳性 均值平稳，即假设均值是不变的并且与位置无关； 与协方差函数有关的二阶平稳和与半变异函数有关的内蕴平稳。 二阶平稳是假设具有相同的距离和方向的任意两点的协方差是相同的，协方差只与这两点的值相关而与它们的位置无关。内蕴平稳假设是指具有相同距离和方向的任意两点的方差（即变异函数）是相同的。 二阶平稳和内蕴平稳都是为了获得基本重复规律而作的基本假设，通过协方差函数和变异函数可以进行预测和估计预测结果的不确定性。,63,区域化变量,当一个变量呈现一定的空间分布时，称之为区域化变量，它反映了区域内的某种特征或现象。 区域化变量具有两个显著特征：随机性和结构性。区域化变量是一个随机变量，具有局部的、随机的、异常的特征；区域化变量具有一定的结构特点，变量在点x与偏离空间距离为h的点x+h处的值Z(x)和Z(x+h)具有某种程度的相似性，即自相关性。 区域化变量还具有空间局限性、不同程度的连续性和不同程度的各向异性等特征。,64,变异分析,半变异值的变化随着距离的加大而增加，协方差随着距离的加大而减小。这主要是由于半变异函数和协方差函数都是事物空间相关系数的表现，当两事物彼此距离较小时，它们应该是相似的，因此协方差值较大，而半变异值较小；反之，协方差值较小，而半变异值较大。,65,空间估值,首先是获取原始数据，检查、分析数据； 然后选择合适的模型进行表面预测； 最后检验模型是否合理或几种模型进行对比。,66,地统计模型构建流程,通过探索性空间数据分析 (ESDA) 和变异分析来检查数据； 构建满足需要的克里金模型 通过执行交叉验证和比较备用模型检查结果是否准确以选择最佳的一个。,67,一 基本统计量 二 探索性空间数据分析 三 地统计分析 四 克里金插值方法 五 应用案例,主要内容,68,克里金插值基础,克里金方法（Kriging）又称空间局部插值法，是以变异函数理论和结构分析为基础，在有限区域内对区域化变量进行无偏最优估计的一种方法，是地统计学的主要内容之一。 实质是利用区域化变量的原始数据和变异函数的结构特点，对未知样点进行线性无偏、最优估计。无偏是指偏差的数学期望为0，最优是指估计值与实际值之差的平方和最小。,69,在克里金插值过程中，需注意以下几点： 数据应符合前提假设（随机过程、正态分布、平稳假设） 数据应尽量充分，样本数尽量大于80，每一种距离间隔分类中的样本对数尽量多于10对 在具体建模过程中，很多参数是可调的，且每个参数对结果的影响不同。如：块金值：误差随块金值的增大而增大；基台值：对结果影响不大；变程：存在最佳变程值；拟合函数：存在最佳拟合函数 当数据足够多时，各种插值方法的效果相差不大。,克里金插值基础,70,克里金插值基础,71,普通克里金插值,普通克里金（Ordinary Kriging）是区域化变量的线性估计，它假设数据变化成正态分布，认为区域化变量Z的期望值是未知的。插值过程类似于加权滑动平均，权重值的确定来自于空间数据分析。 ArcGIS中普通克里金插值包括4部分功能： 创建预测图（Prediction Map） 创建分位数图（Quantile Map） 创建概率图（Probability Map） 创建标准误差预测图（Prediction Standard Error Map）,72,简单克里金插值,简单克里金是区域化变量的线性估计，它假设数据变化成正态分布，认为区域化变量Z的期望值为已知的某一常数。 ArcGIS中简单克里金插值包括4部分功能： 创建预测图（Prediction Map） 创建分位数图（Quantile Map） 创建概率图（Probability Map） 创建标准误差预测图（Prediction Standard Error Map）,73,泛克里金插值,泛克里金假设数据中存在主导趋势，且该趋势可以用一个确定的函数或多项式来拟合。在进行泛克里金分析时： 分析数据中存在的变化趋势，获得拟合模型； 对残差数据（即原始数据减去趋势数据）进行克里金分析； 将趋势面分析和残差分析的克里金结果加和，得到最终结果。 ArcGIS中泛克里金插值包括4部分功能： 创建预测图（Prediction Map） 创建分位数图（Quantile Map） 创建概率图（Probability Map） 创建标准误差预测图（Prediction Standard Error Map）,74,指示克里金插值,在很多情况下，并不需要了解区域内每一个点的属性值，而只需了解属性值是否超过某一阈值，则可将原始数据转换为（0，1）值，选用指示克里金法（Indicator Kriging）进行分析。ArcGIS中指示克里金插值包括2部分功能： 创建概率图（Probability Map） 创建标准误差指示图（Standard Error of Indicator Map）,75,析取克里金插值,如果原始数据不服从简单的分布（高斯或对数正态等），则可选用析取克里金法（Disjunctive Kriging），它可以提供非线性估值方法。 ArcGIS中析取克里金插值包括4部分功能： 创建预测图（Prediction Map） 创建概率图（Probability Map） 创建标准误差预测图（Prediction Standard Error Map） 创建标准误差指示图（Standard Error of Indicator Map）,76,协同克里金插值,当同一空间位置样点的多个属性之间存在某个属性的空间分布与其它属性密切相关，且某些属性获得不易，而另一些属性则易于获取时，如果两种属性空间相关，可以考虑选用协同克里金法。 协同克里金法把区域化变量的最佳估值方法从单一属性发展到二个以上的协同区域化属性。但它在计算中要用到两属性各自的半方差函数和交叉半方差函数，比较复杂。,77,一 基本统计量 二 探索性空间数据分析 三 地统计分析 四 克里金插值方法 五 应用案例,主要内容,78,案例背景,美国环境保护局负责监控加利福尼亚州的大气臭氧浓度。将在该州范围内所分布的多个监测站对臭氧浓度进行测量。,？基于已测得的数据， 预测整个州的臭氧分布情况。,79,Geostatistical Analyst （地统计分析工具） 通过执行以下操作可实现最佳预测： 检查所有采样点之间的关系， 插值生成臭氧浓度的连续表面 预测的标准误差（不确定性） 预测超出临界值的概率,80,探索性数据分析概念 探索性数据分析工具有哪些，功能和特点是什么？ 地统计分析概念及理论基础 地统计的模型构建流程 常用的克里金插值方法及各自方法的特点,第七章 空间数据的统计分析方法,81,Box-Cox、反正弦和对数变换,反正弦变换 Y(s) = sin-1(Z(s)， 其中 Z(s) 介于 0 到 1 之间。 用于表示比例或百分比的数据。通常在数据为比例形式时，方差在接近 0 和 1 时最小，接近 0.5 时最大。 反正弦变换有助于使整个研究区域内的方差更加恒定，通常还会使数据呈正态分布。,82,Box-Cox、反正弦和对数变换,Box-Cox 变换（幂变换 ） Y(s) = (Z(s) - 1)/，其中 0 假设数据由某种现象的计数组成。对于这些类型的数据，方差通常与平均值相关。也就是说，如果在某一部分研究区域中计数值很小，这一局部区域的变异性就小于计数值更大的另一区域的变异性。 在这种情况下，平方根变换将有助于使整个研究区域内的方差更加恒定，通常还会使数据呈正态分布。平方根变换是 Box-Cox 变换中 = 时的特例。,83,Box-Cox、反正弦和对数变换,对数变换 Y(s) = ln(Z(s)，其中 Z(s) 0，ln 为自然对数。 对数变换实际上是 Box-Cox 变换中 = 0 时的特例 通常用于呈正偏分布的数据，其中有些值非常大。,84,85,汇总关键特征,86,标识具有统计显著性的聚类,87,评估整体空间模式,88,分组分析,在动物观察方面，了解鲑鱼在不同生命阶段的聚集地点和时间，了解它们的领地，可以帮助规划保护区，以帮助确保成功繁育。 作为一名农学家，可能想将研究领域内的不同土壤进行分类。对通过一系列样本发现的土壤特征使用分组分析可以帮助识别出明显的、空间上相邻的土壤类型的聚类。 按购买方式、人口统计特征和/或旅行方式对客户进行分组，可以帮助您为公司产品制订有效的营销策略。 城市规则师需要将各个城市划分成不同的邻域，以便有效地定位公共设施、促进地方能动性和提高社区参与度。对城市街区的物理和人口统计特征使用分组分析，可以帮助规划师确定具有相似物理和人口统计特征并且在空间上相邻的城市区域。,89,关系建模,90,关系建模,91,“Voronoi 图”工具提供下列方法来指定或计算面的值： 简单：指定给面的值是在该面内的采样点处记录的值。 平均值：指定给面的值是根据面及其相邻面计算出的平均值。 众数：利用五个组距对所有多边形进行分类。指定给面的值是面及其相邻面的众数（最常出现的组）。 聚类：利用五个组距对所有多边形进行分类。如果面的组距与其每个相邻面的组距都不同，则该面将灰显并放进第六组以区分该面与其相邻面。 熵： 所有的面都利用基于数据值（小分位数）的自然分组的五个组进行分类。指定给面的值是根据面及其相邻面计算出的熵。,92,峰度包括正态分布（峰度值=3），厚尾（峰度值3），瘦尾（峰度值3），均看尾部,偏度定义中包括正态分布（偏度=0），右偏分布（也叫正偏分布，其偏度0），左偏分布（也叫负偏分布，其偏度0）。,93,