定量分析方法课件

定量分析方法定量分析方法2一、定量分析方法概述二、定量分析的一般方法三、定量分析方法使用一、定量分析方法概述1. 什么是定量分析方法2. 定量分析方法的分类3. 定量分析方法的一般程序4. 数据分布的一般特征定量分析方法1.1 什么是定量分析方法早期的公共管理推荐经验科学的研究方法，把观测、实验、对比、抽样、案例、访谈、调查等方法，作为主要方法。20世纪40年代以后，开始引入运筹学，控制论，系统工程、系统分析、损益分析，计算机模拟等定量分析方法。定量分析的定义：借助于经济学，数学，计算机科学、统计学，概率论以及帮助决策的决策理论来进行逻辑分析和推论。 定量分析方法1.2 定量分析方法的分类回归分析法时间序列分析法层次分析法决策法优化方法投入产出分析法定量分析方法1.3定量分析方法的一般程序通常分析研究要经历选择课题、制定课题计划、数据搜集、分析与预测、成果应用及评价五个阶段，各个阶段的关系已经具体每个阶段中需要做的工作可以细分成如右图。“制定课题计划”处理的好就能把握好一个大方向，避免或少走弯路。“数据搜集”是后期工作的立足点，数据充分准确与否关系整个研究成果的可信度。“数据整理和鉴别”是数据分析与预测的前期工作，这个阶段的成果直接服务于“数据分析与预测”“数据分析与预测”是核心工作也是任务最繁重的工作，这里将涉及到一系列的定量分析方法和纷繁的数学计算，要求较高，难度也是最大的。定量分析方法数据收集数据搜集分析研究的性质及其研究方法，决定了分析研究必须以大量的、翔实的数据为基础才能获得成果。因此，数据搜集是对具体数据进行分析研究、对未来状况进行预测的前提，也是决定整个分析研究能否得出正确的、有效地结论的关键。搜集的数据越全、越充分，研究的基础就越牢固，结论就越准确、可靠。数据搜集的一般程序课题分析包括内容分析、地域分析和时域分析三方面，只有对课题研究的内容和概貌、所涉及的学科和领域、所需数据的内容范围和重点、主题和类属等进行认真的分析，得以确切的认识，才能选择适当的搜集方式，顺利的开展数据调查活动。定量分析方法数据整理与鉴别经过数据搜集得到的数据通常是杂乱无章的，同时由于数据来源的广泛性、渠道的多样性，使得其真实性和可靠性很难保证。这些数据还远远不能达到使用的要求，必须对其进行鉴别和整理之后，才能在此基础上进行更深入的研究。数据整理是属于数据的初加工，一般流程可用下图表示：形式整理：将众多数据进行形式上的排序，不涉及数据具体内容，而是凭借某一外在依据进行分门别类的处理。（外在依据：学科，使用方向，内容要点。）内容整理：在形式整理得基础上进一步深化，从内容角度对数据再处理。简单举例：国民经济数据，可能得到的一手资料就非常纷繁，那可能的一种整理方式，首先形式整理分为第一产业、第二产业、第三产业；内容整理再有可能对第一产业数据进一步分解，比如按季度划分，分别统计报表，提炼增长趋势等观点。定量分析方法1.4 数据分布的一般特征集中趋势的测度找出一组数据的中心或中间位置。相关概念：众数（频此出现最多的数，分单众数、复众数、无众数）、中位数（排序了的顺序数据的中间那个数）、分位数（特殊的中位数）、平均数、加权平均数；离散趋势的测度极差（全距，衡量一组数据跨度的系数）；平均差；方差和标准差；两者需要结合来看：数据的离散程度越大，集中趋势的测度值对该组数据的代表性就越差；离散程度越小，其代表性越好。以两组数据为例：0、50、100；48，50，52二、定量分析的一般方法回归分析法时间序列分析法层次分析法决策法优化分析方法定量分析方法2.1 回归分析法回归分析法：是运用数理统计方法从事务已知状态预测未来状况的一种定量研究方法。它的基本功能是从涉及多因素相互交织的复杂现象中寻找规律，推断出有意义的结论。回归分析法着眼于研究变量之间的互相关系，把其中一些因素作为控制的变量，而把另一些随机变量作为因变量，利用适当的数学模型尽可能趋向于趋势变化的均值描述它们的关系的分析基本步骤：搜集数据是后续所有工作的基础。设定回归方程就是明确自变量和因变量关系的过程。因变量是果，是我们待预测的因素；自变量是因，它的发展规律将影响因变量的趋势，选择什么自变量，要能够代表预测对象的发展变化，特征参数的选择将直接影响到预测结果的准确性。注意趋势的延续性。定量分析方法2.1 回归分析法1 回归分析方法概述2 一元线性回归分析3 多元线性回归分析4 一元非线性回归分析5 多重线性回归6 Excel的函数使用定量分析方法2.1.1 回归分析方法概述一种建立统计观测值之间的数学关系的方法一种建立统计观测值之间的数学关系的方法通过自变量的变化来解释因变量的变化，从而由自变量的取值预测因变量的可能值自变量与因变量的相关关系自变量与因变量的相关关系 a. Y与Xk正线性相关b. Y与Xk负线性相关c. Y与Xk不相关XkYYYXkXk定量分析方法2.1.1.1 最小二乘法原理：因变量估计值与观测值之间均方误差极小(使残差平方和最小的方法)在实际操作中，可以通过Matlab或者Excel种的回归分析工具计算系数a和bniyiniyixiyxiniiiniiMYMYMXbbMMaYbXanYYnMSE1212121)()()极小()(1)(1定量分析方法2.1.1.2 回归模型的检验判定系数判定系数 R R2 2 用来判断回归方程的拟合优度。 通常可以认为当R2大于0.9时，所得到的回归直线拟合得较好，而当R2小于0.5时，所得到的回归直线很难说明变量之间的依赖关系。 t t 统计量统计量 如果对于某个自变量，其t统计量的P值小于显著水平（或称置信度、置信水平），则可认为该自变量与因变量是相关的。 F F 统计统计 如果F统计量的P值小于显著水平（或称置信度、置信水平），则可认为方程的回归效果显著。 定量分析方法2.1.1.3 回归预测的步骤第一步，获取自变量和因变量的观测值。第二步，绘制XY散点图。 第三步，写出带未知参数的回归方程。 第四步，确定回归方程中参数值第五步，判断回归方程的拟合优度。第六步，进行预测 定量分析方法2.1.2 一元线性回归【例5-1】 “阿曼德匹萨”是一个制作和外卖意大利匹萨的餐饮连锁店，其主要客户群是在校大学生。为了研究各店铺销售额与店铺附近地区大学生人数之间的关系，随机抽取了十个分店的样本，得到的数据如下：店铺编号区内大学生数(万人)季度销售额(万元)10.25.820.610.530.88.840.811.851.211.761.613.77215.78216.992.214.9102.620.2试根据这些数据建立回归模型。然后再进一步根据回归方程预测一个区内大学生人数为1.6万的店铺的季度销售额。定量分析方法2.1.2 一元线性回归求回归系数求回归系数a a和和b b的方法的方法规划求解斜率：SLOPE()截距：INTERCEPT() LINEST()函数回归分析报告散点图添加趋势线求判定系数求判定系数R R2 2的方法的方法拟合度：RSQ()函数回归分析报告趋势线定量分析方法2.1.3 多元线性回归多元线性回归模型的一般形式多元线性回归模型的一般形式多元线性回归预测步骤多元线性回归预测步骤第一步，获得候选自变量和因变量的观测值。第二步，从候选自变量中选择合适的自变量。有几种常用的方法：最优子集法（ R R2 2最接近1）向前增选法等第三步，确定回归系数，判断回归方程的拟合优度。第四步，根据回归方程进行预测。kkXaXaXaaY.22110定量分析方法2.1.4 一元非线性回归用一条曲线来拟合因变量对于自变量的依赖关系通过变量替换把问题转化为一元或多元线性回归问题后，用线性回归分析的方法建立回归模型，并进行预测(即化非线性回归为线性回归)对于更复杂的情况，现在有很多拟合工具可以使用，如Origin、Matlab等定量分析方法2.1.4.1 幂函数曲线拟合XYa1b-1b-1(b1b 0)OObUaVXbaaXYYaXYln)两边取对数(lnln)ln(ln）lnV、XlnU（设：bb定量分析方法2.1.4.2指数函数曲线拟合 bXaVbXaaYYVaYbXbXln)两边取对数(ln)eln(ln)ln(e设：XYa(b 0)OO定量分析方法2.1.4.3 对数函数曲线拟合 bUaYXUXbaY)ln(ln设：XY(b 0)OO定量分析方法2.1.4.4 双曲线函数拟合bUaYXUXbaY)1(1设：XY(b 0)OOaa定量分析方法2.1.4.5二次多项式及三次多项式 32121dXcXbXaYcXbXaYXY(c 0)OOXYO定量分析方法2.1.4.6 S型（Logistic）曲线拟合 xAyyKyyKAeyAeyKAeyAeKyxxxxln)ln()1(1设：定量分析方法2.1.4.7 回归分析的步骤回归分析步骤回归分析步骤观察XY散点图，确定拟合曲线类型（对数曲线），写出带未知参数的回归方程确定参数值，方法有：回归分析规划求解变量替换添加趋势线用回归方程进行预测（注：在拟合曲线类型不能确定时，可选不同类型进注：在拟合曲线类型不能确定时，可选不同类型进行尝试，比较结果行尝试，比较结果）XbaYln如：定量分析方法2.1.4.8 回归分析举例某企业想了解公司某种产品的产量与收益之间有何关系，为此收集整理了历年的产量收益数据资料。试根据这些资料建立适当模型说明产量与收益之间的关系。下面分别为直线拟合和对数拟合的结果，从结果中可以看出，对数拟合更合适作线性回归拟合做对数拟合收益与产量线性拟合结果y = 0.0196x - 2.0861R2 = 0.84820510152025303540455005001000150020002500产量(X)收益(Y)收益(Y)收益估计值收益与产量对数拟合结果-505101520253035404505001000150020002500产量(X)收益(Y)收益(Y)收益估计值定量分析方法2.1.4.8 回归分析举例产 量 X Residual Plot-10-5051005001000150020002500产 量 X残差U=LN(X) Residual Plot-10-5051066.577.58U=LN(X)残差定量分析方法2.1.5 多重线性回归在实际问题中，自变量的个数可能多于一个，随机变量 y与多个可控变量x1,x2,x3,xk之间是否存在相关关系，则属于多重（元）回归问题。多重线性回归模型 随机变量 与 之间的线性关系y12,kx xx01 122kkyxxx其中 20,N012,k , ,未知 则上式称为多重线性回归模型。 定量分析方法多重线性回归模型的矩阵形式 ),0(N(则：有矩阵形式11x1Y记：22121122111121EeeXYexxxxxXyyynnnknkkn定量分析方法考虑多元函数 确定 的最小二乘法 20111niikikiQyxx目标：确定 使 最小 01,k Q方法： 0, 1,2,iQik解得： kkxxxy22110多重线性回归方程 定量分析方法有效性检验方差分析法 线性回归方程是否有统计意义，可检验假设 01 122kkyxxx012:0kH是否成立 方法：方差分析法，将总离差平方和分解 ERniniiniiTSSyyyyyyS121212)()()(定量分析方法有效性检验方差分析法SR 回归平方和，反映线性关系对观测结果产生的数据波动，SR越大，线性相关关系越强。SE剩余平方和（或残差平方和），反映除线性因素之外的其它因素对观测结果产生的数据波动，SE越大，则其它因素对Y的影响越大。niiRyyS12)(niEyyS12)(定量分析方法有效性检验方差分析法在H0成立的条件下，可以证明： 221TSSn 22RSSk221ESSnk（n为观测次数，k为自变量个数） 构造F统计量 ,11RESSkFF k nkSSnk当 时，拒绝H0,1FFk nk定量分析方法2.1.6 Excel的函数使用函数：计算机执行的一步或多步运算过程, 包括数学和三角函数、较复杂的矩阵运算函数及复杂的数据分析函数等。12类, 300多种。(1) Excel 函数组成 函数名、参数函数名：指定要执行的运算。参数 指定函数使用的数值或单元格数据。要放在括号( )内。 (2) 基本语法 开头必须有 =。如 = LOG(10) (也可用 +, -开头) 参数必须放在圆括号( )内, ( )前后无空格, 不用参数的函数用空( )。 参数间要用逗号“,”隔开; 参数可以是数值、数组、单元格、单元 格区域、表达式、函数 (嵌套7层)等。 可用名称作为参数，如已定义的单元格名、区域名。定量分析方法(3)函数调用概念：函数调用使用函数的过程，函数的返回值结果。方法 先选定插入函数的单元格, 用下列方法之一调用函数。 “插入”/fx插入函数 搜索函数/选择类别/ 选择函数 函数名输入参数； 键盘输入 =函数名, 参数； 输入=，再点击左侧函数列表框, 选已用过的函数；在( )内输入参数； 点击按钮 S 选函数名。 用好帮助 菜单栏帮助/ “F1”键； 有关该函数的帮助定量分析方法2.1.6.1一元线性回归 由最小二乘法求直线方程 y = ax+b 的参数： 斜率 slope a 截距 intercept b; 还有相关系数 correlation r /R2， Linest 可对一组数据作线性回归分析（Line Statistic）通式：y =a1x1+a2x2+ . +amxm+bLinest 给出回归参数a1, a2, ., am, b, 数值数组形式, 即返回a, b回归参数, 还可有附加回归统计值r2, F, df, SS, 误差等Linest函数语法格式 Linest(y值数列, x值数列, 常数_逻辑，统计_逻辑) 返回值 为数值数组。定量分析方法数值数组(回归参数+回归统计值)数值数组的顺序斜率斜率mn .m1 截距截距bm的标准误差的标准误差. b的标准误差的标准误差r2 2 y的标准误差的标准误差F值值自由度自由度df回归平方和回归平方和残差平方和残差平方和 使用Linest 函数的操作过程: 先选定将要显示数组的区域，然后输入函数、适当参数，再依次按下Ctrl+Shift+Enter输入参数后“确定”的方法。 不能删除数值数组中的单个元素。定量分析方法2.1.6.2 多元线性回归vLINEST和“数据分析”的“回归” 还可对多个自变量xi 的函数式 y = a1x1+ a2x2+.+ amxm+ b 作线性拟合，计算出 m 个xi 相对应的系数 a1，a2，.，am 及常数 b，还有回归统计。定量分析方法2.1.6.3多项式拟合 实验数据为一曲线, 其拟合函数的形式不清楚时, 常用多项式(普适函数)进行拟合 y=b+a1x+a2x2+.+amxm 用Excel拟合方法 (1) 直接拟合法：“添加趋势线”类型多项式阶数。 (2) 变量变换法： 变换方法 x1=x，x2=x2，.，xm=xm 化为多元一次函数： y=b+a1x1+a2x2+ .+amxm 求多项式的参数 b，a1，a2，.，am 可用 LINEST函数； “数据分析”“回归”工具拟合。方次尽量低；常用到 3 次方。n个数据点，拟合的多项式最高阶数为 n1。定量分析方法2.1.6.4 Excel使用小结求回归系数、判定系数求回归系数、判定系数规划求解回归分析回归分析报告添加趋势线ExcelExcel内建函数内建函数INTERCEPT()，SLOPE()LINEST()RSQ()SUMXMY2() 定量分析方法2.2 时间序列分析法时间序列分析法：是一种根据研究对象的历史上的一系列已知数据（时间序列），分析并找出事物随时间发展的轨迹，用数学模型去描述研究对象随时间变化的发展规律，并根据该模型预测事物的未来发展状况的定量分析预测方法。在我看来，时间序列分析法就是一种特殊的回归分析法，它们之间的区别是时间序列法不需要知道影响变量变化的因素，也不必去寻求因果关系，而是把各种因素的影响都转化为时间的影响，只要有足够的历史统计数据可以用来构成一个合理长度的时间序列。前提：决定研究对象以前发展的诸因素，在很大程度上也将决定该对象的未来发展。研究对象的发展过程属于渐进式变化，而不是跳跃式的变化。时间序列分析法的数学建模与回归分析法基本一致，只是将自变量现在只关注时间了，将数据绘制成图表，找出变化趋势，定出曲线模型，之后求解系数即可。定量分析方法2.3 层次分析法层次分析法（AHP）：属于系统决策论，它将判断和价值结合为一个逻辑的整体，它依赖于想象、经验和知识去构造问题所处的梯阶层次，并根据逻辑、直觉和经验去给出判断。它通常会将整个系统中的元素有机的结合起来考虑，并得出全面的结果。从简单例子得到感性认识：我想买一辆车，现在有三个牌子的车供我选择，但是具体买哪辆车我却有多个参考标准（这里就有一个系统的概念），其中这些方面的权重又不一样，问题来了我如何决策？1. 首先我依据自己的想象、经验和知识构造了如下的一个递阶层次，暂不管它是否合理，只少这是目前我自己所能考虑的方面，在后续有另外的考虑时还能从新调整。2. 接下来就是一个权重问题了，依据AHP方法我构造如下一个两两比较矩阵，两两比较都是针对某一个准则而言的.身份身份SROS11/41/6R411/2O621经济经济SROS135R1/313O1/51/31舒适舒适SROS11/31/5R311/3O531外观外观SROS11/41/5R411/3O531定量分析方法2.3 层次分析法3. 和积法权重计算步骤： 将判断矩阵每一列归一化 每一列经归一化后的判断矩阵按行相加 对上一步生成的向量归一化 计算判断矩阵最大特征根4.计算各层元素对目标层的合成权重AHP作为一种有用的决策工具有着明显优点：适用性：用AHP进行决策，输入的信息主要是决策者的选择与判断，决策过程充分反映了决策者对决策问题的认识，这就使以往决策者与决策分析者难以沟通的状况得到改变。通常由决策者直接使用AHP进行决策将大大增加决策的有效性；简洁性：AHP从本质而言是一种思维方法，它把复杂问题分解成各个组成因素，又将这些因素按支配关系分组形成梯阶层次结构。通过两两比较的方式确定层次中诸因素的相对重要性。然后综合决策者的判断，确定决策方案相对重要性的总排序。整个过程就是分解、判断、综合；适用性：AHP不仅能进行定量分析，还能进行定性分析。它将决策工程中定性与定量因素有机地结合起来，用一种统一方式进行处理。在诸如资源分配、冲突分析、方案评比、计划等问题中AHP都有着良好的适用性；系统性。定量分析方法2.4 决策法决策法：指人们为实现预定目标，根据一定的条件，采用科学的方法和手段（与传统决策的区别）从所有可供选择的方案中找出最满意的一个方案，进行实施，直至目标的实现。系统论、控制论、信息论等新学科的出现，运筹学、概率统计等应用数学的产生与发展，为实现科学的决策提供了基础。决策一般遵循如下的一个过程：根据自然状况的可控程度，决策问题可分为确定性、不确定型和风险型决策三种提出问题指找出系统在发展变化的过程中，期望状态与实际状态的差异目标是决策者希望达到的决策效果黄框中的拟定备选方案和方案评估是决策过程中的关键，在拟定方案时必须做到严谨求实，对决策方案的每个步骤都要仔细推敲，严格论证。而且要做到敢于创新，大胆探索。方案优选个人认为是决策的精髓。前期环节都是为最优方案选择做准备。在进行选择时，要注意不仅要确定最优方案，而且要准备可以启动的后备方案。定量分析方法2.4.1 确定性决策确定型决策确定型决策是指决策系统的全部事实明确，可以准确列举，只存在一种确定的自然状态的决策。一般特点: 只有一个确定的自然状态； 存在决策者希望达到的一个明确目标； 存在可供选择的两个或两个以上的行动方案； 不同的行动方案在确定状态下的损益可以计算出来。很抽象？还是看下面的例子吧一位投资者手中有10000美元，有数种投资方案，所得回报可以确定，见下表，问这位投资者该如何决策？方案方案年终收益（美元）年终收益（美元）银行银行10750政府证券政府证券10900公益事业公益事业10500其它其它10440 可以看到此类中自然状态是唯一的； 投资者的目标是获得最大年终收益； 面临4个可供选择的决策方案； 每个决策者的损益是已知的； 这个确定型决策较为简单的就能选择出执行方案，投资政府证券定量分析方法2.4.2 不确定性决策不确定型决策不确定型决策是指决策者面临多种可能的自然状态，且未来自然状态出现的概率不可预知，可选方案在不同状态下结果不同的决策。不确定型决策一般具备以下特点: 存在着两种或两种以上的自然状态，既不能确定未来何种自然状态会出现，也无法得到各自然状态出现的概率； 存在决策者希望达到的一个明确目标； 存在可供选择的两个或两个以上的行动方案；不同的行动方案在确定状态下的损益可以计算出来。方案方案利率上升利率上升利率不变利率不变利率下降利率下降银行银行118801075010020政府证券政府证券110001090010750公益事件公益事件103001050010800其它其它105501044010330 在这种情况下，决策者只能依据一定的简单原则来进行分析决策，这样的简单原则，我们称为决策准则，常用的决策准则有：乐观准则、悲观准则、折衷准则、等可能性准则、后悔值准则。定量分析方法2.4.3 决策准则乐观准则又称最大最大准则，这是一种趋险型决策准则。决策者对未来持乐观态度，不管未来情况如何，总是选择最好结果。找出每一个方案的最好结果；悲观准则又称最小最小准则，是一种避险型决策准则。与乐观准则相反，选择在最差自然状态下带来最多收益的方案；折衷准则也称乐观系数法决策准则。提出一个乐观系数a，即最好状态出现的概率为a，最差状态出现的概率则为（1-a）方案收益=最好状态收益 * a + 最差状态收益 * （1-a）等可能性准则认为各种自然状态等可能性发生方案收益=各状态下收益*各状态发生概率；各状态发生概率= 1/状态数量定量分析方法2.4.4 风险型决策风险型决策风险型决策是指决策者在进行决策时，虽然无法确知未来将会出现何种自然状态，但却可以了解未来可能有几种状态出现以及每种状态出现的概率。一般特点 存在着两种或两种以上的自然状态(如销售中的畅销、滞销等)，各种自然状态出现的概率可以通过计算或估计得到； 存在决策者希望达到的一个明确目标； 存在可供选择的两个或两个以上的行动方案； 不同的行动方案在确定状态下的损益可以计算出来。很抽象？还是看例子吧一位投资者手中有10000美元，有数种投资方案，在不同利率变化情况下所得回报可以确定，并且利率上升的概率为40%，利率不变的概率为30%，利率下降的概率为30%见下表，问这位投资者该如何决策？最大收益期望值决策准则：最大收益期望值决策准则是指当决策目标的指标为收益时，选择收益期望值最大的方案为决策方案。 E(Ai) = pjsij定量分析方法2.4.4 风险型决策决策树法决策树法是风险决策最常用的一种方法。它采用系统分析法，将决策对象按从属关系，分为几个等级，用决策树形象的表示出来；计算各状态的收益期望值银行：11880*0.4+10750*0.3+10020*0.3=10983当节点决策也只需类推增加决策点。定量分析方法2.5 优化方法优化方法：从全局的观点出发，为现实或未来系统建立数学模型，再对模型进行分析求解，得到系统最优运行或最优设计的方案，帮助管理者进行科学的决策。从管理的角度看，任何一个组织或企业可供利用的资源（包括人力、物力、财力等）都是有限的，如何合理地利用和调配这些资源，使组织或企业获得最大的效益；或者是在确定任务后，如何统筹安排，尽量做到用最少的资源，去完成任务；还是上例子进行阐述吧：有甲、乙两个煤矿基地，分布产煤500万吨、550万吨，供应A、B、C三个电厂发电，这三个电厂的用煤产量分别为300、350、400万吨。从两个基地到三个电厂的运费如下表,问：每个基地向各电厂分别发货多少，才能使运费最低？ABC甲甲603050乙乙407030定量分析方法2.5 优化方法处理方法：在该问题中，所要确定的量是每个基地向各发电厂的发货量。设甲基地向A、B、C三发电厂的发货量分别为X11、X12、X13，乙基地向A、B、C三发电厂的发货量分别为X21、X22、X23；在解决该问题时，要受到以下条件的限制。 两个基地运出的煤炭量等于其产量，即X11+X12+X13 = 500 ；X21+X22+X23 = 550 ； 运到各电厂发电厂的煤炭量等于其需求量，即X11+X12 = 300; X12 + X22 = 350; X13 +X23 = 400; 该问题的目标是运费最低，总的运输费用为minF = 60X11 + 30X12 + 50X13 + 40X21 + 70X22 + 30X23; 归纳以上分析，该问题的数学模型即是求minF的最小值。注意点：X=0接下来就是数学计算了，可以使用线性代数求解，也可使用图解法，这里就不多讲了。