《评价与系统评价》PPT课件

,安全评价,评价与系统评价,一、评价与系统评价的概念,二、评价内容与步骤,三、系统评价方法,四、指标体系的建立,本 章 主 要 内 容,Safety System Engineering,教学参考书,1.曹庆贵：煤矿安全评价与安全信息管理，中国矿业大学出版社，1993年 2.冯肇瑞主编：安全系统工程（第二版），冶金工业出版社，1993年 3.陈晓剑、梁梁：系统评价方法及应用，中国科学技术大学出版社，1993年 4.田丰泽、曹庆贵主编：煤矿现代安全管理方法的应用与发展，中国矿业大学 出版社，1999年 5.吴宗之等：工业危险辨识与评价，气象出版社，2000年 6.汪元辉主编：安全系统工程，天津大学出版社，1999年 7.国家安全生产监督管理局：安全评价，煤炭工业出版社，2002年 8.吴宗之、高进东、魏利军：危险评价方法及其应用，冶金工业出版社，2002年 9.国家安全生产监督管理局：安全评价通则，2003年3月发布,Safety Assessment,1.1.1 评价与系统评价的概念,1.1 评价与系统评价概念,评价：一般是指按照明确目标测定对象的属性，并把它变成主观效用（满足主体要求的程度）的行为，即明确价值的过程。 在实际生活中，评价、评估、评定、评鉴乃至测量等概念的使用比较混乱。它们被当作同意语使用的情况屡见不鲜。即使在西方，理论界和实际工作者对这些术语的用法也并不规范，在英文中就有Evaluation，Assessment, Appraisal和Measurement等词。在我国文字中，评价显然意味着评判价值之意，这就是说，评价就是判断价值。 由于评价对象涉及的因素较多、复杂程度也较高，因此，若要评价按照严格、精确的方法进行还有不少困准。目前，主要的还是依靠定性与定量相结合、客观统计资料与主观描述资料并重的手段。,Safety Assessment,1.1 评价与系统评价概念,系统评价是系统工程中的一个基本处理方法，也是系统分析中的一个重要环节。图1.1反映了评价与分析和综合的关系：把所研究的对象当作系统来分析，对分析结果加以综合后所产生的就是系统设计，然后再对这个系统进行评价，这样反复进行，直到能有效地实现预定目的为止。 如果我们对系统的要求作为图1.1所示系统的输入，系统的设计作为输出，整个过程的进行可以用下面的框图中的具体项目来说明。从图1.2中可以看出，在每一个过程中都必需进行评价。,图1.1 系统评价的作用,图1.2 系统评价的位置,Safety Assessment,1.1 评价与系统评价概念,系统评价就是根据预定的系统目的，在系统调查和可行性研究的基础上，主要从技术和经济等方面，就各种系统设计的方案所能满足需要的程度同消耗和占用的各种资源进行评审和选择，并选择出技术上先进、经济上合理、实施上可行的最优或满意的方案。,Safety Assessment,1.1.2 系统评价的指导思想,1.1 评价与系统评价概念,1.追求单一目标的思想原则：在评价时，只注重系统的某一方面目标的实现，而忽略其它目标，如对武器系统的早期评价，关键是要求可靠性。早期的评价方法大多具有这种思想的痕迹。,2.经济利益思想原则：只注重系统的投入和产出，希望以最小的投入取得最大的产出。这种思想至今仍在工程项目的决策评价中起着重要作用。也属追求单一目标的思想。,3.综合评价的思想原则：在评价时，不仅重视直接的效益和影响，而且重视间接的影响；不仅重视近期效益，而且注重长远效益；不仅重视定量指标（如投资、收益等）的评价，而且重视软指标的评价。 过去一直认为，人类的劳作都会给人类带来幸福。这种认识使人造系统越来越多、越来越大。然而，资源危机发生了，给人类敲响了警钟。于是又出现了“人类劳作并非都是理性的，人类知识的增加并非都是好事，所有发展都是人类自掘坟墓”的悲观论点。虽然过于悲观，但人们的确已看到或尝到不少因考虑不周而建造的工程系统所带来的危害和苦头。于是，人们开始注重对工程系统的全面评价，即从政治、经济、社会、技术、风险、自然与生态环境、组织和个人等多方面复杂系统问题进行综合评价。,Safety Assessment,1.1 评价与系统评价概念,4.规划的思想原则：为了减少盲目性，人们对工程建设等决策活动的事先评价越来越重视，不断地寻找能科学地、全面地、客观地反映决策活动特征的评价指际体系，不仅重视项目自身的经济效益、技术性能等的评价，而且把项目纳入国民经济大系统中进行规划。,Safety Assessment,1.1 评价与系统评价概念,系统评价的思想是利用控制论和系统工程的观点。对系统整体进行评价。 无论是自然系统、还是事理系统，若形成一种闭环控制机制（见图1.3），就会具有很好的动态调节性能。,Safety Assessment,1.1 评价与系统评价概念,图1.3 闭环控制系统,Safety Assessment,1.1 评价与系统评价概念,图1.3中的虚线为前反馈，即在环境影响或系统内部影响产生的偏差还未影响到输出时，就对系统进行适时的调节。 启示：要保证系统能长期稳定协调发展，取得最大的收益，在决策之始就要注意形成这种良性的运行机制。换句话说，在决策方案的评价过程中，要注意对图1.3中各个方面进行评价，使之形成一个有机整体。,Safety Assessment,1.1 评价与系统评价概念,根据上述启示，要使系统长期和谐地发展，并充分发挥其应有功能，一是要求系统结构性能好；二是要求系统具有动态调节性及其与环境的适应性；三是要有较高的输入输出转换能力。要满足这三方面的要求，在创建或改进、完善一个系统（方案设计和评价）时，应做好系统结构的分析和评价，以满足第一要求；还应做好输入一输出一反馈评价和系统一环境评价以满足第二、第三要求。结合图1.3所示的系统运行模型，我们可以提出图1.4所示的系统综合评价模型。这个模型比较全面地描述了系统的本质特征以及评价的基本内容。有利于全面、客观地评价系统，以保证其长期稳定地发展，并产生尽可能大的效益。,Safety Assessment,1.1 评价与系统评价概念,图1.4 系统评价模型,Safety Assessment,1.1.3 系统评价的目标和任务,1.1 评价与系统评价概念,系统评价是对系统分析过程和结果的鉴定，其主要目的是判别设计的系统是否达到了预定的各项技术经济指标，能否投入使用并提供决策所需要的信息。领导对于某系统进行决策时，应当全面地考虑系统状态信息，并对依据这些信息所采取的策略以及执行这些策略可能产生的后果进行综合评价，按照评定的价值来判断各种策略和方案的优劣，作出正确决策。 因此，评价的目的是为了决策。系统评价是方案优选和决策的基础，评价的好坏影响着决策的正确性。,Safety Assessment,1.1 评价与系统评价概念,由上可知，评价的目标是为了决策。所以，评价在决策中负有很重要的任务，一般说有以下几方面。 1.系统运行现状的评价 决策机会无外乎源于系统运行出了问题、或面临某种危机、或遇到新的发展机会。系统运行现状的分析与评价有利于弄清这些问题。以便尽早发现决策机会、确定合适的决策方案。,Safety Assessment,1.1 评价与系统评价概念,2.方案可能产生的后果与影响的评价 在决策最后拍板之前，必须对各方案实施后可能产生的后果和影响有一个比较准确的把握，这就是预测的任务。但如何估价这些后果及其产生的影响却是评价的任务。通常，对同一后果和影响，不同的人或同一人在不同的时间会得出不同的评价。然而决策的最终作出还必须依赖于这些评价。一般讲，方案后果和影响的评价涉及三个方面： （1）后果和影响本身的评价。 （2）后果和影响中各种不确定性的评价。 （3）各方面后果和影响及其不确定性的综合评价。,Safety Assessment,1.1 评价与系统评价概念,3.方案开始实施后的跟踪评价及决策完成后的回顾评价 决策方案开始实施以后，为了及时发现问题，进一步完善、调整和控制，经常还需对实施过程和结果进行跟踪评价。 此外，为了总结经验和深入学习，改进以后的决策，有时还需在决策实施完毕后进行总结和评价，如事后对某些历史人物或历史事件的评价等。,Safety Assessment,1.2 评价内容与步骤,1.2.1 系统评价的内容,在系统评价过程中，首先要熟悉方案和确定评价指标。 评价指标是指评价条目和要求，是方案期望达到的指标，它包括政策指标、技术指标、经济指标和社会指标等。 根据熟悉方案情况，结合评价指标，应用适当的方法，先进行单项评价，再做综合评价，从而作出对方案优先顺序的结论。单项评价一般指技术评价、经济评价和社会评价。,Safety Assessment,1.2 评价内容与步骤,图1.5 系统评价的内容,系统评价的具体内容分为：系统结构评价、“系统环境”影响评价、系统“输入输出反馈”评价、系统综合评价。,Safety Assessment,1.2 评价内容与步骤,一、系统结构评价 系统的结构一般都是功能结构，即为了满足人们一定的目的而设计的。系统的经济性、功能性、动态适应性都与系统结构有很大关系。可以说，系统结构和特性的评价是最本质的评价。系统结构的评价一般可按图1.6所示的内容来进行。 1.系统结构分析 系统结构分析的目的是要弄清和理顺系统构成要素(子系统)之间的关系，以便进行分析和评价。,Safety Assessment,1.2 评价内容与步骤,图1.6 系统结构评价模型,Safety Assessment,1.2 评价内容与步骤,2.系统标准结构 在不同方案下，系统的功能结构不完全相同。为了对系统结构的合理性进行评价，必须有一个评判标准，用来作为评价现实系统的参照系，然后对现实系统进行比较评价，从而得出各方案系统构成结构的优劣。然而在现实中，一般不存在标准结构，我们常常只能用某种理想结构作为准标准结构，如将方案集内各方案结构特性的最优参数构成理想结构。尽管该结构无法实现，但仍可作为我们评价方案集内各方案结构优劣的标难。,Safety Assessment,1.2 评价内容与步骤,3.系统结构稳定性评价 系统稳定性表示了系统在其寿命期内可靠地完成应有功能的能力。任何系统都会受到来自环境的种种干扰，使系统运行状态发生变化。在这种情况下，系统要发挥其功能，保持良好的结构及稳定的运行状态，就必须具有抗干扰的功能。因此，要使系统按照人们期望的行为运行，达到顶期效果，就必须重视系统结构稳定性评价。结构稳定性评价可以从两方面入手：一是分析评价系统自身结构的合理性和稳定性，二是分析系统寿命周期内环境对系统可能产生的冲击及系统结构对这种冲击的弹性。然后，综合两方面评价，做出系统整体的结构稳定性评价。,Safety Assessment,1.2 评价内容与步骤,4. 系统结构合理性评价 结构决定功能。结构的合理性评价方法有三种；一是利用系统动力学模型或其它模型进行模拟；二是试制出“产品”进行试运行；三是与标准结构进行对比分析。,Safety Assessment,1.2 评价内容与步骤,二、“系统环境”影响评价 任何系统的形成和运行都会受到其所处环境的影响和制约。系统本身条件的好坏、调控机制是否灵活，直接影响到系统的适应能力和生存能力。因此，“系统一环境”影响的评价也涉及列系统结构的评价，可以与之结合进行，一般可分为两步：,Safety Assessment,1.2 评价内容与步骤,1.“系统环境”影响的识别 罗列出所有“系统环境”影响关系，并分析清楚其主次关系，弄清各种关系的轻重缓急程度及其影响的状况。例如，是明显的还是潜在的，是眼下可以分析清楚的还是暂时无法分析清楚的，以便找出主要的和关键的影响关系、分析系统在这些影响关系作用下的适应性能。,Safety Assessment,1.2 评价内容与步骤,2. 系统的环境适应性评价 通过“系统环境”影响关系的识别，可以进一步认识系统与环境的作用机制，在此基础上，可对各方案的环境适应性作出评价。系统的环境适应性是系统的运行特性之一，对其评价必须基于对环境发展趋势的把握和对系统结构性能的了解。一般，系统与环境的关系有以下几种情况： （1）系统运行对环境具有改造性。系统保持良好运行状态，不但能适应环境的变化，而且对环境有良好的改造作用。这种关系可称为相生。,Safety Assessment,1.2 评价内容与步骤,（2）系统能适应环境的变化。系统的建设和运行与环境的发展相辅相成，协调一致，运行状态良好。这种关系可称为相适。 （3）系统对环境起消极作用。系统的运行与环境的变化不协调，以致相互矛盾和制约。我们称这种关系为相克。 （4）系统的运行不但不适应环境的变化，而且对环境起破坏作用。它的运行加剧了环境的劣变。这种关系称之为相斥。,Safety Assessment,1.2 评价内容与步骤,三、系统“输入一输出一反馈”评价 1. 系统的输入、输出指标评价 在现行的评价方法中，一般都是按输入量与输出量之间的比值（或差值）来反映系统的转换机能，即系统的有效性。关于输入、输出评价方法本身似乎争议不大。对同一问题产生不同评价结论的原因主要在于输入和输出流量（费用与效益）的划分以及对于动态性考虑的差异上。现有方法大多是以折现率和敏感性分析来考虑系统的动态性能的。由于系统的输入和输出量发生的时间不同，采用不同折现率必然出现不同的结论。但问题的关键还在于输入、输出量的辨识和处理上。,Safety Assessment,1.2 评价内容与步骤,输入、输出流量的性质不外乎有三种：能准确定量计算；可定量分析，但无法准确估算；无法定量计算。 对于能准确定量计算的指标，可认真收集资料进行计算；对第二种情形中的指标可采用半定量或集值统计的方法进行评价；对无法定量计算的指标可采用专家咨询的方法进行分析，在必要时也可利用打分等方法进行半定量的估价。,Safety Assessment,1.2 评价内容与步骤,2. 系统反馈性能评价 反馈是系统动态性能的一种具体表现，它影响系统的输入并通过系统转换机制影响到系统的输出。反馈机制不健全的系统，由于外部环境的某种变化可能使系统运行状态恶化甚至崩溃；而反馈机制健全的系统，却具有较强的自适应性和稳定性，从而保证整个系统正常运转。因此，应重视反馈性能的评价。 反馈性能评价、结构性能评价及环境适应性评价是相关的，应综合考虑。,Safety Assessment,1.2 评价内容与步骤,四、系统综合评价 综合评价所要解决的问题，是如何把上述对系统各方面的评价综合起来，向决策者提供清晰的评价结论。,Safety Assessment,1.2 评价内容与步骤,1.2.2 系统评价的分类,系统的评价可以分阶段进行，特别是对于复杂的大系统的开发，各个重要环节都要作出评价工作。系统评价可以按以下几种方式分类。 1. 按评价项目分 （1）目标评价。确定系统的目标后，要进行目标评价，以确定目标是否合理。 （2）方案评价。制定决策方案之后，要进行方案评价，选择最忧方案。 （3）设计评价。 （4）计划评价。 （5）规划评价。,Safety Assessment,1.2 评价内容与步骤,2. 按评价的时间顺序分 （1）事前评价。在着手系统开发之前进行的评价，是为了提高系统成果而合理决定计划的有效方法。 （2）中间评价。在开发过程中进行的评价，是在系统研制途中用来判断是否有必要变更目标和为及时采取对策而进行管理的有效手段。 （3）事后评价。在开发完成之后进行的评价，是在定量地掌握已经达到目标的成果同时，确认目标以外的成果的良好方法。 （4）跟踪评价。是用来研究真实效果，对整个系统进行评价的一种方法。,Safety Assessment,1.2 评价内容与步骤,图1.7 评价的四阶段,Safety Assessment,1.2 评价内容与步骤,3. 按评价的内容分 （1）技术评价。技术评价是围绕系统功能来进行的，评定系统方案能否实现所需的功能及实现程度。 （2）经济评价。是围绕经济效益进行的，内容主要是以成本为代表的经济可行性分析。 （3）社会评价。是针对系统给社会带来的利益或影响而进行的评价。 （4）综合评价。是在上述三个方面评价的基础上，对系统方案价值的大小所做的综合评定。,Safety Assessment,1.2 评价内容与步骤,1.2.3 系统评价的步骤,一、系统评价的原则和范式 1评价原则 （1）要保证评价的客观性。评价的目的是为了决策，而评价的质量直接影响着决策的正确性。因此，要保证评价的客观性。必须注意评价资料的全面性、可靠性和正确性，防止评价人员的倾向性，评价人员的组成要具有代表性等等。,Safety Assessment,1.2 评价内容与步骤,（2）要保证方案的可比性。替代方案在保证实现系统的基本功能上要有可比性。个别功能突出或方案内容新，只能说明其相关方面，不能代替其它方面。要进行综合评比，不能用“陪衬”方案，从而失去评价的真意。 （3）评价指标要成系统。评价指标体系是由若干个单项评价指标（按性质又划分为大类）组成的整体。它应当包括系统目标所涉及的一切方面，而且对定性问题要有恰当的评价指标，以保证评价不出现片面性。 （4）评价指标必须与国家的方针、政策、法令的要求相一致。,Safety Assessment,1.2 评价内容与步骤,2. 评价范式 评价是一个比较的过程。在这个过程中，我们把要评价的事物与一定的对象进行比较，从而决定该事物的价值，或者说确定其在事物系统之中的地位。因此，任何评价都可按照图1.8所示的范式进行，其中x为被评价的对象（元素、系统）。,图1.8 评价的范式,Safety Assessment,1.2 评价内容与步骤,二、系统评价的步骤 系统评价的步骤是有效地进行评价的保证，它一般包括以下几项： 1. 明确系统目标，熟悉系统方案 为了进行科学的定量评价，必须反复调查了解建立这个系统的目标，以及为完成系统目标所考虑的具体事项，熟悉系统方案，进一步分析和讨论已经考虑到的各个因素。 2. 分析系统要素 根据评价的目标，集中收集有关的资料和数据，对组成系统的各个要素及系统的性能特征进行全面分析，找出评价的项目。,Safety Assessment,1.2 评价内容与步骤,3. 确定评价指标体系 指标是衡量系统总体目标的具体标志。对于所评价的系统，必须建立能对照和衡量各个方案的统一尺度，即评价指标体系。 评价指标体系必须科学地、客观地、尽可能全面地考虑各种因素，包括组成系统的主要因素及有关系统性能、费用、效果等方面，这样就可以明确地对各方案进行对比和评价，并对其缺陷筹划适当的对策。,Safety Assessment,1.2 评价内容与步骤,4. 制定评价结构和评价准则 要对所确定的指标进行定量化处理。有些指标本来就有定量的数字，有些原来只有定性的描述，这就要进行分析研究，制定和选择评价的定量依据。评分就是最常用的一种简单方法，即按具体情况人为地分成若干等级、进行相对比较。 每一个具体指标可能是几个指标的综合，这是由评价系统的特性和评价指标体系的结构所决定的。在评价时要制定评价结构。 由于各指标的评价尺度不一样，对于不同的指标，很难在一起比较。因此，必须将指标体系中的指标规范化，制定出评价准则，根据指标所反映要素的状况，确定各指标的结构和权重。,Safety Assessment,1.2 评价内容与步骤,5. 评价方法的确定 评价方法根据对象的具体要求不同而有所不同。总的来说，要按系统目标与系统分析结果、费用、效果的测定方法、成功可能性的讨论方法以及评价准则等确定。 6. 单项评价 单项评价是就系统的某一特殊方面进行详细地评价，以突出系统的特征。单项评价不能解决最优方案的判定问题，只有综合评价才能解决最优方案或方案优先顺序的确定问题。,Safety Assessment,1.2 评价内容与步骤,图1.8 系统评价的步骤,7. 综合评价 按照评价标准，在单项评价的基础上，从不同的观点和角度对系统进行全面的评价。 综合评价就是利用模型和各种资料，用技术经济的观点对比各种可行方案，考虑成本与效益的关系，权衡各方案的利弊得失，从系统的整体观点出发，综合分析问题，选择适当而且可能实现的优化方案。,Safety Assessment,1.2 评价内容与步骤,三、指标体系的分类 评价指标体系通常可考虑如下几大类： （1）政策性指标。包括政府的方针、政策、法令，以及法律约束和发展规划等方面的要求，这对国防或国计民生方面的重大项目或大型系统尤为重要。 （2）技术性指标。包括产品的性能、寿命、可靠性、安全性等。 （3）经济性指标。包括方案成本、效益、建设周期、回收期等。 （4）社会性指标。包括社会福利、社会节约、综合发展、污染、生态环境等。 （5）资源性指标。 （6）时间性指标。 以上是考虑的大类指标，每一个指标又可以包含许多小类指标。每一个具体指标可能由几个指标综合反映，这样形成了指标树，由这个指标树就构成了系统评价指标体系。,Safety Assessment,1.2 评价内容与步骤,四、指标体系的确定原则 （1）系统性原则。指标体系应能全面地反映被评价对象的综合情况，从中抓住主要因素，既能反映直接效果，又要反映间接效果，以保证综合评价的全面性和可信度。 （2）可测性原则。指标涵义明确，数据资料收集方便，计算简单，易于掌握。 （3）定量指标与定性指标结合使用原则。既可使评价具有客观性，便于数学模型处理，又可弥补单纯定量评价的不足及数据本身存在的某些缺陷。 （4）绝对量指标与相对量指标结合使用原则。绝对量指标反映总量及规模水平，相对量指标反映在某些方面的强度（或密度）。,Safety Assessment,1.2 评价内容与步骤,四、指标体系的确定原则 （5）指标之间应尽可能避免显见的包含关系。对隐含的相关关系，要在模型中以适当的方法消除。 （6）指标的选择要保持同趋势化，以保证可比性。 （7）指标设置要有重点。重要方面的指标可设置得密些、细些，次要方面的指标可设置得稀些、粗些，以简化工作。 （8）指标要有层次性。这样，为衡量方案的效果和确定指标的权重提供方便。,Safety Assessment,1.2 评价内容与步骤,这些原则，在具体应用中可能会出现一定的矛盾，一般可作如下处理： （1）评价的有效性和评价的简便性相矛盾。应在满足有效性的前提下，尽可能使评价简便，而不是反而求之。 （2）指标的系统性与指标的可获得性相矛盾。在建立指标体系时，对若干与评价关系甚大的指标，虽然目前尚无法获得数据，仍将其作为建议指标提出，以保证评价指标体系的系统性和科学性。 （3）指标的精确性与指标的可信度问题。评价应尽可能精确，但有些指标目前不能做到很精确。与其为了追求精确而假设数据，或因得不到数据而将一些指标舍去，不如由专家根据经验做定性的描述，给某些指标以质的规定更为可信。,Safety Assessment,1.2 评价内容与步骤,1.2.4 评价系统的进一步分析,评价工作是一种跨学科、跨层次的综合性工作，它既要求社会科学、经济学与自然科学的综合，又要求决策层、执行层与研究层的结合。另外，系统评价本身也有许多固有的因难，即单项评价易，综合评价难；定性评价易，定量评价难；硬指标(科技、生产、水平)评价易，软指标(社会、经济、组织)评价难。 为此，进一步对系统评价的理论开展深入研究，并结合社会经济发展的实际状况作出评价理论和方法的应用，还需要人们继续做出努力。,Safety Assessment,1.3 系统评价方法,系统评价是一系列科学的定量的论证工作。目前国内外使用的评价方法很多，但大体上可分成以下几类： 专家评价法，经济分析法，运筹学方法(包括多目标决策方法) 和其它数学方法。 其中每一类方法中又可分成许多具体的算法。,Safety Assessment,1.3 系统评价方法,1.3.1 经济分析法简介,经济分析法也可称为单项评价方法，主要指经济评价方法和技术评价方法，就是利用经济理论和技术水平对系统的某个方面作出定量评价的方法。 经济评价方法主要有价值分析法、成本效益法、利润评价法等；技术评价方法主要有可行性分析、可靠性评价等。,Safety Assessment,1.3 系统评价方法,1.3.2 专家咨询法,专家咨询法就是在评价过程中收集有关专家的意见，通过规范化程序，从中提取出最一致的信息，利用专家的知识、经验来对系统进行评价，也叫专家评估法。,Safety Assessment,1.3 系统评价方法,一、逐步形成群的意见方法 所谓群是指一组专家、一个团体中的成员组等。 逐步形成群的意见方法简称为NGT（Nominal Group Technique）法，它是对一决策问题发动群的成员提意见，然后按一定程序集结成员的意见，以作出群的判断的方法。 这种方法适合规模较小的群，以59个成员为宜； 群的规模太大则收集意见和讨论问题都不方便。,Safety Assessment,1.3 系统评价方法,实施NGT法的步骤有以下六步： 第一步 每个成员在安静的环境下写出自己的意见； 第二步 组织者不分先后地听取并记录这些意见； 第三步 集体逐条讨论这些意见，弄清楚它们的意义； 第四步 对归纳意见所形成的条目的重要性作初步投票； 第五步 讨论初步投票结果； 第六步 最终投票。 群中设有一个组织者，去指导实施以上步骤。 整个NGT过程通常约需60到90分钟。,Safety Assessment,1.3 系统评价方法,二、特尔菲法 1.概念 特尔菲法是以匿名方法，轮番征询专家意见，最终得出评价、预测结果的一种集体经验判断法。 特尔菲是古希腊城市名称，相传为预言之神阿波罗的神殿所在。 特尔菲法是决策、预测和技术咨询的一种有效方法。,Safety Assessment,1.3 系统评价方法,特尔菲法与NGT法比较： （1）它与NGT法有相似之处：都是通过征求和集结群中成员的意见，对复杂的决策问题作出群的判断。 （2）这两种方法的不同之处：人数采用特尔菲法时，群中成员的人数一般比NGT法要多，以20到50人为宜，并且不要求成员面对面地接触，仅靠成员的书面反应，因此参加者能处在地理位置分布很广的地区；时间NGT法通常可在l一2小时内完成， 特尔菲法可能需要数周甚至更长的时间。,Safety Assessment,1.3 系统评价方法,特尔菲法主要特征： （1）匿名反应。向群中成员每人分发一份意见咨询表，从他们得到匿名的反应。 （2）迭代和受控的反馈。特尔菲法包括几次迭代，每次迭代称为一轮，每一轮都把收集到的意见经过统计处理反馈给群中的成员。经过这种信息反馈，群中成员的意见将逐步集中。 （3）统计的群反应。把最后一轮得到的成员的意见组合成群的意见。,Safety Assessment,1.3 系统评价方法,2. 特尔菲法的实施程序 特尔菲法的实施步骤可分为九步，划分为3个大的阶段： （一）准备阶段 第一步 提出问题 提出要作出决策、进行预测或技术咨询的问题。这是很关键的一步，无论决策、预测或是技术咨询问题，都应当提得很清楚、很确切、简明扼要。 第二步 选择并确定群中成员（反应人） 特尔菲法参加人员包括三部分：一是决策人，他提出问题，要求进行特尔菲分析，并指望使用分析的结果；二是专业干部，他们负责解决待尔菲法的一些技术问题，包括收集并整理咨询意见等。这两部分人构成特尔菲法的组织人；三是反应者，他们是特尔菲法征求意见的对象，是制订决策的群的成员，通常是各方面的专家。 专家成员人数要适当。一般以20到50人为宜。,Safety Assessment,1.3 系统评价方法,第三步 制订第一个咨询表，并散发给群的成员 这个咨询表只提出决策或预测的问题，包括要达到的目标。由群的成员提出要达到目标的各种可能的方案，或各种可能发生的事件。 例如，美国国防部组织了一次预测，第一轮只提出预测目标，这个目标是到2000年，有哪些关键技术将对未来战争发生重大影响。专家从不同角度提出了集成电路、计算机、激光、空间技术等一百多项事件。 咨询表没有统一的形式，应根据提出的问题去设计，但要求符合以下原则：表格的每一栏目要紧扣决策或预测的目标，但又不应限制反应人的思考；表格应简明扼要；填表方式简单。,Safety Assessment,1.3 系统评价方法,（二）轮番征询阶段 征询反馈，再征询再反馈，一般三五轮。 第四步 收集第一个咨询表，并进行分析 组织人收回第个咨询表并进行分析。这需要把成员们提出的那些决策方法或预测事件进行筛选、分类、归纳和整理，归并那些相似的，删除那些对特定的目的不重要的，并理清这些方案或事件之间的关系，以准确的技术语言、简洁的方式制订一份方案或事件的一览表，使成员容易阅读。 这就完成了特尔菲法的第一轮。,Safety Assessment,1.3 系统评价方法,第五步 制订第二个咨询表。并散发给群的成员 把第一轮整理的一览表(第二个咨询表)再分发给群的成员，开始特尔菲法的第二轮咨询。这一轮除了要求反应人对一览表中列的条目(方案或事件)继续发表补充或修改的意见外，更主要的是要求他们对表中的每个方案或事件作出评估。 第六步 收集第二个咨询表并对数据进行统计处理 组织者把群的成员对第二个咨询表反应的意见收集起来，进行数据的统计处理，再制订第三个咨询表。 对收集到的数据进行统计处理，是特尔菲法一项重要的工作。常采用的统计方法有四分位法和平均值一方差法，它们都能表示分散数据的统计结果。 在第三个咨询表中除了统计的结果以外，还应当把对成员提出的意见所作的说明作一小结。 至此，完成了特尔菲法的第二轮。,Safety Assessment,1.3 系统评价方法,第七步 制订第三个咨询表，并散发给群的成员 把第三个咨询表散发给群的成员，要求他们审阅统计的结果，了解分歧的意见及各种意见的主要理由，再对方案或事件作出新的评估。 成员可以根据总体意见的倾向(以平均值表示)、分散程度(以方差表示)和评估的各种意见及其主要理由修改自己前一轮的评估。 第八步 收集第三个咨询表，并对新数据进行统计处理 把第三个咨询表收集到的意见进行处理，即重新计算方案或事件的平均值、方差和四分位点，对成员间的辨论作出小结。 至此，完成了特尔菲法的第三轮。并为第四轮准备了第四个咨询表。,Safety Assessment,1.3 系统评价方法,（三）结果最终处理阶段 用中位数法和上、下四分位数法，或者平均值-方差法进行统计处理（实际前几步中亦应同时进行），对最终结果作出处理。 第九步 准备最后的报告。 第九步进行第四轮咨询，它只不过是第三轮的重复。在第四轮之末收集和整理了第四个咨询表的结果。,Safety Assessment,1.3 系统评价方法,特尔菲法的最终结果: 经典的特尔菲法第四轮是最后的一轮。在多数情况下，经过几次信息反馈，已能得到协调程度较高的结果。但是如果群的成员的确难于达成一致意见，则组织者需要从各方得到他们的最后意见，并把这种不能达成一致的意见作为特尔菲法的最终结果。 特尔菲法的最终结果包括组织者草拟的一份报告，其中包括方案或事件的一览表，方案排队或事件发生日期的平均值、方差和四分位点等。 实施特尔菲法的一般情况： 第一轮成员的反应是非常分散的； 在以后各轮，通过信息反馈，成员分散的反应将逐步集中； 从一轮到下一轮，群的反应(反应的平均值)将愈来愈精确。,Safety Assessment,1.3 系统评价方法,3. 特尔菲法的数据处理 评估结果的量化：在数据处理之前，要将定性评估结果进行量化。最常用的量化方法是将各种评估意见分成程度不同的等级，或者将不同的方案用不同的数字表示，然后求得各种评估意见的概率分布。 数据统计处理最常用的方法有四分位法和平均值方差法。,Safety Assessment,1.3 系统评价方法,（1）四分位法 评估事件发生的时间，一般采用四分位法去处理评估结果。 现以13个成员对军用微处理机在部队装备的年份的评估为例，其评估值按顺序排列如下： 1987 1988 1989 1990 1991 1993 l994 1994 1994 1995 1996 1997 1999 (A) (B) (C) 数据处理时，将时间轴分成四等分，B为中分位点，它所对应的年份为中位数。A为下四分位点，C为上四分位点。,Safety Assessment,1.3 系统评价方法,上、下四分位点所代表的区间为1990到1995年，由它表示成员意见的分散程度；中位数为1994年。 第一轮评估意见的处理结果可用图1.10的四分位图表示。,Safety Assessment,1.3 系统评价方法,（2）方案择优的数据处理 方案择优的数据处理，可用各方案优先程度的顺序号作为量化值进行数据处理；有时也采用评分值表示优先程度，处理时就直接用评分值。 采用评分值时，计算某方案的平均值E和方差2的公式分别为：,m群中成员人数； ai第i个成员对某个方案的评分值。,Safety Assessment,1.3 系统评价方法,在等级评估中，计算某个方案的平均值E和方差2的公式分别为,N评估等级数目； ai等级序号； ni把某个方案评为第i等的成员人数。,Safety Assessment,1.3 系统评价方法,成员们根据前一轮得到的平均值和方差来修改自己的意见，从而使E值逐渐接近最后的评估结果，而2将越来越小，即意见的离散程度越来越小。 在评分值评估时，还可以计算一个补充指标，即满分频率：,上式中的mj是对第j个方案给满分的成员人数。 kj的值愈大，表示给第j个方案满分的成员人数愈多，方案的重要程度愈高。,Safety Assessment,1.3 系统评价方法,4. 派生的特尔菲法 以上介绍的内容基本上是经典的特尔菲法，即美国兰德公司的专家们在1964年提出的方法。以后又产生了几种派生的特尔菲法，它们也都有实际应用价值。派生的特尔菲法是对原来的方法作了某些修改，这些修改主要是： （1）取消第一轮的咨询，由组织者根据已掌握的资料直接拟订方案或事件的一览表，以减轻成员的负担和缩短间期。 （2）提供背景资料和数据，以缩短成员查找资料和计算数据的时间，使成员能在较短的时间内作出正确判断。 （3）部分取消匿名和部分取消反馈。匿名和反馈是特尔菲法的重要特点，但在某些情况下，部分取消匿名和部分取消反馈，有利于加快进程。,Safety Assessment,1.3 系统评价方法,1.3.3 模糊综合评判法,模糊综合评判的模型是建立在模糊数学基础上的一种定量评价模式。 模糊数学是由美国控制论专家查德（L.A.Zadeh）教授创立的。 为了描述和处理事物的模糊关系，可把“属于”关系进一步数量化。就是说，任给某一个子集合A，某个元素ui对A可以不同程度的“属于”和不同程度的“不属于”，这个程度叫做隶属度，它的范围在0与1之间，即ui的隶属度值域是0，1。 “属于”关系用函数关系表示： 给定论域U，所谓指定U上的一个模糊子集A，是指对任意uiU，都有一个隶属程度（01）与之对应，称为A的隶属函数（membership function），记为：=A（u）。,Safety Assessment,1.3 系统评价方法,为进行模糊综合评价，必须真正理解隶属度的含义。首先，它不是通常理解的数的含义，而是表明过程和程度。 例如，对教学过程的评价，教学大纲教学要求中的“理解”就是一个模糊概念，它没有十分明确的界限和清楚的外延，不存在绝对的十分精确的肯定与否定，所需要的只能是学生对数学内容理解到了什么程度，这种程度用0，1区间的一个实数去刻画它，即称这个数为隶属度。由于隶属度因不同的人或对不同的知识内容的深浅而变化，所以，又构成了隶属函数。 以数学教学过程为例介绍综合性评价的方法步骤。,1. 建立模糊综合评判的数学模型,设U=u1，u2，un为评判因素集合，其中每一个因素ui是影响被评价事物的主要成分。 例如，如果评价数学教师的教学技能，那么，影响教学技能的主要成分有语言、板书、教态、解题、画图等。因此，评判因素可设 u1=语言；u2=板书；u3=教态；u4=解题；u5=画图 它们组成评判因素集合：,Safety Assessment,1.3 系统评价方法,2.评价等级,给出评价等级（结果）集合V，V=v1，v2，vn。 如果上例中，将数学教师的教学技能分为四等，可设： v1=教学技能强； v2=教学技能较强； v3=教学技能一般；v4=教学技能较差。 如果对教师业务水平评价，那么，评价结果集V可设： v1=胜任； v2=基本胜任； v3=基本不胜任； v4=不胜任； 那么，V=v1，v2，v3，v4。,Safety Assessment,1.3 系统评价方法,3. 评判矩阵,现在，要建立的关系是，每一个被评价的对象确定了一个从U到V的模糊关系R，从而出现单因素的评判矩阵：,这里的元素rij表示从因素ui到该因素的评判结果vj的隶属程度。 矩阵R可以通过对单因素的评判获得，即从Ui着眼而得到单因素评判，构成R中的第i行。,Safety Assessment,1.3 系统评价方法,4. 确定各评判因素的权重集,确定各评判因素的权重集A，所谓权重是指一个因素在权重集中的重要程度，它在被评价因素的影响和所处的地位。 一般情况下，要求权重集的所有的因素ai的总和为1，称为归一化原则。 设权重集A=a1，a2，an=ai，（i=1，2，n），则,Safety Assessment,1.3 系统评价方法,5. 模糊评价结果计算,设B=b1，b2，bm是评价集V的一个子集，这个子集是模糊评价，它是由AR得到的，即： BAR =（b1，b2，bm）。 如何作AR运算？这里引进新的算子“”和“”，“”表示最大（max），“”表示最小（min）。 例如，0.20.8=0.8（取最大值0.8）； 0.20.8=0.2（取最小值0.2）。 AR表示两个矩阵相乘，称为矩阵合成，矩阵合成运算取最大隶属度原则，行与列合成。这种运算相当于转换器，当输入一个A，就输出一个B。,Safety Assessment,1.3 系统评价方法,计算出B后，根据其各个元素的大小，确定评价对象应该属于哪个等级。 例如，若 B =（0.306，0.278，0.208，0.208） 则直观分析，对评价集V，应为v1，即“胜任”或“教学能力强”。 这就是我们构建的模糊综合评判的数学模型，模糊综合评判还有其他模型，有兴趣的读者可参考有关专门书籍。,Safety Assessment,1.3 系统评价方法,例：一种服装是否被顾客所喜欢涉及诸多因素，如花色、样式、耐久度、价格和舒适度等。顾客是否喜欢这种服装和每一种因素都有关系。如何从多种因素评价一件服装的优劣，则是一个多因素模糊综合评价问题。 若取评价集为：,Safety Assessment,1.3 系统评价方法,首先利用前面单因素模糊评价方法，对上述五个因素分别进行评价，其结果的模糊集为：,称矩阵R为对该种衣服的单因素评价矩阵。 对同样一种衣服，不同人的眼光不同，对不同因素侧重程度也不同。如女同志挑选衣服往往侧重花色和式样，而男同志则较侧重舒适和耐久度。根据顾客对各因素侧重程度不同而加权，才能给出适当的综合评价。 如果选定某女顾客，且事先估计出这类顾客对各因素侧重程度而加权依次为：0.3(花色)，0.35(式样)，0.1(耐久度)，0.1(价格)，0.1(舒适度)。这可以表示成一个模糊集为：,Safety Assessment,1.3 系统评价方法,Safety Assessment,1.3 系统评价方法,Safety Assessment,1.4 指标体系的建立,系统评价的指标体系，应该能从整体上反映被评价对象的价值，并且便于操作。所以，建立指标体系的原则是：科学性与实用性、完备性与可操作性、互斥性与有机结合性、绝对指标与相对指标、静态指标与动态指标的辩证统一。,Safety Assessment,1.4.1 指标体系的建立方法,建立指标体系的方法很多。概括起来有两类：一是专家主观评定和比较判定；二是数据统计分析。,1.4 指标体系的建立,1专家评定法 基于专家群体的知识、智慧、经验、直觉、推理、偏好和价值观的特尔菲法是专家评定的典型方法，可用于建立指标体系。,Safety Assessment,特尔菲方法已在上一节中详细介绍，这里仅就确定指标体系时，对咨询结果统计处理的有关问题作如下说明： 1）集中程度，用均值Ei表示,1.4 指标体系的建立,Ej指标重要程度的量值(1，2，3，4，5，越小越重要)； nij评价i指标为j重要等级的专家数； m指标个数， 反映了P个专家的评价期望值，可以由小到大排序确定指标重要程度顺序,Safety Assessment,2）咨询统计处理表，如表1.1所示：,1.4 指标体系的建立,表1.1 指标重要程度咨询处理统计表,Safety Assessment,3）离散程度，用标准差i描述,1.4 指标体系的建立,它反映专家对i指标重要程度评价的分散程度。 若i63，需进行第二轮咨询。,Safety Assessment,4）协调程度，用变异系数vi和协调系数W表征,1.4 指标体系的建立,它反映专家对i指标评价的协调程度。,Safety Assessment,1.4 指标体系的建立,它反映专家对整个评价指标体系评价的协调程度。其中，E是全 部指标等级的均值，即 vi越小，W越大，则越协调。由Ei，i，vi和W综合分析，可以 决定是否进行第二轮咨询，最终选定指标体系。,Safety Assessment,1.4 指标体系的建立,2主成分分析法 基于数据统计分析的主成分分析方法，是筛选、简化指标体系的典型方法。其思路是：对于初始提出的指标向量(成分)X=(x1，x2，xm)，所含成分（指标）比较多，有些指标对系统评价几乎没有什么作用（贡献率很低），故需要对指标体系进行精简。因此，按照一定的方法，找到贡献率最低的那个指标，并将其删除；然后，再按同样方法，对剩下的m-1个指标进行主成分分析，根据既定的规则，需要时再删除其中贡献率最低的指标。如此重复分析，直到筛选出最佳指标子集，作为实际应用的评价指标体系。,Safety Assessment,1.4 指标体系的建立,主成分分析方法主要是构造特征方程，求出特征方程的特征值，及其所对应的特征向量，然后按规则进行处理。本书不做详细介绍。 指标的完备性和互斥性（不相关性）是理论上建立指标的准则，与实践结合，指标的建立应能反映评价对象的总体价值，且是最简的有效指标子集。指标体系的有效性通常由结构有序度来分析。,Safety Assessment,1.4.2 指标标值的确定,指标量化和规一化是标值确定的两个内容。 （1）量化(精确量化和模糊量化)的数值级别，通常基于心理学测度原理，定为7土2级。 （2）规一化的主要目的，是以统一的价值形式解决指标值(量纲、量级、最佳值的不同)的不可公度问题。常用的规一化方法是变换和插值，且通常规一化为无量纲的0l值。 变换法：常分为线性变换和非线性变换两大类，而线性变换中又分为标准化变换、极值变换、均值变换、初值变换和模块化变换等。 插值法：可采用线性插值和非线性插值，而前者更为常用。,1.4 指标体系的建立,Safety Assessment,1.4.3 指标权重的确定,权重（值）是综合评价的重要信息。应根据指标的相对重要性，即指标对综合评价的贡献大小确定。基于信息基础，可以选择定性的经验判定方法、精确的定量数据处理方法以及混和方法确定权重。而这些方法的共同特征是“成对比”，而“比”的是否准确和一致是一个关键问题。 确定权重的具体方法很多，如定性、经验的特尔菲法，定量数据统计处理的主成分分析法，以及定性、定量结合的AHP方法等。 AHP方法（层次分析法）是一种实用、有效的决策分析方法，使用它确定指标的权重，可以取得较为客观、可靠的结果。实际工作中，应尽可能多得采用这种方法。,1.4 指标体系的建立,