培训效果评估概述

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,L/O/G/O,明德尚行，学贯中西,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第九章培训效果评估,学习重点,了解培训效果评估的概念和作用,掌握常见的几种培训效果评估模型,掌握培训评估的流程和实施方法,一、何谓培训效果评估,培训效果（ ）是指公司和学员从培训中获得的收益。,培训评估（ ）是指收集培训成果以衡量培训是否有效的过程。,培训包括事前评估和事后评估。,第一节 培训效果评估概述,二、培训效果评估的作用和局限性,（一）培训效果评估的作用,1. 为决策提供有关培训项目的系统信息,2. 促进培训管理水平的提升,3. 使培训管理资源得到更广泛的推广和共享,（二）培训效果评估的局限性,1. 评估委托方往往要求评估者做出全面的总结，甚至提出改进方案，一旦涉及与自己的利害关系，将使培训带有太多的主观感情色彩。,2. 评估往往是由内部人员进行的，这些人员可能不愿报告方案的消极因素，有些组织甚至要求培训方案设计者自己进行评估，这就愈发加重这种倾向。,3. 虽有培训效果评估制度，但难以使用其结果，评估虎头蛇尾，不了了之。,三、培训效果评估的四个维度,（一）相关度,标准相关度是指培训结果与培训计划之间的相关性。,有两种情况会导致培训结果缺乏相关性。一种是标准干扰，是指培训效果评估测量了不相干的能力或受到了额外因素的影响。另外一种是标准缺陷，是指期望测量的结果但却很难测量到。,测量不相关,的能力或额,外因素的干,扰,无法测量培训目标中强调的结果,成功与培训目标相关,标准干扰,标准相关度,标准缺陷,图9-1 相关度,（二）信度,信度是指一项测试结果的可信程度、稳定程度。,（三）区分度,区分度是指学员取得的结果能够真正反应绩效的差别。,（四）可行性,可行性是指收集培训测量结果的难易程度。,四、培训效果评估的关键问题,第一个问题：有没有发生变化？,培训的最根本目的就是改变学员的知识、技能、行为、态度，弥补在工作、人际关系上欠缺的地方。因此，评估培训效果的首要因素就是经过培训之后，学员有没有在上述几个方面发生变化。一次有效的培训必然会产生有变化的结果。,第二个问题：这种变化是否由培训引起？,由于学员培训前后的行为和态度变化，不仅仅取决于培训过程本身，还取决于组织环境的变化、培训期间个体的成长成熟、学员对培训的认知等多种因素的复合作用。因此，必须设法从诸多变量中区分出培训本身的影响。,第三个问题：这种变化与组织目标的实现是否有积极的关系？,企业要想生存、发展，重视绩效是必然的。企业组织的很多活动都是围绕实现企业绩效的提升而展开的，培训也不例外，培训的最终目的就是在提高所有员工水平的基础上推动企业的发展。因此，培训后的变化是否与组织目标的实现有积极的关系是评定培训效果好坏的关键指标之一。,第四个问题：下一批学员完成同样的培训后，是否还能发生类似的变化？,就是培训的效果问题。如果只是某一批学员发生了改变，而其他人员变化不大，就应该分析除了培训以外的其他影响因素。如果说技能、知识水平差不多的多批学员均发生了相似的显著变化，培训发生了作用就是毫无疑问的了。,一、科克帕特里克的四级评估法,（1967）创立的四级评估法（s ）是培训界最为流行的一种评估方法，培训的四级评估主要包括以下四个层面：,（4）结果层面，即主要考察培训为组织带来的效果。,（3）行为层面，即主要考察学员通过培训所发生的行为举止的改进或变化。,（2）学习层面，即主要考察学员学到的知识和技能。,（1）反应层面，即学员对已发生的培训活动有何感觉或印象。,第二节 培训效果评估理论,（一）反应层面,（1）对培训师的评估,（2）对培训内容的评估,（3）对培训方法的评估,（4）对培训条件和环境的评估,这一层面的评估内容局限在培训的表面效果上，其内容主要有：,1. 评估内容,2. 评估方法,反应层面的评估目的在于考察学员对培训活动的满意度，在大多数情况下，是向学员发放一份“培训评估表”，借以收集学员对培训师、培训内容、培训方式方法、培训条件和环境以及培训管理各方面的主观感受。,（二）学习层面,（1）评估知识掌握的情况,（2）评估技能掌握的情况,（3）评估学员的态度,1. 评估内容,2. 评估方法,主要评估学员从培训中获得的知识、技能和态度。,（1）知识领域常用的评估方法,根据知识领域的测评内容，采用客观题型进行检测较为合适。,客观测试的题目类型一般有以下四种：, 正误判断题。, 多项选择题。, 配对题。, 填充题。,（2）技能领域常用的评估方法,根据技能领域的测评内容，在测评动作技能时，采用操作测验的形式较为适宜。,操作测验的不足之处：,仪器、工具或设备还可能会由于学员的操作不当而受损。,除了耗材外，还需要安排适宜的测试场地。,测试成绩往往会受到测评人主观判断的影响，从而影响测验的可信度。,与客观测验相比，需要对学员一一进行单个的测试，故须投入较多的人力。,为了解决以上提到的困难和不足，我们可采用以下应对的两种办法：,利用模拟测验方法。,建立客观的评价标准。,（3）态度领域常用的评估方法,测量态度的方式主要有以下四种：, 表述法,是向学员提供一系列的陈述，让他们按照自己真实的感觉进行画钩选择填写或回答。, 观察法,根据学员在培训期间所表现出的参训行为作出结论。即通过观察他们的行为来推断他们的态度。, 生理现象判断法,通过生理反应作出判断，即通过诸如瞳孔扩张和收缩、呼吸和心跳频率、皮肤电反应等生理学方法对态度进行测量。, 报告法,通过学员提交的报告来了解和考察人们的态度。报告可以书面形式，也可以口头形式来进行表述。,（三）行为层面,1. 评估内容,行为层面的评估内容主要是测评学员在培训后将知识、技能和态度运用和发挥在工作岗位上的程度，具体表现在以下四个方面：, 根据学员培训后的工作表现，测评学员是否达到了培训目标中规定的标准和要求。, 测评培训内容是否能够为工作所用。, 测评学员在工作中新的表现或改变在多大程度上是由于参加了培训而带来的，如迟到减少、浪费减少、投诉减少、纪律性增强等。, 测评阻碍在培训中学到的东西不能在工作岗位上得到应用的因素。,2. 评估方法,（1）问卷/访问法,（2）行为观察法,（3）检查行动计划,（4）自我评估法,（四）结果层面,1. 评估内容,结果层面的评估内容，主要是为了反映培训最终给组织带来了怎样的效果和影响。可以度量的评估内容具体表现在以下三个方面：,2. 评估方法,（1）组织目标的实现程度,（2）外部客户的满意度,（3）内部员工的满意度,（1）指标对照检查法,在培训结束后的适宜时间内，根据制定的培训目标和要求对有关的计划指标进行测评，即对培训前后的指标完成情况进行对照比较。,（2）绩效考核法,（3）员工/客户问卷访问法,二、考夫曼的五层次评估,考夫曼（）扩展了柯克帕特里克的四层次模型。他认为培训能否成功，培训前的各种资源的获得是至关重要的，因而应该在模型中加上这一层次的评估。并且培训所产生的效果不应该仅仅对本组织有益，它最终会作用于组织所处的环境，从而给组织带来效益。因而他加上了第五个层次，即评估社会和顾客的反应。如表9-3所示。,表9-3 考夫曼的五级评估模型,层 次,标 准,具 体 解 释,1a,培训可行性,人力、财务和物力资源投入的质量和可获取性,1b,反应,方法、手段和过程的可接受程度和熟练度,2,获得,个体和小群体技能与胜任力,3,应用,组织内个体效用和小群体（产品）效用,4,组织产出,对组织的贡献和回报,5,社会产出,社会和顾客的反应、结果和回报,三、评估模型,评估从情景（）、输入（）、反应（）和输出（）四个方面进行，是一种四层次的评估方法，起初由，和（1970）开发，用于欧洲，是一种非常独特的区分评估过程的方法。比一般的培训评估的范围更宽泛。如表9-4所示。,表9-4 的评估模型,层 次,标 准,具 体 解 释,1,情境评估,培训的组织者,2,输入评估,培训师,3,反应评估,学员,4,输出评估,公司高层,四、评估模型,模型与相似，它包括四种评估：情境评估、输入评估、过程评估和输出评估。,表9-5 的评估模型,层 次,标 准,具 体 解 释,1,情境评估,相关环境、需求和机会、存在问题的评估,2,输入评估,如何最佳使用资源，成功实施培训,3,过程评估,培训中提供反馈给培训实施者，监控失败的来源或提供预先的信息,4,输出评估,培训结果测量,五、菲利普斯的过程模型,过程模型在柯克帕特里克的四层次模型上加了第五个层次，分别叫反应和已经计划的行动、学习、工作应用、组织结果和投入产出。,第一层次，测量学员的满意度以及他们打算如何应用培训所学。,第二层次，测量学员在培训过程中所学。,第三层次，使用许多跟踪方法，测量学员使用新技能的频率等，来判断学员是否将所学应用于实际工作中。,第四层次，测量学员应用培训材料后对组织产生的积极影响，通常测量产量、质量、成本、时间和顾客满意度。,第五层次，培训固然会对组织产生积极的影响，但是同样需要比较对培训的投入以及通过培训对组织产生的收益。,评估工具,评估目的,收集数据,检验培训效应,将数据转化成货币值,计算培训成本,计算投入回报,识别无形利益,评估时间,评估水平,图,9-2 ROI,过程模型,一、培训评估的流程,界定评估目的,调整培训项目,评估结果反馈,明确评估标准,制定评估方案,收集分析评估信息,撰写评估报告,培训评估实施,图,9-3,培训评估流程,遵循科学的培训评估流程是顺利、有效地进行培训评估活动的关键，一般来说，有效的培训评估应该包括以下八个主要环节（见图9-3）。,第三节 培训评估的流程与实施,（一）是否要进行评估,1. 培训评估的五要,（1）培训项目经费超过一定的警戒线时，要进行评估；,（5）当组织面临一系列重大改革举措，需要评估结论作为依据时，应进行评估。,（3）培训项目的效果对组织很关键时，应被评估；,（2）培训项目需要三个月或更长时间时，应被评估；,（4）一个单元的培训会对组织其他业务单元产生很大影响时，应被评估；,2. 培训评估的五不要,（1）培训项目目标不明确或目标尚缺乏共识时，不应评估。,（5）培训项目本身缺乏外在价值，不应进行评估。,（4）评估资源（特别是资金）不足，不能保证质量的评估不应进行。,时间有限主要包括两种情况：,评估决策者给的评估时间太紧，可能影响到评估质量。,培训项目的效果还未充分展示出来，进行评估难以得出科学结论。,（3）时间有限，不能保证质量的评估不能进行。,下述两种情况不应该进行评估：,其一，评估决策者动机不纯。,其二，决策者虽有利用评估结果改进培训项目的愿望，但缺乏把评估结论或建议付诸实施的权威和能力。,（2）培训项目评估结果不能得到利用时不应进行评估。,（二）明确评估标准,根据培训的目标制定具有可操作性的标准是进行培训评估的关键。明确评估标准一般经过目标分解、拟定出具体标准、标准讨论、实验调整四个步骤。,（三）制定评估方案,1. 确定培训评估层次,2. 确定培训评估参与人员,3. 选定评估对象,（四）收集并分析评估信息,主要的一些评估资料包括企业的培训需求分析报告、本次培训项目计划、在方案形成和实施过程中的各种资料等。,（五）分析培训评估信息,培训主管对前期的培训评估调查表和培训结果调查进行统计和分析。即那个收集到的问卷、访谈资料等进行统计、分析、整理、合并，剔除无效资料，同时得出相关结论。,（六）撰写评估报告,培训主管在分析以上调查表以后，再结合学员的结业考核成绩，对此次培训项目给出公正合理的评估报告。,（七）评估结果反馈,（八）调整培训项目,为了改进培训质量、强化培训结果、降低培训成本，企业需要建立良好的培训评估反馈系统。培训报告的内容要及时在企业内部进行传递和沟通，评估报告应该传递到学员、培训主管、培训师、学员的直接上级和企业高层。,培训评估报告反馈后，紧接着要采取相应的纠编措施并不断跟踪。这时培训主管就可以根据培训的效果对培训项目进行调整。,二、培训评估的实施,(一) 评估时机的选择,由于四级评估在各层面上所采用的评估方法、评估重点和评估对象各有不同，所以在实施各个层面评估时，须安排合理的时间和选择适宜的时机。,反应层面的评估一般在培训中和培训结束后进行，采用交谈和随堂观察方法时，宜在培训过程中进行，,学习层面的评估通常在培训中或培训结束时进行。一般来说，人们更倾向于在培训结束时通过笔试、口试和操作测验等方式，对学员的知识、技能和态度的领悟和掌握情况进行测评。,行为层面的评估通常宜在培训结束3个月后进行，而结果层面的评估一般宜在培训结束半年或1年后进行。,（二）评估层面的选择,由于各级评估在各层面上所采用的评估方法、评估重点和评估对象各有不同，所以在实施各个层面评估时，应该有所选择。,首先，所有课程都可以进行反应层的评估。行为层面的评估适用于工作表现，特别是客户对实际效果期望很高的课程。,结果层面的评估需要一些硬性数据。行为层面和结果层面的评估由于涉及的参评人员较多，测评的主要目的是考察学员是否学以致用和培训后给组织绩效带来的影响，与反应层面和学习层面的评估相比更耗时、费力，需要更多的资金投入，所以实施难度较大。,培训部的职责将必然从单纯统计培训时数和感到满意的学员人数，转向对培训效果的评估。这种压力促使培训者不得不进行更深层次的三级和四级评估。,（三）评估方法的选择,选择评估方法时应考虑的因素有：参训者、培训课程、用户需要和客观条件的制约因素。,1. 参训者因素,从某种程度上来讲，这样做一方面可以了解到学员现有的知识和技能水平；另一方面可以发现学员之间存在着差距，还可以把这种通过“摸底”获得的测评成绩与培训后获得的测评成绩进行比较，从而可以考察出学员参加培训前后的变化情况。,2. 培训课程因素,涉及技能课程方面和语言沟通方面的评估，更多地应采用操作测验和口试等评估方式为宜。此外，如果要对行为层面进行评估时，选择客户服务、组织形象、时间管理之类的培训课程较为适宜。如果要对结果层面进行评估时，选择一些性质稳定的培训课程，如安全管理、质量管理等课程较为适宜。,3. 用户需求因素,评估人员在选择评估方法时应与用户进行磋商。首先，应就有关目标、标准或指标进行确认。其次，应就评估时间、方法、人力的投入和费用与用户进行磋商和设定。然后，形成书面的约定文件，以便取得用户的理解、合作和保证评估活动的顺利开展。只有看准了用户的兴趣和需求所在，并与用户进行磋商、达成一致意见和看法，才能够产生出对用户有用的信息。,4. 客观条件的制约因素,客观条件的制约因素主要是指时间、人力、财力和执行难度。我们曾经提到，评估会消耗一定的资源和资金，也会占用相关人员的一部分时间，有时甚至是大量的时间。培训评估的四个层面所消耗的资源、资金和时间由低到高，行为层面和结果层面的评估虽然对组织的意义是最重要的，但消耗的费用、时间和执行难度也是最大的。此外，即使一些组织有条件进行深层次的评估，但由于缺乏必要的评估技能和经验，也难以完成深层次的评估。,（四）评估的全面性,评估的全面性主要是指自评和他评。,对学员做评估总结前，最好先让学员进行一下自评，这是一个很必要，也是一个很成功的办法。如果给了他们一个自评的机会，他们则会与你坦诚交流，你也会对他们有一个更深入和更全面的了解，这样评估结果就会变得更真实贴切、更令人信服。,他评是指学员的培训师、外部顾客、内部同事和学员的直属主管对学员进行的评估。其中真正对学员产生主要影响的则是学员的直属主管。组织是否支持学员参加培训，是否将培训评估结果与学员的奖惩制度进行挂钩，是否能保证学员将所学到的知识和技能运用到工作中，这都取决于学员的直属主管是否能正确地领会组织的培训意图、培训政策和培训制度。,培训游戏：看不见与说不清,在一个团队中，需要有很多的角色，每个角色的任务不同，但都有一个共同的目标就是要完成整个团队的任务。本游戏就是帮助大家认识这一点。,游戏规则和程序：,三名学员扮演工人一起被蒙住双眼，带到一个陌生的地方。,有两名学生扮演经理，一名扮演总裁。,游戏规则：工人可以讲话，但什么都看不见；经理可以看，可以行动，但不能讲话；总裁能看能讲话，也能指挥行动，但他却被许多琐事缠住（他要在规定时间内做许多与目标不相干的事情），所有的角色需要共同努力才能完成游戏的最终目标把工人转移到安全的地方去。,注意：任务说明书可以由培训师根据情况设计，关键是总裁要有许多琐事缠身。,相关讨论：,你在本游戏中最大的体会是什么？,你认为在一个企业的团队合作中，什么是最重要的。,案例分析9-1,希尔斯公司提供的培训项目,希尔斯公司设计了一个用于改善工具和硬件销售的培训。这一两个小时的培训项目是一个远程学习，并且是通过广播的方式从希尔斯公司的培训中心向美国10个营业地点和50名销售人员进行传授的。这项培训包括教授学员该如何展示它们的商品来吸引客户的注意。在参加培训前，这10家商店的设备和硬件销售额在培训开始前是每周平均5000美元，但是在经过培训后，每周的平均销售额达到了6500美元。培训项目的成本包括：,培训师,远程学习（卫星空间租赁）,材料（每位学员100美元，共50名学员）,学员的工资和福利（每小时工资15美元，共2小时，50名学员）,10000美元,5000美元,5000美元,1500美元,请问，这个项目的投资回报率（）是多少？,