培训与开发_07培训效果评估

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,第七章,培训效果评估,1,教学目标,掌握什么是培训效果评估,了解事前评估、试验性测试与事后评估的应用,明确培训效果评估的设计方案的使用,运用培训效果评估数据的收集方法,2,教学要点,培训的效果评估,事前评估、试验性测试与事后评估,柯克帕特里克评估模型,菲利普斯评估模型,培训有效性评估的设计方案,培训效果评估的数据类型,培训效果评估数据的收集方法,3,导入案例,麦当劳的员工培训,思考题：麦当劳的员工培训为什么会成功，培训效果评估有什么样的指导意义？,4,第一节 培训效果评估的意义,一、培训效果评估的涵义及类型,定义：,系统地收集必要的描述性和判断性信息，对培训在员工、组织和社会三个层次上的收益进行评价，以帮助做出选择、使用和修改培训项目的决策。,5,培训有效性的三个层面：,员工层面,组织层面,社会层面,6,培训项目的价值判断,对一个培训项目的价值判断有以下,4,种：,对培训活动本身进行的价值判断,在培训结束后，对学员实际工作情况进行的价值判断,在培训结束后，对组织绩效指标进行的价值判断,对学员与工作没有直接关系的一些表现进行价值判断,7,二、培训效果评估的必要性,反映培训对于组织的贡献，并以此体现人力资源部门或培训部在组织中的重要作用,决定继续进行或停止某个培训项目,获得如何改进某个培训项目的信息,8,通常会从以下几个方面来获取这样的信息：,课程内容满足学员要求的程度如何？,讲师是最合适的吗？,讲师是否采用了最有效的方式来保持学员的兴趣？,培训设施怎样？,培训时间安排合适吗？,培训项目协调得怎样？,其他改进建议。,9,三、培训效果评估的内容体系,根据培训评估时间选择的不同，可以将培训效果评估分为：,事前评估,试验性测试,事后评估,.,10,(一)事前评估,事前评估提供了有关如何使培训项目更理想的信息。,事前评估通常用于收集培训项目的定性数据。,如：,对培训项目的看法、信任和感觉。,信息收集是通过调查问卷以及与潜在受训者/或管理人员的访谈来进行。,这些管理人员是购买或者是为了受训者参加培训计划支付经费的人。,事前评估要求雇员和管理者实际参与计划或预演培训内容。,事前评估有助于保证：培训项目组织合理且运行顺利。受训者能够学习并对培训项目满意。,11,（二）试验性测试,试验性测试是与潜在受训者、管理者或其他顾客（购买培训项目的人）预先试行一项培训项目的过程。,例如，要求他们预演或试验性测试一项网上培训计划。,当他们结束这项计划后，让受训者和管理者就项目中使用的图表、录音、声音、界面或进入方式是否有助于（或干扰）学习进行评价。,从预演中获得的信息可由项目开发人员用于在向全体受训人员推行项目前对项目进行改进,12,（三）事后评估,事后评估是用以衡量受训者参加培训项目后改变程度的评估，即受训者是否掌握了培训目标中确定的知识、技能、态度、行为方式或其他成果。,事后评估还包括对公司从培训中获取的货币收益（也称作投资回报）的测量或培训效用（非货币收益）的测量。,事后评估通常应用测试、行为打分，或绩效的客观评价标准如销售额、事故发生数或开发专利项目等来收集定量数据。,13,通过上述三种评估的描述，明确以下问题：,明确培训项目的优势和不足,。包括判断项目是否符合学习目标的要求，学习环境的质量状况，及培训成果在工作中是否得到了运用。,评价培训项目的内容、日程安排、场地、培训者及使用的资料，看看它们是否有助于学习和培训内容在工作中的应用。,明确哪些受训人员从培训中获益最多，哪些人获益最少。,通过,了解参与者是否有意愿向他人推荐该培训项目,，为何要参与该项目，即对该项目的满意度，收集有助于推销该培训项目的信息，从而明确项目的成本和收益。,比较进行培训与不进行培训,（如重新设计工作或优化员工甄选系统）,的成本与收益,。,对不同培训项目的成本和收益作一比较，从而选择一个最优计划,。,14,四、培训评估的干预作用,从整个组织的培训有效性上分析，一个组织的培训兴衰取决于该组织的大气候。,系统的培训评估能使企业的培训发生巨大的变化，使培训从恶性循环到良性循环。,15,第二节 培训效果评估流程与信息获取,一、培训效果评估流程,培训效果评估主要由七个步骤组成：,作出评估决定,制订评估方案,收集评估信息,数据整理和分析,撰写评估报告,评估结果沟通,决定项目未来,16,（一）作出评估决定,在作出评估决定之前，必须开展以下工作：,1,、进行评估可行性分析。如果评估本身的成本高于培训项目的成本，就不具有经济意义，建议采取一个大概的、主观的评估。,2,、明确评估的目的。即决策者和项目管理者要向工作人员表达评估的意图。这很大程度上影响了评估方案的设计。,3,、选择评估者。评估者有两类人：内部评估者和外部评估者。如果企业内部缺乏评估的技术，不妨聘请外部评估者。聘请外部评估者的过程也是一个学习的过程。,4,、明确参与者。参与评估的人包括培训对象、培训组织者、外部专家等,17,（二）制订评估方案,培训评估方案需要明确的项目,（,1,）培训评估的目的；,（,2,）评估的培训项目；,（,3,）培训评估的可行性分析；,（,4,）培训评估的价值分析；,（,5,）培训评估的时间和地点；,（,6,）培训评估人员确定；,（,7,）培训评估的方法；,（,8,）培训评估的标准；,（,9,）培训评估的推进步骤；,（,10,）培训评估的工作分工与配合；,（,11,）培训评估的频率；,（,12,）培训评估的报告形式与反馈。,18,培训评估报告,的,核心内容,选择培训评估的方法,评估的设计,评估的策略,评估策略是重中之重，要回答谁来评估、什么时候评估和在什么地方评估。,19,（三）收集评估信息,评估信息的来源渠道,组织业绩记录；,学员；,学员的主管；,学员的下属；,学员的服务对象,；,学员所在团队或同事小组；,内部或外部团队,。,20,（四）数据整理和分析,数据整理分析的常用统计方法有：,集中趋势分析,离中趋势分析,相关趋势分析,21,（五）撰写评估报告,1、从开始撰写报告初稿，到向上级呈报报告，之间要完成以下工作：,（,1,）起草报告初稿、完善修改初稿；,（,2,）召开相关人员共同参加的评估会议,（相关人员包括：培训项目的管理者、实施者、项目顾问、培训学员、学员的领导或下属等）；,（,3,）共同讨论报告的真实性和结论的合理性，确保报告的客观性；,（,4,）根据评估会议收集的各方面意见修改报告；,（,5,）向上级呈报报告,22,2、在撰写报告时需注意以下几点,（1）要用辩证的眼光来分析问题；,（2）要在下结论之前确定真凭实据；,（3）要考虑到培训评估者本人可能存在的偏见；,（4）要考虑到培训的短期效果和长期影响,23,3、培训效果评估报告的结构与核心内容,培训效果评估报告一般由八个方面构成：,（1）一般信息。,包括：1）背景信息的介绍。2）评估目的。,（2）评估方法。,包括：1）评估的级别。2）投资回报率流程。,3）数据收集。,4）鉴别培训效果。,5）将数据转化为货币价值。,（3）数据转换及分析。,包括：1）财务数据。2）非财务数据。,（4）项目成本。,包括：成本阶段和分类矩阵。,24,（5）结果。,核心内容包括：,1）一般信息。2）结果1：反应满意度，行动计划。3）结果2：学习成果。4）结果3：应用与实施。5）结果4：对业务的影响。6）结果5：投资回报率。7）结果6：无形收益。,（6）障碍与促进因素。,1）障碍因素。2）促进因素。,（7）结论与建议。,1）结论。2）建议。,（8）附录,。,核心内容：补充资料。在报告的附录部分，附上原始资料及相关图表，如调查问卷、访谈记录、绩效档案、行业标准、技术模型等。,25,（六）评估结果沟通,1、为什么要开展评估结果的沟通,2、如何进行评估结果的沟通（针对与培训相关的不同人员要运用不同的沟通策略，以提高沟通的针对性 ）,26,（七）决定项目未来,根据评估结果，采取以下后续措施：保留并实施评估效果好的项目；对某些环节有缺陷的项目进行改进；暂停甚至取消评估效果差的项目,27,二、培训效果评估信息获取方法,（一）数据类型,在开展培训效果评估时必须依据各种数据，譬如顾客的投诉次数、工作人员的错投次数、返修产品件数、排版错误数、赞成性反应、顾客满意度等数据,。,这些数据可以归纳为两大类：硬性数据和软性数据。,28,1、硬性数据,硬性数据是指那些客观的、理性的、无争论的事实，是培训评估中非常希望掌握的数据类型,它一般具有以下特点：,(1) 一般是定量化的数据；,(2) 容易测量；,(3）是衡量组织绩效的常用标准；,（4）比较客观；,（5）比较容易转化为货币价值；,（6）衡量管理业绩的可信度较高,29,2、软性数据,由于培训效果有时有一定的滞后性，因此硬性数据的结果需要经历一段时间后才能表现出来,软性数据具有以下特点,（1）有时难以量化；,（2）相对来讲不容易测量；,（3）作为绩效测评的指标，可信度较差；,（4）在多数情况下是主观性的；,（5）不容易转化为货币的价值；,（6）一般是行为导向的。,软性数据通常来源于反映组织的氛围、员工的满意度、新技能的掌握和运用情况、工作习惯、发展以及创造性,30,（二）数据收集方法,一方面，要根据评估目标及需要收集的评估数据类型而定；,另一方面，还要考虑评估者的时间和偏好。,常用的评估数据采集方法,包括问卷调查、访谈、关键事件评估、检测等,。,31,1、问卷调查,问卷调查适用于：检查培训目标与工作任务相匹配的程度；评价学员在工作中对培训内容的应用；了解学员偏爱的学习方法以及对培训师所使用教学方法的态度。如果已经确定问卷是最适合的评估方法，其主要操作步骤有以下6个：,（1）明确你要通过问卷调查了解什么信息；、,（2）设计问卷；,（3）进行预调查，并对问卷进行修改与完善，必要时重新设计问卷；,（4）正式实施问卷调查，实施对象应该是从相关总体中抽出的一个具有代表性的样本；,（5）对回收的有效问卷资料进行分析；,（6）报告调查结果。,32,问卷调查法的优缺点如下,优点：单位成本较低，允许从大样本中收集信息；资料编码更直接，更可能以匿名的方式进行；回收的资料比较便于分析处理，如可以实现设计成机读卡；当调查对象分散在各地时也可很方便的进行；可避免访谈人员的偏见，如有选择地提问；当需要封闭式提问时是最适合的方法。,缺点：可能回收率很低和（或）需要大量的事后“催促”才能收回资料；依赖于调查对像对自己所处环境的认识、个性特点和思考能力，如他们必须能够简单地表达出相当清晰的观点；问题受到调查对象文化水平的限制；不具有灵活性，如不太容易改变已经完成的问卷设计；有过于简化资料且存在设计盲点的可能；设计和测试都很花费时间。,33,2、访谈,访谈方法的应用范围很广，可以了解学员对某培训方案或学习方法的反应；了解学员对培训目标、内容与自己实际工作之间相关性的看法；检查学员将培训内容在工作中应用的程度；了解影响学习成果转化的工作环境因素；了解学员的感觉和态度；帮助学员设立个人发展目标；比较组织战略和培训之间的一致性；为下一步的问卷调查做准备。,34,设计与实施访谈的步骤与问卷调查方法十分相似,（1）决定需要何种信息；,（2）设计访谈方案；,（3）测试方案效果，必要时重新设计；,（4）全面实施；,（5）对访谈资料进行分析；,（6）报告调查结果,35,访谈法的优缺点如下,优点：可以及时对问题作出解释并检查理解是否正确；访谈可以实现双向沟通，以确保对问题的解释和澄清；可以进行事先没有进行到的询问，一边对问题进行深入的追踪调查；当需要开放是提问时是最合适的方法。,缺点：访谈成本较高，不是经济的调查方法；实施访谈和分析资料非常耗费时间，这通常限制了样本规模；访谈的效果更多的依赖于访谈者的能力，如与访谈对象迅速建立融洽关系的能力，使访谈对象倾诉真言的能力,36,3、关键事件评估,关键事件评估可以完成多种任务，特别适用于根据行为变化来进行培训评估时，可以说没有其他方法能像关键事件评估这样检验培训对学员绩效的影响。,收集关键事件评估的资料时多采用访谈法。收集资料的过程应遵循以下原则：,（1）提供资料者（调查对象本人或者观察调查对象行为的人）只需要对所描述行为的成功或失败进行简单的判断。,（2）对观察者进行培训。,（3）必须观察实际行为，这样能最大程度的减少主观性。,（4）和绝大多数评估一样，如果把分析与适当的控制和培训前后的变化测评结合起来，调查结果的可信度将会提高。,37,关键事件评估的优缺点如下：,优点：,具有很高的表面效度，它以行为标准来评价调查对象的工作业绩，因此，观察过程中主观推测成分较少；,这种方法允许调查对象用他们自己的语言和根据自己的观点报告他们的经历，而不是由评估人员强加的观点，因此，调查对象提供的信息往往能够十分全面地描述细节和涵盖关键的工作任务。,缺点：,评估效果要依靠观察者和访谈者的能力；,很容易由于语言表达不当导致信息扭曲；,访谈对象在提供关键事件的例子时，有可能没有说出真相；,由于对事件资料进行有效和无效分类是一个主观过程，可能由于访谈对象的能力而发生错误和偏见；,该方法需要花费大量的时间和精力，特别是主要依赖访谈方法时更为费时费力；,该方法由于只评价关键要素，不能达到对全部日常工作进行评价的目的,38,4、测验,测验评估包括,书面测验与操作测验,书面测验用于了解学员已掌握的知识,操作测验的作用在于让学员了解他们的学习成果,书面测验的优点,：购买成本低；容易记分；可迅速批改；容易实施；可进行大样本的评估。,书面测验的缺点,：可能会带来威胁感；测压分数也许与工作绩效不相关；测验结果可能会受到文化因素影响。,操作测验的优点：,具有较高的表面效果；能强化学习效果；鼓励学员在工作中应用培训内容；能让指导老师和学员了解教学效果。,操作测验的缺点,：耗时；成本高；需要做大量的现场准备与监督工作；学员之间难免互相观察，评分的可靠性不强；中途可能会损坏设备,39,第三节 培训效果评估的经典模型,一、柯克帕特里克评估模型,（一）柯克帕特里克的培训评估模型的内容,它不仅观察学员的反应和检查学习结果，还衡量培训前后的表现和公司经营业绩的变化。该模型将评估分为反应、学习、行为及结果四个层次,。,40,（二）柯氏模型的假设,柯氏模型基于以下4个重要的假设,（1）培训评估有4个不同的准则，分别是反应、学习、行为和结果；,（2）这4个准则的排列是依据培训评估所获得信息价值的依次递增性；,（3）反应层次最常采用，因为这个层次的评估非常容易；而结果评估则较少采用，因为该层次评估难度大；,（4）这4个准则之间存在着层次秩序的交互关系，也就是说，若受训者的反应是正面的，他们可能学习更多；学习的越多，他们行为改变的越多；如果他们的行为改变，这通常是绩效改善的标志。,41,（三）柯氏模型的拓展,Alliger和Janek（1989）的研究发现，有12篇文章试图报告各个层级之间的相关关系，但是，这些研究并没有发现反应层次和其他3个层次之间存在的关联,柯氏模型中的反应仅仅是从情感上进行评估的，而对培训效用大小的反应则更加重要。,因为效用型反应与培训迁移的相关更大。,在学习层次上，原柯氏模型仅仅注重受训者当时陈述性知识学习的评估，而受训者的程序性知识掌握得如何直接影响培训迁移的程度，并且他们得出了效用型反应与培训迁移的相关要比传统评估中的学习与培训迁移的相关要大。,42,二、考夫曼的5层次评估模型,考夫曼对柯克帕特里的4层次模型进行了扩展，即增加了第5个层次-评估社会和顾客的反应，以及培训的可行性。该评估模型超越了单个组织的范畴，重视培训的正外部性，其目的是评估培训项目给社会带来的价值,43,三、菲利普斯培训效果评估模型,（一）菲利普斯（Phillips）培训效果评估流程,评估分为十个步骤：制定培训目标、确定评估计划和基础数据、培训期间的数据收集、培训结束后的数据收集、培训效果鉴别、将数据转化为货币、确定培训成本、确定无形收益、计算投资回报率、实施业务影响研究,44,（二）菲利普斯培训效果评估模型,投资回菲利普斯提出了从五个层次六类指标进行培训效果评估的理论（表7-15），六类指标依次是：反应和行动改进计划、学习、学习成果在工作中的应用、经营业绩、报,45,（三）菲利普斯培训效果评估模型的贡献,1、将柯氏模型的第四个层次进一步量化形成了第五个层次的评估概念，将培训与开发活动的结果转化为货币价值，提出投资回报率评估模型（见下图7-4）；,2、创建了无形收益作为第六类指标；,3、提出了在制定培训效果评估策略时，应首先确定评估的级别（层次），并据此收集相关的数据资料，包括“硬数据”和“软数据”；,4、培训效果评估并不一定要覆盖全部级别，根据评估目的进行部分或全部的评估；,5、设计了效果评估的“十步骤”来指导评估活动的实施。,46,培训的投资回报率（ROI）,培训的投资回报率（ROI）=培训净收益/培训成本,47,案例分析,培训经理W的想法对吗,？,第二批学员为什么比第一批“聪明”,？,48,复习思考题,1、什么是培训有效性与培训有效性评估？,2、简述事前评估、试验性测试与事后评估。,3、系统介绍柯克帕特里克评估模型。,4、举例说明几种常见的培训有效性评估的设计方案。,5、举例说明培训评估的数据来源及数据收集方法。,49,模拟设计,编制培训效果评估调查表,某石化公司A省分公司的人力资源部和B高校合作，拟在2012年10月至12月对非油品业务系统500名干部和员工进行了便利店经营管理的培训，每期培训时间为10天，地点在B高校学术交流中心。运用本章的知识和原理，以小组为单位设计一到两套培训效果评估方案。要求该案例：1）能够区分培训的价值；2）能够进行量化分析；3）具有可行性。,50,