培训项目评估世界银行学院

Hong Tan 高级经济学家 世界银行学院人力发展局 对培训项目进行评估： 一个全球适用的初级评估实例 背景 全球对针对失业和劳动力生产力低下开展的培训活 动兴趣很大，却受到培训成本高昂的阻碍。 鉴此，决策层对评估和了解以下问题感兴趣： 培训项目有作用吗？培训对象是谁？ 培训能提高成效吗？ 这些问题 无法 从以下方面得到回答： 绩效研究和机制评估研究 受训者满意度主观评估 需要对比组的纯效应评估研究 纯效应评估 回答这些问题的唯一方法是 : 把培训项目的受训者（对象组）的结果与未接受 培训的类似人群（对比组）进行比较 。 实例 : 80% 的受训者获得了就业。但是只有 60%的能 够自行找到工作，其余的 20%差异是培训纯效应 的估计值，为评价投资的公共收益提供了基础。 所面对的挑战是反事实的 建立起一个由类似 个体组成的未参加培训项目的对比人群。 目标 了解主管部委（由谁来评估）和决策者（由谁 决定资源分配）关于影响力评估的核心概念和 方法 为培训和其他劳动力市场项目提供一个介绍评 估纯影响力的设计和数据收集的入门手册 着重强调一些可能的对项目影响力进行评估时 易犯的错误，并通过修正错误来修正培训项目 的设计，改进评估的既定目标 讲课大纲 1. 影响力评估方法 实验设计和准实验设计 2. 设计原则 3. 估计培训的影响力 整体影响力、分组分析、相互作用 4. 培训项目评估实例 评估设计、评估发现和教训 评估方法 实验设计 培训前评估对象和对比组的随机分组 分组程序要确保对象组和对比组具有类似特点 准实验设计 培训后从培训人群中选出对象组，从非培训人 群中选出对比组 应用统计技巧确保具有类似特点 实验设计 优点 解释评估结果简便易行 培训产生的纯影响力既是对象组和对比组平均结果之 间的差异 缺点 受训者中的“精华” , 分组中的伦理问题及“霍桑效应 ” 酝酿时间长达 2-3年 需要有优良的数据收集为基础 准实验设计 优点 通常可在一年内完成 降低成本和简便数据收集过程要求评估建立在 现存行政记录的基础之上 缺点 要求在统计方法方面拥有实力，建立一个类似 的对比组并对项目影响力进行评估 某些挑战 (见下 ) 对比组方面的问题 准实验设计 培训前后的对比 把受训者自身作为对比组 对观察对象的还原 使用 OLS评估影响力，排除观察对象特点方面的差 异 对评估的影响 选择性还原 使用 Heckman修正法排除主观对未观察到的特点的 偏见对影响力评估造成的影响 倾向得分配合 使用盖然性得分法改进对比组与对象组的配合 设计原则 某些原则同时适用两种方法 统一资格标准 足够的抽样规模 抽样法和数据收集 标准处理 合理的成本和时间框架 稳定的评估环境 与其他项目的相互作用 评估影响力 1) E(Yp) E(Yc) T-检验对象组 “p”的结果 Y (例如收入、就业 )是否有 别于 对比组 “ c”的结果 Y 2). Yi = a0 + a1Pi + ui 多层还原等同于 (1), P 是 1,0表明该个体 “i”是受训者 ，并检测项目影响力 a1是否有意义 其他评估问题 1). Yi = a0 + a1Pi + a2Xi + ui 采用还原法调整特点 X上的差异并评估纯影响力 2). Yi = a0 + a1P1i + a2P2 + ui 分析培训项目的次组成因素 P1和 P2, 例如培训时间 长短、公共培训和私营培训 3). Yi = a0 + a1Pi + a2P.ES + a3ES + ui 检测培训和其他就业服务之间的相互作用效应 ES 未观察项问题 对未观察特点的主观偏见影响培训决策和培 训结果 1) Heckman选择性程序 修正未观察特点后对影响力进行评估 2) 差异之差别程度程序 排除未观察特点的影响，使用培训前后对象 组和对比组的数据对影响力进行评估 实例 1 美国职业培训与合作伙伴关系法 (JTPA) 使用随机分组实验设计对职业培训与合作伙伴关系法进 行多年期评估 结果 以成年人为对象的培训取得了成功 提高收入 7-11 %, 每 1美圆的投资收益为 1.5美圆 以年轻人为对象的培训失败了 议会削减了职业培训与合作伙伴关系法项目中培训年轻 人的预算，但增加了对成年人培训的预算 评估协助判定并取消无效的项目，并将资源重新分 配给成本效益高的项目 实例 2 中东欧局培训影响力评估 捷克共和国、匈牙利、波兰和土耳其 对 ALMP的准实验评估包括使用通用方法的培训 就业培训的影响力 除了土耳其，在其他国家均取得的影响范围较小但积 极的影响力；在某些国家的影响力较为持久 对妇女、青年工人以及中等教育水平以下人群的的影 响力更大 各国培训产生的影响力有共性也有差异：各国应自 行开展评估活动 评估结果导致土耳其和捷克共和国改进了培训既定 目标，明确了妇女作为培训的对象 实例 3 墨西哥中小企业培训项目 (CIMO) 劳动部向中小企业提供培训和技术援助项目以提高企业 的生产力和工人的收入 2项对象组企业和对比组企业准实验评估的混合结果 提高了中期结果，例如培训、劳动力的流动、应用质 量控制、次品率下降等 参与该项目的企业生产力水平较低：该项目仅对生产 性较低的企业有吸引力 但是，生产力差异将随着时间的推移而减小，差异之 差别程度程序（ DID） 显示出积极影响力 关注选择性和未观察特点的影响，收集项目前后数 据 谢谢 本演示细节见论文。有关评估设计、 方法论和结果的进一步研究请见参考 文献。