培训项目评估-世界银行学院-明阳天下拓展.ppt

HongTan高级经济学家世界银行学院人力发展局 对培训项目进行评估 一个全球适用的初级评估实例 背景 全球对针对失业和劳动力生产力低下开展的培训活动兴趣很大 却受到培训成本高昂的阻碍 鉴此 决策层对评估和了解以下问题感兴趣 培训项目有作用吗 培训对象是谁 培训能提高成效吗 这些问题无法从以下方面得到回答 绩效研究和机制评估研究受训者满意度主观评估需要对比组的纯效应评估研究 纯效应评估 回答这些问题的唯一方法是 把培训项目的受训者 对象组 的结果与未接受培训的类似人群 对比组 进行比较 实例 80 的受训者获得了就业 但是只有60 的能够自行找到工作 其余的20 差异是培训纯效应的估计值 为评价投资的公共收益提供了基础 所面对的挑战是反事实的 建立起一个由类似个体组成的未参加培训项目的对比人群 目标 了解主管部委 由谁来评估 和决策者 由谁决定资源分配 关于影响力评估的核心概念和方法为培训和其他劳动力市场项目提供一个介绍评估纯影响力的设计和数据收集的入门手册着重强调一些可能的对项目影响力进行评估时易犯的错误 并通过修正错误来修正培训项目的设计 改进评估的既定目标 讲课大纲 影响力评估方法实验设计和准实验设计2 设计原则估计培训的影响力整体影响力 分组分析 相互作用培训项目评估实例评估设计 评估发现和教训 评估方法 实验设计培训前评估对象和对比组的随机分组分组程序要确保对象组和对比组具有类似特点准实验设计培训后从培训人群中选出对象组 从非培训人群中选出对比组应用统计技巧确保具有类似特点 实验设计 优点解释评估结果简便易行培训产生的纯影响力既是对象组和对比组平均结果之间的差异缺点受训者中的 精华 分组中的伦理问题及 霍桑效应 酝酿时间长达2 3年需要有优良的数据收集为基础 准实验设计 优点通常可在一年内完成降低成本和简便数据收集过程要求评估建立在现存行政记录的基础之上缺点要求在统计方法方面拥有实力 建立一个类似的对比组并对项目影响力进行评估某些挑战 见下 对比组方面的问题准实验设计 培训前后的对比把受训者自身作为对比组对观察对象的还原使用OLS评估影响力 排除观察对象特点方面的差异对评估的影响选择性还原使用Heckman修正法排除主观对未观察到的特点的偏见对影响力评估造成的影响倾向得分配合使用盖然性得分法改进对比组与对象组的配合 设计原则 某些原则同时适用两种方法统一资格标准足够的抽样规模抽样法和数据收集标准处理合理的成本和时间框架稳定的评估环境与其他项目的相互作用 评估影响力 E Yp E Yc T 检验对象组 p 的结果Y 例如收入 就业 是否有别于对比组 c 的结果Y2 Yi a0 a1Pi ui多层还原等同于 1 P是1 0表明该个体 i 是受训者 并检测项目影响力a1是否有意义 其他评估问题 1 Yi a0 a1Pi a2Xi ui采用还原法调整特点X上的差异并评估纯影响力2 Yi a0 a1P1i a2P2 ui分析培训项目的次组成因素P1和P2 例如培训时间长短 公共培训和私营培训3 Yi a0 a1Pi a2P ES a3ES ui检测培训和其他就业服务之间的相互作用效应ES 未观察项问题 对未观察特点的主观偏见影响培训决策和培训结果Heckman选择性程序修正未观察特点后对影响力进行评估差异之差别程度程序排除未观察特点的影响 使用培训前后对象组和对比组的数据对影响力进行评估 实例1 美国职业培训与合作伙伴关系法 JTPA 使用随机分组实验设计对职业培训与合作伙伴关系法进行多年期评估结果 以成年人为对象的培训取得了成功提高收入7 11 每1美圆的投资收益为1 5美圆以年轻人为对象的培训失败了议会削减了职业培训与合作伙伴关系法项目中培训年轻人的预算 但增加了对成年人培训的预算评估协助判定并取消无效的项目 并将资源重新分配给成本效益高的项目 实例2 中东欧局培训影响力评估捷克共和国 匈牙利 波兰和土耳其对ALMP的准实验评估包括使用通用方法的培训就业培训的影响力除了土耳其 在其他国家均取得的影响范围较小但积极的影响力 在某些国家的影响力较为持久对妇女 青年工人以及中等教育水平以下人群的的影响力更大各国培训产生的影响力有共性也有差异 各国应自行开展评估活动评估结果导致土耳其和捷克共和国改进了培训既定目标 明确了妇女作为培训的对象 实例3 墨西哥中小企业培训项目 CIMO 劳动部向中小企业提供培训和技术援助项目以提高企业的生产力和工人的收入2项对象组企业和对比组企业准实验评估的混合结果提高了中期结果 例如培训 劳动力的流动 应用质量控制 次品率下降等参与该项目的企业生产力水平较低 该项目仅对生产性较低的企业有吸引力但是 生产力差异将随着时间的推移而减小 差异之差别程度程序 DID 显示出积极影响力关注选择性和未观察特点的影响 收集项目前后数据 谢谢 本演示细节见论文 有关评估设计 方法论和结果的进一步研究请见参考文献