资源描述
*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,项目目评评估估,HueyT.Chen,Ph.D.,行为为健健康康室室,伯明明翰翰阿阿拉拉巴巴马马大大学学,美国国,第一一单单元元:基基本本概概念念和和问问题题,项目目评评估估的的定定义义,Rossi,etal.,2004:,利用用社社会会学学研研究究的的程程序序来来对对社社会会学学干干预预项项目目进进行行系系统统的的研研究究,Chen,2004:,利用用评评估估方方法法、技技术术和和知知识识来来系系统统评评价价和和改改善善干干预预项项目目的的计计划划，实实施施及及效效果果,干预预项项目目,通过过有有组组织织的的努努力力来来改改善善社社会会问问题题或或增增进进人人群群健健康康,卫生生项项目目,项目目评评估估的的目目的的,评价价,项目目改改进进,基本本概概念念和和评评估估中中的的问问题题,利益益相相关关者者:个个人人，小小组组或或组组织织对对项项目目运运行行的的方方式式具具有有浓浓厚厚的的兴兴趣趣,项目评评估中中利益益相关关者的的担心心,担心项项目评评估将将消耗耗项目目资源源,担心项项目将将会终终止,担心信信息将将会被被滥用用,担心评评估的的设计计没有有针对对性或或不公公平,有效的的评估估,对未来来有指指导作作用,具有科科学性性，并并且具具有利利益相相关者者可信信性,科学上上的可可信度度:以以科学学的原原则为为指导导,利益相相关者者可信信性：利利益相相关者者认为为能够够反映映实际际情况况且公公平,整体策策略,内部与与外部部评估估者问问题,管理者者的信信心,目标,对项目目的理理解,潜在的的使用用价值值,自治,评估者者的作作用和和评估估方法法(1),独立评评估:,评估者者作为为客观观的评评估者者,参与式式评估估:,评估者者与利利益相相关者者合作作来设设计评评估,参与式式评估估的赞赞成与与反对对者,赞成:,增加了了利益益相关关者的的信任任度,减少了了评估估者与与项目目管理理者及及工作作人员员之间间的冲冲突,有利于于改善善项目目,减少了了权力力的不不平衡衡,提高了了评估估结果果的利利用率率,反对:,耗费时时间和和资源源,可能不不客观观,目前的的趋势势:,第二单单元:项项目评评估的的分类类,评估类类型的的传统统分类类,形成性性和结结论性性评估估,过程和和结果果评估估,形成性性和结结论性性评估估(1),Scriven,1980:,评估可可能向向那些些希望望改善善某些些事情情的人人提供供反馈馈信息息,(形成成性评评估),;,或向决决策者者提供供信息息以便便他们们决定定资助助、终终止或或购买买某些些东西西,(结论论性评评估),.,形成性性和结结论性性评估估(2),举例:“当厨厨师品品尝汤汤的时时候，这是是形成成性评评估;当当客人人品尝尝时，就是是结论论性评评估”,问题:形形成性性研究究与形形成性性评估估之间间的区区别在在哪里里?,过程和和结果果评估估,过程评评估:评评估一一个项项目是是如何何执行行的,结果评评估:评评估项项目的的结果果,问题:形形成性性结结论性性与过过程结果果评估估之间间有什什么联联系?,评估分分类,评估能能够满满足过过程和和利益益相关关者的的需求求,(Chen,2004),项目阶阶段,项目计计划,开始实实施,实施的的成熟熟阶段段,结果,第三单单元,:,利用评评估来来评价价和改改善项项目计计划,项目计计划与与评估估,评估功功能：提供供相关关信息息和帮帮助以以帮助助利益益相关关者,制定项项目的的计划划和理理论,评估方方法,:,需求评评估,形成性性研究究,制定方方法（DevelopmentFacilitation）,需求评评估,需求的的定义义,实际与与需求求状态态之间间的差差异?,人必须须在一一种有有满足足感的的状态态下生生存,需求与与要求求,高危人人群,产生某某种问问题的的几率率较高高的一一组人人群,准备需需求评评估,要研究究的人人群,目标人人群特特殊定定义,举例:老老年居居民缺缺乏社社会机机遇,社区中中目前前的资资源,需求评估的的信息来源源,需求的社会会指标,统计数字，公共材料料，普查,社区调查,面对面访谈谈,提供深入的的信息,费用可能较较高,电话访谈,提供一般的的信息,非常难于接接触到高危危人群,信件调查,可灵活地接接触大量人人群,在长的及开开放性的问问题方面会会受到限制制,应答率通常常较低,关键知情人人,对社区非常常了解的人人或社区的的领导,举例：卫生生需求的关关键知情人人?,访谈或小组组访谈的方方法,作为一个好好的倾听者者的重要性性，以及准准备回答项项目相关的的问题,潜在的问问题,过度估计计,个人日程程,小组访谈谈,一个非正正式的小小组一起起讨论需需求,小组人员员的构成成非常重重要,小组领导导者不能能与小组组中的任任何成员员疏远,气氛:轻轻松且且自由自自在,小组访谈谈之前应应当准备备特殊的的问题,形成性研研究,有利于寻寻找原因因（决定定因素）及干预预策略以以及设计计项目的的一些相相关背景景信息,帮助利益益相关者者发现重重点关注注的原因因（决定定因素）,帮助利益益相关者者找到干干预策略略,有利于缩缩小需求求与要求求之间的的差距,第四单元元,方法制定定,逻辑模型型,项目活动动与希望望达到效效果之间间联系的的图解,逻辑模型型的构成成成分,结果,产出,活动,投入,逻辑模型型的术语语,投入:执执行项项目所需需要的资资源,资金，人人员，合合作，设设备及物物资供应应,活动:执执行项项目所需需要开展展的主要要活动及及方式,招募及培培训项目目执行者者，提供供服务,产出:项项目活活动的主主要产品品,培训班数数量，培培训学员员数量,开展咨询询的次数数,结果:由由于项目目而导致致明显的的变化,知识、技技能、态态度、行行为、健健康状态态的变化化,逻辑模型型举例,请参见所所发的单单页辅助助材料,逻辑模型型,投入,活动,产出,最初结果,中期结果,长期结果,项目原理理,达到预想想的目标标所必须须开展的的活动详详述，还还会产生生什么样样其他的的重要影影响，目目标及影影响是如如何产生生的,项目基本本原理(改变变模式),:,它促使行行动开始始,项目计划划(行动模模式）,行动方案案蓝图,项目基本本原理,项目将减减少或解解决什么么问题？,什么样的的目标人人群将会会受到项项目关注注？,项目将达达到什么么样的可可测量的的目标？,什么决定定因素（问题的的原因，平衡机机制）促促使变化化的发生生？,什么样的的干预活活动可以以影响这这种决定定因素？,什么问题题,?,什么目标标人群,?,干预,决定因素素,结果,黑箱评估估,原理驱动动型评估估 (行行动及概概念假设设),改变模型型举例,大众传媒媒,运动,更健康的的,饮食,更健康,饮食,更健康,饮食,饮食知识识,及意识,大众传媒媒,运动,大众传媒媒,运动,减少,心脏病,饮食知识识,及意识,针对吸毒毒者提供供艾滋病病自愿咨咨询与检检测的项项目组成成成分,需要减轻轻的问题题,?,目标人群群,?,最终结果果,:,减少吸毒毒者中艾艾滋病病病毒的传传播,近期结果果,减少共用用针具,实施安全全性行为为,决定因素素,?,干预,艾滋病,自愿咨询询,与检测,项目计划划,实施机构构,:,技术方面面的特长长，文化化方面的的能力，人力资资源及其其他资源源,?,干预及服服务提供供的方案案：由谁谁负责？,项目执行行者,:,招聘,培培训,保持资格格,及承诺,同伴机构构社区区的合作作者,:,建立合作作关系,社会生态态学背景景,:,寻求其支持,(,微观水平上的的支持及宏观观水平上的支支持,),目标人群,:,发现,招聘，筛查及及服务,项目成功,实施成功,干预的完整性性,行动原理成功功,概念理论成功功,决定因素,实施,结果,干预,项目计划,形成性评估过过程评估过过程与结果果评估监督督,HueyT. Chen, Ph.D.,第五单元,过程评估,一个评价项目目是否按照最最初设计思想想实施的评估估过程,项目接触到预预定的目标人人群了吗？,目标人群中的的成员了解项项目吗?,形成性评估与与过程评估,形成性评估: 利用灵活活的研究方法法来评价项目目实施中的障障碍和促进因因素，帮助利利益相关者去去克服困难,过程评估:评评价实施的的质量,形成性评估举举例:,安全套可及性性项目,社区中的中学学有安全套自自动售套机(每个安全全套2角5分分钱).,售套机安装在在护士办公室室，活动中心心及走廊.,形成性评估的的目的是告诉诉你如何增加加安全套的销销售,研究方法:开开展了两个个小组访谈.,障碍:,售套机的安装装位置,2角5分钱的的费用,安全套的包装装,辅导者:青青少年健康中中心是一个安安全获得安全全套的地方,过程评估举例例: 孕妇吸吸烟复吸预防防项目,干预内容,与一个吸烟的的健康教育者者进行10分分钟咨询,通过讨论和辅辅导提供并加加强社会支持持,产前医务人员员在门诊进一一步强化(护士和医生生),研究方法,从参加人员中中选择一部分分代表，利用用规范的调查查工具进行访访谈，以了解解计划的内容容与学员实际际获得的内容容的一致性。,原理驱动过程程评估 (标标准化评估),利用项目原理理的概念性框框架 (特别别是行动模式式)来评估实实施过程,评估项目在干干预、目标、及实施环境境方面计划与与实施之间的的一致性。,干预,艾滋病,自愿咨询,检测,实施,实施者干预同伴机构生态学目标人群,与服务背景,机构提供,方案,过程监督,阶段性收集实实施过程中的的信息,举例,有多少人接受受了服务？,谁接受了服务务？,向目标人群提提供了什么样样的服务？,过程和结果监监督,过程监督,结果监督,资料收集,由评估者收集集,利用现有的记记录,效果评估中的的基本问题,HueyT. Chen, Ph.D.,第六单元,内部有效性及及外部有效性性,内部有效性: 干预工作作影响到结果果了吗？,外部有效性: 哪些人群群、场所和测测量可以推广广这些效果？,Campbell:内内部有效性是是必须的,选择-成熟交交互作用:,选择偏性会导导致成熟率的的不同,试验设计,随机试验:,试验组和对照照组是随机分分配形成的,准试验设计:,试验组和对照照组不是按照照随机分配的的原则形成的的,预试验设计:,设计什么东西西不会对内部部有效性产生生巨大影响,预实验设计,一组检测前后后设计,OXO,对内部部有效效性的的影响响-1,历史:,在预试试验和和后验验证之之间发发生的的干预预活动动以外外的事事件。,成熟:,随着时时间的的推移移在一一个人人或系系统中中所产产生的的变化化，如如成长长，疲疲倦，社会会趋势势等。,检验:,一次检检测后后进行行第二二次检检测得得分变变化的的效果果,仪器精精度:,测量工工具的的精度度发生生变化化或观观察者者的变变化可可能会会导致致观测测结果果的变变化。,对内部部有效效性的的影响响-2,历史衰衰减:,根据一一个人人或事事物的的极端端特性性进行行选择择后所所产生生的假假性变变化。,选择:,选择对对照组组时由由于平平均测测量结结果的的不同同所带带来的的偏差差。,损失:,由于对对照组组在成成熟度度选择择方面面的影影响而而导致致被观观察个个体在在差异异方面面的丢丢失。选择择偏性性导致致成熟熟率不不同。,选择成成熟度度的影影响:,选择偏偏性所所造成成的成成熟率率的变变化。,随机试试验,参加者者随机机被分分配到到对照照组和和试验验组中中,利用随随机原原则建建立可可比性性。,问题:随随机化化不是是随机机抽样样,问题:附附近试试验:“忽视视”的的情况况,问题:如如何测测量试试验中中安慰慰剂所所产生生的影影响。,干预组组,ROXO,对照组组ROXO,对随随机机试试验验的的批批评评,试验验要要求求项项目目的的连连续续性性而而不不利利于于持持续续的的改改善善。(管管理理者者与与评评估估者者之之间间的的冲冲突突）,由于于操操作作性性的的原原因因，试试验验倾倾向向于于一一次次测测量量一一个个项项目目变变量量，而而实实际际上上项项目目的的成成功功取取决决于,于多多,项,项,服服务务结结合合在在一一起起。,一项项实实验验试试图图控控制制太太多多的的条条件件，从从而而使使项项目目不不受受任任何何因因素素影影响响，但但在在实实际际中中无无法法推推广广。,试验验不不研研究究效效果果是是如,如,何何或或为为什什么么会会产产生生，也也不不能能理理解解什什么么因因素素是是项项目目成成功功的的关关键键。,开展展试试验验最最理理想想的的时时间间,当引引进进一一个个新新的的干干预预措措施施时时,当基基准准提提高高时时,当对对项项目目效效果果出出现现争争论论时时,准实实验验设设计计,HueyT.Chen,Ph.D.,第七七单单元元,非对对称称性性对,对,照照组组的的设设计计,干预预组组OXO,-,对照照组组OO,对内,内,部部有,有,效效性性的的影影响响?,提高高可可比比性性的的策策略略,对照照组组匹匹配配,个体体特特征征，家家庭庭特特征征,组织织单单位位的的特特征征，社社区区特特征征,对照照组组的的统统计计,阻断断,型,型时时间间序序列列设设计计,OOOOOOXOOOOOO,对内内部部有有效效性性的的影影响响?,评价价预预定定的的和和意意外外的的结结果果,目标标模模,型,型的的,局,局,限,限性性,管状视野野,忽视意外外的效果果,无目标评评估(Scriven),评估者事事先不了了解项目目目标相相关的知知识,检查预定定的和意意外的结结果,检查实施施的活动,动,举例:对对失职职者的管管教机构构,正式目标标:恢恢复,操作性目,目标:,监监管,使用现有有的原理理和或或知识,原理驱动动型结果果评估,Huey T. Chen, Ph.D.,第八单元元,实施机构构,实施者,同伴机构构社区区合作者者,干预及提提供服务务的方案案,生态学背背景,目标人群群,实施,干预决决定因素素结结果果,应用举例例原原理驱动动型评估估,控烟项目目,干预:连连环环画,目标人群群:初初中学生生,评估的设设计:非非对对称性对对照组设设计,结果的测测量:吸吸烟相相关的信信念,态态度,行为,设计利益益相关者者项目原原理反应应问题的的策略,对吸烟的的态度、信念,及行为改改变,阅读连环环画的次次数,有关连环环画故事事,和特征的的知识水水平,干预,Huey T. Chen2004实用性项项目评估估:评估和改改善项目目的设计计、实施施及效果果.,ThousandOaks,CA:Sage,
展开阅读全文