评价研究设计PPT课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,评价研究设计,第1页,试验分类,试验,物理学研究,化学,动物试验,试验优点和不足,类试验,无法完全控制试验条件,第2页,研究两个效度,内部效度,针对于本研究对象，研究结果真实度,外部效度,研究结果在多大程度上能推论（广）到其它地方,第3页,试验、类试验与两个效度,试验,内部效度高，外部效度低,类试验,内部效度要打折，而外部效度高,第4页,项目（干预）成功两个基本条件,1、有效项目设计,即：假如项目干预方案得到完全实施，那么，项目标目标就能实现，项目所要处理问题就能处理,2、项目实施,即：项目标方案得以按质、按量地实施、完成,二者缺一不可,第5页,项目失败,错误项目设计,有效项目设计,有效项目设计,不好项目实施,很好项目实施,项目成功,项目失败,很好项目实施,项目失败,项目理论失败,项目实施失败,第6页,项目理论,建立项目理论、进行有效干预,基于项目理论、进行项目评价,第7页,项目理论例子,60年代美国卫生部关注婴儿死亡率和婴儿智力低下， 拨经费开展干预项目,前提假设,婴儿死亡率及智力低下与低体重儿（早产）相关,低体重儿与孕妇孕期未及时治疗疾病和营养不良相关,这种情况可在一些人群中发觉，如未成年怀孕，35孕妇，多产孕妇，有早产史，或收入低下家庭,基于上述相关关系。建立项目理论,假如找到高危母亲,假如能让她们参加项目,假如能将针对这些原因服务有效地提供给她们,那么，就能降低早产出生率,那么，就能够降低婴儿死亡率和智力低下,第8页,社会问题及干预,社会问题,贫穷,疾病,失业,犯罪,项目干预设计,需求评定项目设计项目评定,项目实施,项目产出,项目效果,过程评价,第9页,项目评价基本问题,判定问题,项目设计,项目实施,项目产出,项目效果,？,？,？,？,是问题吗？问题有多严重、范围有多大、影响谁？,需求评定,项目设计有效吗？,项目论证（对设计进行评定）,项目执行了吗？,实施评定（过程评定）,项目有效果吗？项目效果评定,项目干预值得吗？ 成本-效果分析,第10页,评价设计思绪,评价设计思绪,项目设计,项目实施,项目产出,问题,效果评价：项目处理了问题了吗,需求评定,方案论证,实施评价,第11页,第12页,评价研究目标,评价研究目标是,检验新做法是否被实施,假如被实施，效果怎样？,目标人群是否收益？,项目标效果是否可连续？,怎样深入改进、完善,第13页,评价类型,过程评价,效果评价,第14页,基本评价设计,1,、前后比较,1、 O X O,2、干预组与对照组比较,2.1、 X O,O,2.2、 O X O,O O,3. 时间序列分析,3.1. O1 O2 O3 X O4 O5 O6,3.2. O1 O2 O3 X O4 O5 O6,3.3. O1 O2 O3 O4 O5 O6,第15页,效果评价任务,怎样预计完全是因为项目干预所带来效果？,第16页,项目净效益,1,2,项目效益Y,=,项目后(y,e,pre,),项当前（y,e,post,）,=,1,对照组改变(y,c,),=,项目后(y,c,pre,),_,项当前（y,c,post,）,=,2,项目组改变(y,e,),=,项目后(y,e,pre,),_,项当前（y,e,post,）,=,1,项目净效益,=,2,1,项当前,项目后,Y,利用回归模型控制混杂原因，估算项目效益,项目干预,项目干预组,对照组,第17页,变量分类,项目目标变量、干预变量、控制变量,因变量Y：,早产儿出生率,婴儿死亡率，智力低下,干预变量X：针对各种原因服务干预,参加项目（是， 否）,控制变量,年纪、教育、性别,当地经济增加,交通,第18页,利益相关者评价方法,确定利益相关者,澄清利益相关者关注点,定义评价研究所要问答问题 （研究课题）,怎样回答评价研究所要回答问题,选择指标,选择评价设计,数据分析方案,第19页,利益相关者评价方法评价步骤,1. 确定利益相关者,2. 澄清利益相关者关注点,3. 定义评价研究所要问答问题（研究课题）,4. 怎样回答评价研究所要回答问题,a. 选择指标,b. 选择评价设计,c. 数据分析方案,d.,数据搜集方案,5. 过程评价,澄清项目理论,澄清项目干预关键流程,按照干预流程，检验干预实施,评价目标人群是否得到干预服务,6. 项目效果评价,7. 撰写项目评价汇报,8. 汇报散发,第20页,利益相关者及其关注点和评价课题,利益相关者,关注,评价命题,农民,能否看得起病？,能不能看好病,项目合作医疗是否会降低农民,看病费,用？,合作医疗对服务质量是否有所改进？,卫生局、,政府,农村卫生服务改进,服务利用,有哪些新服务开展？,服务质量高吗？,谁利用卫生服务？,服务成本效益吗？,-,第21页,讨论题,中关村地域高血压患病率较高，当地卫生部门拟开展试点，寻求有效、经济可连续高血压干预方法，方便在面上推广应用。,1、你怎样设计干预试点项目，请列出步骤及每一步骤期望结果；,2、你怎样设计试点评价方案，请列出步骤及每一步骤期望结果。,第22页,利益相关者评价方法,确定利益相关者,澄清利益相关者关注点,定义评价研究所要问答问题 （研究课题）,怎样回答评价研究所要回答问题,选择指标,选择评价设计,数据分析方案,第23页,利益相关者及其关注点和评价课题,第24页,第25页,第26页,高血压试点效果评价,利益相关者,关注点,评价命题,结果指标,自变量指标,评价设,计,第27页,选择评价指标,明确概念,初选评价指标,评价评价指标,第28页,选择评价指标,明确概念,明确各种不一样概念定义,确定概念定义,明确概念不一样角度,第29页,选择评价指标,初选评价指标,选择多少指标,怎样制订指标,怎样将指标转化成调查表,第30页,选择评价指标,评价评价指标,必须明确测量真正要测量， 测量结果是可靠得住,评定有效性、可靠性,试调查,第31页,制订调查问卷,选择区域,结果指标测量,干预指标及研究指标测量,背景指标测量,问卷内容,提问用词、语序、语气,简短、直接和非直接提问（敏感问题）、,无诱导,提问种类,开放式问题和封闭式问题,场景式提问,第32页,抽样,抽样方法,概率抽样,简单概率抽样,系统抽样,分层抽样,多步整体抽样,非概率抽样,目性抽样,限额（按比例）抽样,样本大小,第33页,评价设计有效性,有效性与评价设计相联络,内部有效性,所谓评价设计是内部有效，那么，项目评价人员则能自信地说评价结果是正确。,外部有效性,指评价结果能推广到其它地方程度,内部有效性对于评价来说是至关主要，假如没有内部有效性，就不能说效果是项目带来还是其它原因造成。,第34页,利益相关者评价方法评价步骤,1. 确定利益相关者,2. 澄清利益相关者关注点,3. 定义评价研究所要问答问题（研究课题）,4. 怎样回答评价研究所要回答问题,a. 选择指标,b. 选择评价设计,c. 数据分析方案,d.,数据搜集方案,5. 过程评价,澄清项目理论,澄清项目干预关键流程,按照干预流程，检验干预实施,评价目标人群是否得到干预服务,6. 项目效果评价,7. 撰写项目评价汇报,8. 汇报散发,第35页,项目评价提议书,1、背景,介绍,陈说项目要处理问题,2、评价命题,3、描述项目干预,4、项目标预期效果,5、原因分析及项目理论,6、项目目标,7、项目目标,8、项目目标人群,9、叙述项目干预前需求评定，假如没有进行需求评定，则叙述在需求评定时应关注问题，以及对应评定方法,10、批判性地评论项目是否有项目执行情况监测，假如没有，提出并叙述你详细提议。,11、描述评价设计（OXO）,12、结果指标、干预指标及分析性指标,13、怎样测量结果指标，叙述测量可靠性、有效性,14、怎样测量控制性变量,15、抽样方法,16、分析方法,17、详细讨论该评价设计内部有效性、外部有效性影响原因。,18、评价意义,第36页,评价汇报,I. 介绍（背景）,卫生问题,干预项目,评价命题,II. 方法,评价设计,干预目标、活动,样本,结果指标,信度(稳定度，可靠性),效度,指标搜集质量确保,分析方法,III. 结果,回答率,人口及其它特征描述,效果分析,成本效果分析,IV. 结论,V. 提议,表格、图,表1,表2,图1,附件,调查表,问卷,样本量计算,调查员培训材料,第37页,项目评价提议书（设计）,1、背景,介绍,陈说项目要处理问题,2、评价命题,3、描述项目干预,4、项目标预期效果,5、原因分析及项目理论,6、项目目标,7、项目目标,8、项目目标人群,9、叙述项目干预前需求评定，假如没有进行需求评定，则叙述在需求评定时应关注问题，以及对应评定方法,10、批判性地评论项目是否有项目执行情况监测，假如没有，提出并叙述你详细提议。,11、描述评价设计（OXO）,12、结果指标、干预指标及分析性指标,13、怎样测量结果指标，叙述测量可靠性、有效性,14、怎样测量控制性变量,15、抽样方法,16、分析方法,17、详细讨论该评价设计内部有效性、外部有效性影响原因。,18、评价意义,第38页,选择评价指标,初选评价指标,选择多少指标,怎样制订指标,怎样将指标转化成调查表,第39页,评价汇报,I. 介绍（背景）,卫生问题,干预项目,评价命题,II. 方法,评价设计,干预目标、活动,样本,结果指标,信度(稳定度，可靠性reliability),效度(validity),指标搜集质量确保,分析方法,III. 结果,回答率,人口及其它特征描述,效果分析,成本效果分析,IV. 结论,V. 提议,表格、图,表1,表2,图1,附件,调查表,问卷,样本量计算,调查员培训材料,第40页,