资源描述
,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,吕书红，中国CDC健康教育所,*,单击此处编辑母版标题样式,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,评价的概述,一、几个基本概念,监控与评价（M & E）,监控,督导,评价,9/8/2024,吕书红，中国CDC健康教育所,监控,包括监测与现场督导。是加强质量控制的有效方法。,监测是在项目计划的执行过程中，项目管理人员对项目实施的日常工作开展情况的检查和督促，其目的是保证项目各项活动按计划和要求实施。,9/8/2024,吕书红，中国CDC健康教育所,现场督导,是,监控的重要手段，是监控工作的重要组成部分。,是项目管理者对项目实施情况分阶段进行的定期监督和指导。,通过收集分析规划实施单位相关资料、现场考察等方法，综合运用社会学、统计学和流行病学等研究手段，评价项目的实施情况。,9/8/2024,吕书红，中国CDC健康教育所,评价,简单地说就是比较。,将客观实际情况与项目计划进行比较,把项目实际取得的结果与预期目标进行比,根据评价的目的和内容的不同，分成形成评价、过程评价、效应评价（近中期效果评价）和结局评价几类。,9/8/2024,吕书红，中国CDC健康教育所,监控,监测，,通过报表等收集信息资料,现场督导,评价,侧重效果评价（效应评价）,过程评价,形成评价,结局评价,评价,9/8/2024,吕书红，中国CDC健康教育所,二、评价的目的,1. 确定健康教育/健康促进计划的先进性与合理性；,2. 确定活动是否适合目标人群，活动进展及资源利用情况；,3. 确定健康教育/健康促进计划达到预期目标的程度及其影响因素；,9/8/2024,吕书红，中国CDC健康教育所,4. 总结健康教育/健康促进项目的成功经验与不足之处，提出进一步的研究假设；,5. 向公众介绍项目成就，扩大项目影响，改善公共关系，以取得目标人群、社区更多的支持与合作；,6.向项目资金提供者说明项目结果，完成合同的要求。,9/8/2024,吕书红，中国CDC健康教育所,如何开展评价活动,一、如何开展监控,1、监控的内容,各级项目实施进展情况,质量,2、监控的方法,收集报表资料和现场督导,各级项目办收集、审核及分析季报表。,通常监控的信息收集可以在办公室中就完成。,9/8/2024,吕书红，中国CDC健康教育所,二、如何开展现场督导,1、督导工作的原则,（1）督导工作应按项目计划的要求，分级、按规定的频度进行；,（2）各级各类督导均应以项目实施指南为规范；,（3）应对辖区内所有实施项目的相关单位按要求进行督导。在注意覆盖面的同时，要对工作薄弱地区实行重点督导；,9/8/2024,吕书红，中国CDC健康教育所,督导工作的原则,（4）注意收集信息的可靠性、分析问题方法学的正确性，注重问题的一般性、特殊性、偶然性、系统性及其内在联系；遵循深入基层、实事求是、反对弄虚作假的原则；,（5）尽可能争取政府和相关部门参加督导。注意多部门参与和业务的权威性。,（6）针对项目实施的不同阶段有不同的督导重点。,9/8/2024,吕书红，中国CDC健康教育所,2、督导评价的内容、方法和指标,1）项目活动的执行情况,内容：了解项目活动是否按照计划执行,资料收集方法：对照项目计划时间表，查阅有关活动记录,指标：,项目活动执行率=按计划完成的项目活动数/计划的项目活动总数*100%,9/8/2024,吕书红，中国CDC健康教育所,2）项目活动的开展情况,内容：覆盖和参与情况,干预活动的类型、次数、持续时间、覆盖的人群,传播材料的发放种类、数量、对象、使用的情况,培训活动的次数、人数、持续时间、培训内容等,9/8/2024,吕书红，中国CDC健康教育所,2）项目活动的开展情况,资料收集方法：工作记录或实地观察,培训活动的照片、签到表、培训教材讲义、日程、培训总结反馈,节目表、媒体照片、目标人群的观后反馈,传播材料的样品、发放登记、发放活动照片、目标人群反馈,9/8/2024,吕书红，中国CDC健康教育所,指标,参加活动的人次数,接受培训的人次数（培训业务人员、村医、目标人群等）,传播材料的发放数量,宣传品覆盖的人数,大众传媒（广播、电视、报纸等）刊播次数、频次,9/8/2024,吕书红，中国CDC健康教育所,指标,项目活动覆盖率=实际参与项目活动的目标人群人数/目标人群总人数*100%,干预活动暴露率=实际参与某项干预活动的人数/应参加该干预活动的总人数*100%,媒介拥有率=拥有某种媒介（如某折页、传单等）的人数/目标人群的总人数*100%,有效指数(EI)=干预活动暴露率/预期达到的参与百分比*100%,9/8/2024,吕书红，中国CDC健康教育所,3）目标人群对项目活动的满意度,内容：了解项目对象对活动内容、组织形式、安排等的满意程度以及不满意的原因,资料收集方法：定量问卷和专题小组讨论,指标：,满意度=参加某项活动的目标对象中持满意态度的人数/参加该活动的目标对象总人数*100%,也可对活动具体某一方面的评价,9/8/2024,吕书红，中国CDC健康教育所,4）项目活动实施质量,内容：,活动是否符合需求,干预活动的质量、传播材料的质量,工作记录的完整性和质量,服务利用情况如何,工作人员的工作态度、知识、技能、业务指导能力,资料收集方法,观察,访谈,查阅工作记录,9/8/2024,吕书红，中国CDC健康教育所,5）项目经费使用情况,内容：了解经费到位和使用情况,资料收集方法：财务报表,指标：,经费到位率=已到位经费/应拨付项目活动总经费*100%,经费执行率=实际使用的经费/计划中预算经费*100%,6)其他：针对组织：机构、网络建设、部门合作、政策制定、环境开发等等（查阅文件、会议资料等）,9/8/2024,吕书红，中国CDC健康教育所,2）项目活动的开展情况,资料收集方法：工作记录或实地观察,培训活动的照片、签到表、培训教材讲义、日程、培训总结反馈,节目表、媒体照片、目标人群的观后反馈,传播材料的样品、发放登记、发放活动照片、目标人群反馈,9/8/2024,吕书红，中国CDC健康教育所,指标,参加活动的人次数,接受培训的人次数（培训业务人员、村医、目标人群等）,传播材料的发放数量,宣传品覆盖的人数,大众传媒（广播、电视、报纸等）刊播次数、频次,9/8/2024,吕书红，中国CDC健康教育所,指标,项目活动覆盖率=实际参与项目活动的目标人群人数/目标人群总人数*100%,干预活动暴露率=实际参与某项干预活动的人数/应参加该干预活动的总人数*100%,媒介拥有率=拥有某种媒介（如某折页、传单等）的人数/目标人群的总人数*100%,有效指数(EI)=干预活动暴露率/预期达到的参与百分比*100%,9/8/2024,吕书红，中国CDC健康教育所,过程评价,3）目标人群对项目活动的满意度,内容：了解项目对象对活动内容、组织形式、安排等的满意程度以及不满意的原因,资料收集方法：定量问卷和专题小组讨论,指标：,满意度=参加某项活动的目标对象中持满意态度的人数/参加该活动的目标对象总人数*100%,也可对活动具体某一方面的评价,9/8/2024,吕书红，中国CDC健康教育所,4）项目活动实施质量,内容：,活动是否符合需求,干预活动的质量、传播材料的质量,工作记录的完整性和质量,服务利用情况如何,工作人员的工作态度、知识、技能、业务指导能力,资料收集方法,观察,访谈,查阅工作记录,9/8/2024,吕书红，中国CDC健康教育所,5）项目经费使用情况,内容：了解经费到位和使用情况,资料收集方法：财务报表,指标：,经费到位率=已到位经费/应拨付项目活动总经费*100%,经费执行率=实际使用的经费/计划中预算经费*100%,6)其他：针对组织：机构、网络建设、部门合作、政策制定、环境开发等等（查阅文件、会议资料等）,9/8/2024,吕书红，中国CDC健康教育所,4、督导常用的资料收集方法,（1）听取汇报,听取所督导的各级项目执行单位的项目工作汇报。,9/8/2024,吕书红，中国CDC健康教育所,（2）查阅档案资料,有无完整的，分类明确的档案资料：,有关项目文件：如项目计划、实施方案，是否有相应的评价方案等；,有无相关政策文件：,有关活动记录：干预活动记录、培训班档案资料、宣传材料的印制收发记录,经费使用财务档案：各项支出,查阅卫生机构、结防所的就诊记录和治疗记录,9/8/2024,吕书红，中国CDC健康教育所,（3）小组或个人访谈,有关项目人员小组访谈：了解项目实施的具体情况，存在的问题和建议,村医和合作部门宣传员的个人或小组访谈,目标对象的小组或个人访谈,9/8/2024,吕书红，中国CDC健康教育所,（4）现场观察,观察村医或宣传员如何开展宣传活动,村中有无结核病防治墙体标语，有无张贴招贴画，如何张贴；,村民家中有无相应的材料。,9/8/2024,吕书红，中国CDC健康教育所,（5）半定量调查,如果已知目标人群在200人以上，可以按照随机抽样的原则1次抽取29人作为调查样本。根据29人中阴性数（d）值，查固定样本量阳性率判断分级表，估计目标人群的阳性率。来对实施效果如目标受众对传播的核心信息的知晓情况进行粗略的评价。,9/8/2024,吕书红，中国CDC健康教育所,督导程序,1、准备：,了解督导目的、人员组成、时间要求,熟悉当地基本情况和结核病流行的情况 、目标人群,项目实施方案和工作计划,预先阅读一些报告和资料了解项目进展,准备督导资料：督导内容、访谈提纲、测试问卷,9/8/2024,吕书红，中国CDC健康教育所,2,、现场,听取汇报座谈讨论项目实施中的问题（县）,查看档案资料：会议、培训记录、文件、传播活动开展的资料（县、村）,个人（或小组）访谈：,村医、妇女干部：了解接受培训情况、接受的材料和分发的情况、在村里开展结核病宣传教育的情况，存在的问题和建议等；,村民：接受健康教育的情况，意见建议,9/8/2024,吕书红，中国CDC健康教育所,2、现场,问卷测试：相关信息的知晓情况,观察：,村医和妇女干部等咨询交流技巧,村里传播材料的使用情况（张贴等）,查阅转诊、督导记录（村医）,查阅县结防机构的有关就诊记录、患者的管理登记表等,9/8/2024,吕书红，中国CDC健康教育所,3、汇总整理督导意见，,现场口头反馈,书面反馈,9/8/2024,吕书红，中国CDC健康教育所,督导的一般程序,分析,息,督,导,前,准,备,接,受,督,导,单,位,汇,报,现,场,考,察,、,收,集,信,息,核,实,、,分,析,信,息,产,出,评,价,、,建,议,提,纲,现,场,反,馈,撰,写,和,反,馈,督,导,报,告,9/8/2024,吕书红，中国CDC健康教育所,三、如何开展效应评价（近中期效果评价）,对健康教育/健康促进计划实施后所导致的目标人群健康相关行为及其影响因素（倾向因素、促成因素、强化因素）变化的评价,9/8/2024,吕书红，中国CDC健康教育所,1、评价内容：,目标人群知识、信念、态度、价值观的变化（倾向因素）,政策环境服务技术方面的变化（促成因素）,与目标人群密切相关者对目标人群采纳健康行为的支持程度的变化（强化因素）,目标人群行为的变化,9/8/2024,吕书红，中国CDC健康教育所,效应评价的指标,卫生知识均分=受调查者知识得分之和/被调查者总人数,知识合格率=卫生知识达到合格标准人数/被调查者总人数*100%,某*知识知晓率=知晓某条知识的人数/被调查者总人数*100%,卫生知识总知晓率=被调查者知晓知识总题数/被调查人数*题数,9/8/2024,吕书红，中国CDC健康教育所,效应评价的指标,信念持有率=持有某种信念的人数/被调查人数*100%,行为流行率（持有率）=有特定行为的人数/被调查总人数*100%,行为改变率=在一定时期内改变某行为的人/开始时有该行为的人数*100%,政策法规的出台数,环境服务条件的改善指标,如：提供免费胸片（痰检）检查的乡卫生院比例,足额提供乡村医生督导管理费用的县比例,为疑似肺结核患者到结防所检查提供交通费用的县的比例,9/8/2024,吕书红，中国CDC健康教育所,效应评价的方法,定量问卷调查：目标人群抽样调查,1、直接与项目预期的目标比较：,了解在项目结束这个时点上目标人群的知信行情况,并判断其与项目目标的符合程度。,9/8/2024,吕书红，中国CDC健康教育所,2、同一人群项目实施前后的效果比较,不设对照组，,在项目实施前和项目结束时，按照一定的抽样原则，抽取部分目标人群使用相同的问卷按照相同的调查方法进行调查。,分析比较项目实施前后目标人群有关指标的情况反映项目实施的效果。,9/8/2024,吕书红，中国CDC健康教育所,3、设对照组的项目实施前后效果评价,将项目未覆盖的乡镇作为对照组,比较项目覆盖与未覆盖乡镇在项目实施前后相关指标的变化情况。,如果选择的项目未覆盖乡镇在其他条件上和项目乡镇基本一样，那么比较的结果的差异基本可认为是项目实施的效果。,9/8/2024,吕书红，中国CDC健康教育所,四、结局评价,评价健康状况和生活质量,指标：肺结核发病率、患病率、死亡率、,疾病负担、期望寿命、生活满意度等等,五、总结评价,综合的概括，反映成功与不足,9/8/2024,吕书红，中国CDC健康教育所,评价什么,指标,评价对象,资料来源,评价类型,总体目标（目的）,健康状况、疾病流行率,总人群,目标人群,抽样调查、数据统计报表,结局评价,具体目标,知识、信念、行为、技能,目标人群,问卷、观察、技能竞赛,效应评价,活动,执行情况、满意度,项目人员、目标人群,记录、文件、观察、访谈,过程评价,9/8/2024,吕书红，中国CDC健康教育所,评价逻辑模型,目的,目标,活动,指标措施,评价谁,数据来源,数据分析,结局评价,：降低结核病的新发病率提高人民健康水平,效应评价,：,1、80%的项目地区人群知晓结核病的症状（免费检查免费治疗政策）,过程评价：,发放宣传材料,墙体广告,村医咨询宣传,流行率、疾病负担等,知识知晓率,材料数量,覆盖率、宣传咨询人次数,能按计划开展宣传活动的村医比例,目标人群,目标人群（对照）,项目人员,村医,目标人群、,统计报表、流调,问卷调查,访谈,工作资料记录,观察,9/8/2024,吕书红，中国CDC健康教育所,三、如何制定评价方案,1、评价目的、目标,2、评价对象,项目地区的村民？,村医或合作部门人员？,县结核病防治机构项目实施人员？,3、评价内容,过程评价的内容围绕计划中的活动展开,效果评价的内容根据计划的目标。,9/8/2024,吕书红，中国CDC健康教育所,三、如何制定评价方案,4,、评价指标,过程评价选择哪些指标？,效果评价选择哪些指标？,5、评价方法（评价设计，如前后、对照组、时间系列等）,6、资料收集方法,定性：用什么方法,定量：抽样方法，样本量，调查方法？设计相应的调查表格、填表说明等。,9/8/2024,吕书红，中国CDC健康教育所,三、如何制定评价方案,7、,资料分析方法,如何建立数据库，拟统计分析的指标和拟采用的统计分析方法。,8、时间进度,9、经费预算,10、结果的利用,对如何利用结果做出必要的说明。,9/8/2024,吕书红，中国CDC健康教育所,谢谢你的阅读,知识就是财富,丰富你的人生,
展开阅读全文