健康教育项目活动监控评价课件

健康教育项目活动的监控与评价中国CDC健康教育所吕书红7/11/2024吕书红，中国CDC健康教育所健康教育项目活动的监控与评价中国CDC健康教育所8/14/1 评价的概述一、几个基本概念l监控与评价（M&E）l监控l督导l评价7/11/2024吕书红，中国CDC健康教育所 评价的概述一、几个基2l监控包括监测与现场督导。是加强质量控制的有效方法。监测是在项目计划的执行过程中，项目管理人员对项目实施的日常工作开展情况的检查和督促，其目的是保证项目各项活动按计划和要求实施。7/11/2024吕书红，中国CDC健康教育所监控8/14/2023吕书红，中国CDC健康教育所3l现场督导是监控的重要手段，是监控工作的重要组成部分。是项目管理者对项目实施情况分阶段进行的定期监督和指导。通过收集分析规划实施单位相关资料、现场考察等方法，综合运用社会学、统计学和流行病学等研究手段，评价项目的实施情况。7/11/2024吕书红，中国CDC健康教育所现场督导8/14/2023吕书红，中国CDC健康教育所4l评价评价 简单地说就是比较。l 将客观实际情况与项目计划进行比较l把项目实际取得的结果与预期目标进行比 根据评价的目的和内容的不同，分成形成评价、过程评价、效应评价（近中期效果评价）和结局评价几类。7/11/2024吕书红，中国CDC健康教育所评价8/14/2023吕书红，中国CDC健康教育所5 监控监测，通过报表等收集信息资料现场督导评价侧重效果评价（效应评价）过程评价形成评价结局评价评价7/11/2024吕书红，中国CDC健康教育所 监控监测，现场督导评价侧重效果评价（效应评价）过6 二、评价的目的l1.确定健康教育/健康促进计划的先进性与合理性；l2.确定活动是否适合目标人群，活动进展及资源利用情况；l3.确定健康教育/健康促进计划达到预期目标的程度及其影响因素；7/11/2024吕书红，中国CDC健康教育所 二、评价的目的8/14/2023吕书红，中国CDC健康教育7l4.总结健康教育/健康促进项目的成功经验与不足之处，提出进一步的研究假设；l5.向公众介绍项目成就，扩大项目影响，改善公共关系，以取得目标人群、社区更多的支持与合作；l6.向项目资金提供者说明项目结果，完成合同的要求。7/11/2024吕书红，中国CDC健康教育所4.总结健康教育/健康促进项目的成功经验与不足之处，提出进8 如何开展评价活动如何开展评价活动一、如何开展监控一、如何开展监控1、监控的内容、监控的内容各级项目实施进展情况质量2、监控的方法、监控的方法 收集报表资料和现场督导收集报表资料和现场督导各级项目办收集、审核及分析季报表。通常监控的信息收集可以在办公室中就完成。7/11/2024吕书红，中国CDC健康教育所 如何开展评价活动一、如何开展监控8/19 二、如何开展现场督导 1、督导工作的原则（1）督导工作应按项目计划的要求，分级、按规定的频度进行；（2）各级各类督导均应以项目实施指南为规范；（3）应对辖区内所有实施项目的相关单位按要求进行督导。在注意覆盖面的同时，要对工作薄弱地区实行重点督导；7/11/2024吕书红，中国CDC健康教育所 二、如何开展现场督导 8/14/2023吕书红，中国CDC10 督导工作的原则督导工作的原则（4）注意收集信息的可靠性、分析问题方法学的正确性，注重问题的一般性、特殊性、偶然性、系统性及其内在联系；遵循深入基层、实事求是、反对弄虚作假的原则；（5）尽可能争取政府和相关部门参加督导。注意多部门参与和业务的权威性。（6）针对项目实施的不同阶段有不同的督导重点。7/11/2024吕书红，中国CDC健康教育所 督导工作的原则8/14/2023吕书红，中国CDC健康教育112、督导评价的内容、方法和指标1）项目活动的执行情况内容：了解项目活动是否按照计划执行资料收集方法：对照项目计划时间表，查阅有关活动记录指标：项目活动执行率=按计划完成的项目活动数/计划的项目活动总数*100%7/11/2024吕书红，中国CDC健康教育所2、督导评价的内容、方法和指标8/14/2023吕书红，中国122）项目活动的开展情况 内容：覆盖和参与情况l干预活动的类型、次数、持续时间、覆盖的人群l传播材料的发放种类、数量、对象、使用的情况l培训活动的次数、人数、持续时间、培训内容等7/11/2024吕书红，中国CDC健康教育所2）项目活动的开展情况8/14/2023吕书红，中国CDC健132）项目活动的开展情况资料收集方法：工作记录或实地观察 培训活动的照片、签到表、培训教材讲义、日程、培训总结反馈节目表、媒体照片、目标人群的观后反馈传播材料的样品、发放登记、发放活动照片、目标人群反馈7/11/2024吕书红，中国CDC健康教育所2）项目活动的开展情况8/14/2023吕书红，中国CDC健14 指标l参加活动的人次数l接受培训的人次数（培训业务人员、村医、目标人群等）l传播材料的发放数量l宣传品覆盖的人数l大众传媒（广播、电视、报纸等）刊播次数、频次7/11/2024吕书红，中国CDC健康教育所 指标8/14/2023吕书红，中国CDC健康教育所15 指标l项目活动覆盖率=实际参与项目活动的目标人群人数/目标人群总人数*100%l干预活动暴露率=实际参与某项干预活动的人数/应参加该干预活动的总人数*100%l媒介拥有率=拥有某种媒介（如某折页、传单等）的人数/目标人群的总人数*100%l有效指数(EI)=干预活动暴露率/预期达到的参与百分比*100%7/11/2024吕书红，中国CDC健康教育所 指标8/14/2023吕书红，中国CDC健康教育所16 3）目标人群对项目活动的满意度内容：了解项目对象对活动内容、组织形式、安排等的满意程度以及不满意的原因资料收集方法：定量问卷和专题小组讨论指标：满意度=参加某项活动的目标对象中持满意态度的人数/参加该活动的目标对象总人数*100%也可对活动具体某一方面的评价7/11/2024吕书红，中国CDC健康教育所 3）目标人群对项目活动的满意度8/14/2023吕书红，中174）项目活动实施质量内容：l活动是否符合需求l干预活动的质量、传播材料的质量l工作记录的完整性和质量l服务利用情况如何l工作人员的工作态度、知识、技能、业务指导能力资料收集方法l观察l访谈l查阅工作记录7/11/2024吕书红，中国CDC健康教育所4）项目活动实施质量8/14/2023吕书红，中国CDC健康185）项目经费使用情况内容：了解经费到位和使用情况资料收集方法：财务报表指标：经费到位率=已到位经费/应拨付项目活动总经费*100%经费执行率=实际使用的经费/计划中预算经费*100%6)其他：针对组织：机构、网络建设、部门合作、政策制定、环境开发等等（查阅文件、会议资料等）7/11/2024吕书红，中国CDC健康教育所5）项目经费使用情况8/14/2023吕书红，中国CDC健康192）项目活动的开展情况资料收集方法：工作记录或实地观察 培训活动的照片、签到表、培训教材讲义、日程、培训总结反馈节目表、媒体照片、目标人群的观后反馈传播材料的样品、发放登记、发放活动照片、目标人群反馈7/11/2024吕书红，中国CDC健康教育所2）项目活动的开展情况8/14/2023吕书红，中国CDC健20 指标l参加活动的人次数l接受培训的人次数（培训业务人员、村医、目标人群等）l传播材料的发放数量l宣传品覆盖的人数l大众传媒（广播、电视、报纸等）刊播次数、频次7/11/2024吕书红，中国CDC健康教育所 指标8/14/2023吕书红，中国CDC健康教育所21 指标l项目活动覆盖率=实际参与项目活动的目标人群人数/目标人群总人数*100%l干预活动暴露率=实际参与某项干预活动的人数/应参加该干预活动的总人数*100%l媒介拥有率=拥有某种媒介（如某折页、传单等）的人数/目标人群的总人数*100%l有效指数(EI)=干预活动暴露率/预期达到的参与百分比*100%7/11/2024吕书红，中国CDC健康教育所 指标8/14/2023吕书红，中国CDC健康教育所22过程评价3）目标人群对项目活动的满意度内容：了解项目对象对活动内容、组织形式、安排等的满意程度以及不满意的原因资料收集方法：定量问卷和专题小组讨论指标：满意度=参加某项活动的目标对象中持满意态度的人数/参加该活动的目标对象总人数*100%也可对活动具体某一方面的评价7/11/2024吕书红，中国CDC健康教育所过程评价3）目标人群对项目活动的满意度8/14/2023吕书234）项目活动实施质量内容：l活动是否符合需求l干预活动的质量、传播材料的质量l工作记录的完整性和质量l服务利用情况如何l工作人员的工作态度、知识、技能、业务指导能力资料收集方法l观察l访谈l查阅工作记录7/11/2024吕书红，中国CDC健康教育所4）项目活动实施质量8/14/2023吕书红，中国CDC健康245）项目经费使用情况内容：了解经费到位和使用情况资料收集方法：财务报表指标：经费到位率=已到位经费/应拨付项目活动总经费*100%经费执行率=实际使用的经费/计划中预算经费*100%6)其他：针对组织：机构、网络建设、部门合作、政策制定、环境开发等等（查阅文件、会议资料等）7/11/2024吕书红，中国CDC健康教育所5）项目经费使用情况8/14/2023吕书红，中国CDC健康254、督导常用的资料收集方法、督导常用的资料收集方法（1）听取汇报）听取汇报听取所督导的各级项目执行单位的项目工作汇报。7/11/2024吕书红，中国CDC健康教育所4、督导常用的资料收集方法8/14/2023吕书红，中国CD26（2）查阅档案资料）查阅档案资料有无完整的，分类明确的档案资料：有关项目文件：如项目计划、实施方案，是否有相应的评价方案等；有无相关政策文件：有关活动记录：干预活动记录、培训班档案资料、宣传材料的印制收发记录经费使用财务档案：各项支出查阅卫生机构、结防所的就诊记录和治疗记录7/11/2024吕书红，中国CDC健康教育所（2）查阅档案资料8/14/2023吕书红，中国CDC健康教27（3）小组或个人访谈）小组或个人访谈有关项目人员小组访谈：了解项目实施的具体情有关项目人员小组访谈：了解项目实施的具体情况，存在的问题和建议况，存在的问题和建议村医和合作部门宣传员的个人或小组访谈村医和合作部门宣传员的个人或小组访谈 目标对象的小组或个人访谈 7/11/2024吕书红，中国CDC健康教育所（3）小组或个人访谈8/14/2023吕书红，中国CDC健康28（4）现场观察）现场观察观察村医或宣传员如何开展宣传活动村中有无结核病防治墙体标语，有无张贴招贴画，如何张贴；村民家中有无相应的材料。7/11/2024吕书红，中国CDC健康教育所（4）现场观察8/14/2023吕书红，中国CDC健康教育所29（5）半定量调查）半定量调查 如果已知目标人群在200人以上，可以按照随机抽样的原则1次抽取29人作为调查样本。根据29人中阴性数（d）值，查固定样本量阳性率判断分级表，估计目标人群的阳性率。来对实施效果如目标受众对传播的核心信息的知晓情况进行粗略的评价。7/11/2024吕书红，中国CDC健康教育所（5）半定量调查8/14/2023吕书红，中国CDC健康教育30l督导程序1、准备：了解督导目的、人员组成、时间要求熟悉当地基本情况和结核病流行的情况、目标人群项目实施方案和工作计划预先阅读一些报告和资料了解项目进展准备督导资料：督导内容、访谈提纲、测试问卷7/11/2024吕书红，中国CDC健康教育所督导程序8/14/2023吕书红，中国CDC健康教育所312、现场听取汇报座谈讨论项目实施中的问题（县）查看档案资料：会议、培训记录、文件、传播活动开展的资料（县、村）个人（或小组）访谈：l村医、妇女干部：了解接受培训情况、接受的材料和分发的情况、在村里开展结核病宣传教育的情况，存在的问题和建议等；l村民：接受健康教育的情况，意见建议7/11/2024吕书红，中国CDC健康教育所2、现场8/14/2023吕书红，中国CDC健康教育所322、现场问卷测试：相关信息的知晓情况观察：l村医和妇女干部等咨询交流技巧l村里传播材料的使用情况（张贴等）查阅转诊、督导记录（村医）查阅县结防机构的有关就诊记录、患者的管理登记表等7/11/2024吕书红，中国CDC健康教育所2、现场8/14/2023吕书红，中国CDC健康教育所333、汇总整理督导意见，现场口头反馈书面反馈7/11/2024吕书红，中国CDC健康教育所3、汇总整理督导意见，8/14/2023吕书红，中国CDC健34督导的一般程序督导的一般程序 分析 息 督导前准备 接受督导单位汇报 现场考察、收集信息 核实、分析信息 产出评价、建议提纲 现场反馈 撰写和反馈 督 导 报 告 7/11/2024吕书红，中国CDC健康教育所督导的一般程序 分析 息 督导前准备35三、如何开展效应评价（近中期效果评价）对健康教育/健康促进计划实施后所导致的目标人群健康相关行为及其影响因素（倾向因素、促成因素、强化因素）变化的评价 7/11/2024吕书红，中国CDC健康教育所三、如何开展效应评价（近中期效果评价）8/14/2023吕书361、评价内容：目标人群知识、信念、态度、价值观的变化（倾向因素）政策环境服务技术方面的变化（促成因素）与目标人群密切相关者对目标人群采纳健康行为的支持程度的变化（强化因素）目标人群行为的变化7/11/2024吕书红，中国CDC健康教育所1、评价内容：8/14/2023吕书红，中国CDC健康教育所37l效应评价的指标卫生知识均分=受调查者知识得分之和/被调查者总人数知识合格率=卫生知识达到合格标准人数/被调查者总人数*100%某*知识知晓率=知晓某条知识的人数/被调查者总人数*100%卫生知识总知晓率=被调查者知晓知识总题数/被调查人数*题数7/11/2024吕书红，中国CDC健康教育所效应评价的指标8/14/2023吕书红，中国CDC健康教育所38l效应评价的指标l信念持有率=持有某种信念的人数/被调查人数*100%l行为流行率（持有率）=有特定行为的人数/被调查总人数*100%l行为改变率=在一定时期内改变某行为的人/开始时有该行为的人数*100%l政策法规的出台数l环境服务条件的改善指标如：提供免费胸片（痰检）检查的乡卫生院比例 足额提供乡村医生督导管理费用的县比例 为疑似肺结核患者到结防所检查提供交通费用的县的比例7/11/2024吕书红，中国CDC健康教育所效应评价的指标8/14/2023吕书红，中国CDC健康教育所39l效应评价的方法定量问卷调查：目标人群抽样调查 1、直接与项目预期的目标比较：了解在项目结束这个时点上目标人群的知信行情况并判断其与项目目标的符合程度。7/11/2024吕书红，中国CDC健康教育所效应评价的方法8/14/2023吕书红，中国CDC健康教育所402、同一人群项目实施前后的效果比较l 不设对照组，l在项目实施前和项目结束时，按照一定的抽样原则，抽取部分目标人群使用相同的问卷按照相同的调查方法进行调查。l分析比较项目实施前后目标人群有关指标的情况反映项目实施的效果。7/11/2024吕书红，中国CDC健康教育所2、同一人群项目实施前后的效果比较8/14/2023吕书红，413、设对照组的项目实施前后效果评价、设对照组的项目实施前后效果评价将项目未覆盖的乡镇作为对照组比较项目覆盖与未覆盖乡镇在项目实施前后相关指标的变化情况。如果选择的项目未覆盖乡镇在其他条件上和项目乡镇基本一样，那么比较的结果的差异基本可认为是项目实施的效果。7/11/2024吕书红，中国CDC健康教育所3、设对照组的项目实施前后效果评价8/14/2023吕书红，42四、结局评价 评价健康状况和生活质量指标：肺结核发病率、患病率、死亡率、疾病负担、期望寿命、生活满意度等等五、总结评价 综合的概括，反映成功与不足7/11/2024吕书红，中国CDC健康教育所四、结局评价8/14/2023吕书红，中国CDC健康教育所43评价什么指标评价对象资料来源评价类型总体目标（目的）健康状况、疾病流行率总人群目标人群抽样调查、数据统计报表结局评价具体目标 知识、信念、行为、技能目标人群 问卷、观察、技能竞赛效应评价活动执行情况、满意度项目人员、目标人群记录、文件、观察、访谈过程评价7/11/2024吕书红，中国CDC健康教育所评价什么指标评价对象资料来源评价类型总体目标（目的）健康状况44 评价逻辑模型目的目标活动指标措施 评价谁数据来源数据分析结局评结局评价价：降低结核病的新发病率提高人民健康水平效应评价效应评价：1、80%的项目地区人群知晓结核病的症状（免费检查免费治疗政策）过程评价：过程评价：发放宣传材料墙体广告村医咨询宣传流行率、疾病负担等知识知晓率材料数量覆盖率、宣传咨询人次数能按计划开展宣传活动的村医比例目标人群目标人群（对照）项目人员村医目标人群、统计报表、流调问卷调查访谈工作资料记录观察7/11/2024吕书红，中国CDC健康教育所 评价逻辑模型结局评价：降低结核病的新发病率提高人民健康水平45三、如何制定评价方案三、如何制定评价方案1、评价目的、目标2、评价对象项目地区的村民？村医或合作部门人员？县结核病防治机构项目实施人员？3、评价内容过程评价的内容围绕计划中的活动展开效果评价的内容根据计划的目标。7/11/2024吕书红，中国CDC健康教育所三、如何制定评价方案1、评价目的、目标8/14/2023吕46三、如何制定评价方案三、如何制定评价方案 4、评价指标过程评价选择哪些指标？效果评价选择哪些指标？5、评价方法（评价设计，如前后、对照组、时间系列等）6、资料收集方法、资料收集方法定性：用什么方法定量：抽样方法，样本量，调查方法？设计相应的调查表格、填表说明等。7/11/2024吕书红，中国CDC健康教育所三、如何制定评价方案 4、评价指标8/14/202347三、如何制定评价方案三、如何制定评价方案7、资料分析方法资料分析方法l如何建立数据库，拟统计分析的指标和拟采用的统计分析方法。8、时间进度、时间进度9、经费预算、经费预算10、结果的利用、结果的利用对如何利用结果做出必要的说明。7/11/2024吕书红，中国CDC健康教育所三、如何制定评价方案7、资料分析方法8/14/2023吕书48谢谢谢谢49