研究工具性能的测定课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,研究工具性能的测定,上海交通大学护理学院 侯晓静,研究工具性能的测定上海交通大学护理学院 侯晓静,1,教 学 目 标,掌握信度的概念和分类,掌握效度的概念和分类,掌握信度与效度的关系,熟悉信度测量方法,熟悉效度的建立和测量的方法,熟悉国外量表翻译的基本步骤,教 学 目 标掌握信度的概念和分类,2,第一节 信度（reliability),一、,基本概念,：,定义：,使用,研究工具所获得的结果的 一致程度或准确程度,第一节 信度（reliability)一、基本概念：,3,信度的三个主要特征,稳定性,内在一致性,等同性,信度的三个主要特征 稳定性内在一致性等同性,4,稳定性,用同一工具两次或多次测定同一研究对象，所得结果的一致程度。一致程度越高，工具的稳定性越好。,稳定性 用同一工具两次或多次测定同一研究对象，所得结,5,内在一致性,组成研究工具的各项目之间的同质性,和内在相关性。内在相关性越大或同质性越,好，工具的内在一致性越好，信度越高。,内在一致性,6,等同性,不同评定者使用相同工具同时测量相同,对象时，评定者间的一致程度；或大致相同,两个研究工具同时被用于研究对象，工具的,一致程度。,等同性,7,二、信度的计算方法,稳定性测量 内在一致性测量,等同性测量,重测信度 折半信度 评定者间信度,Cronbach系数,KR-20值 复本信度,二、信度的计算方法稳定性测量 内在一致性测量 等同性,8,1、,重测信度(test-retest reliability),定义:,用同一工具两次或多次测定同一研究对象所得结果的一致程度。,常表示研究工具的稳定性。一致程度越高，重测信度越高，研究工具的稳定性越好。,1、重测信度(test-retest reliab,9,计算方法：,使用研究工具对研究对象施行第一次测试,间隔一段时间后使用同一工具对同一研究对象进行重测，然后计算两次资料的相关系数，该系数反映研究工具重测信度的高低。,相关系数在0,1之间，越接近1，说明重测信度越高。,重,测,信,度,计算方法：重,10,研究对象,第一次测试（X）,第二次测试（Y）,1,23,27,2,44,38,3,35,37,4,53,49,5,44,46,6,26,28,7,32,34,8,28,25,9,38,34,10,39,36,例：,人格问卷重测数值表,研究对象第一次测试（X）第二次测试（Y）123272,11,：第一次测试10名研究对象各得分之和,第一次测试和第二次测试数据间的相关 系数即为人格问卷的重测信度。,公式如下：,：第二次测试10名研究对象各得分之和,：第一次测试10名研究对象各得分平方之和,：第二次测试10名研究对象各得分平方之和,：第一次测试10名研究对象各得分之和 第一次测试和第二次测,12,使用重测信度需考虑的问题,1.,两次测量之间的间隔时间：,（1）使第一次测量对第二次测量的结果不会造成影响；,（2）在客观情况未发生改变时进行；,2.,测量环境的一致,尽量保证测量环境的一致，如相同的测试者、相同的测量程序、相同的测量时间、相同的测量环境等,使用重测信度需考虑的问题 1.两次测量之间的间隔时间：,13,3.,工具所测量的变量的性质：,1）对性质相对稳定的问题，如个性、价值观、生活质量等进行测量，适宜用重测信度来表示研究工具的信度如何；,2）对性质不稳定的问题，如情感、态度、知识等进行测量，则不宜使用重测信度来表示研究工具的信度如何。,重,测,信,度,3.工具所测量的变量的性质：重,14,2、折半信度(split-half reliability),定义：,将一种工具对一群人使用一次，将每个人的结果分数按工具中各项目分成两组，计算两组分数的相关系数。,常用来反映研究工具的内在一致性,2、折半信度(split-half r,15,方法:,前后折半法,奇偶折半法,缺点:,不同的折半方法会导致不同的结果,计算：,根据重测信度中列出的公式计算r系数，再使用Spearman-Brown公式校正。,折,半,信,度,方法:前后折半法折,16,3、Cronbach系数,计算研究工具中所有项目间的平均相关程度，反映研究工具的内在一致，避免了折半信度计算的缺点。,系数值在0-1之间，越接近1，研究工具的内在一致性越好，信度越好。,3、Cronbach系数,17,4、KR-20值,是Cronbach的一种特殊形式，用来反映研究工具的内在一致性。适用于二分制的研究工具，如回答“是”或“否”、“正确”或“错误”。,4、KR-20值 是Cronbach的一种特殊形,18,5、评定者间信度和复本信度,常用于测定研究工具的等同性,评定者间信度测量方法：,不同评定者使用相同工具同时观察，计算观察者们的观察结果之间的相关系数。,复本信度测量方法：,将两种不同形式的工具同时对一群对象测试，然后计算两次工具得分的相关系数。,5、评定者间信度和复本信度,19,研究工具信度的基本要求,1、通常通过预试验测试研究工具的信度,2、报告研究工具的信度时，不仅要报告信度系数，还应报告是何种信度，信度系数是如何计算的。,3、一般认为，,研究工具重测信度和内部一致性信度系数最小应大于0.7，0.9以上非常好。而评分者信度和复本信度一般应达到0.9以上。,研究工具信度的基本要求1、通常通过预试验测试研究工具的信度,20,第二节 效度,（validity）,定义：,某一研究工具能真正反映它所期望研究的概念的程度。,计算效度的方法：,表面效度 内容效度,结构效度 效标关联效度,第二节 效度（validity）定义：某一研究工具能真正反,21,1、表面效度(face validity),定义:,由评估人根据自己对所要测量的概念的理解，尽其断断能力之所及来断定工具是否恰当。属于一种直觉判断。,方法：,从表面上检查工具的性质,1、表面效度(face validity),22,缺点:,1.缺少实际证据证明工具一定有效。,2.对工具的效度用“有或无”反映，未,体现程度。,表,面,效,度,缺点:表,23,2、内容效度(content validity),定义：,根据理论基础及实际经验对工具是否反映了所要测量的变量、包括足够项目而且有恰当的内容分配比例等所作出的判断。有时也称专家效度。,方法：,从内容上检查工具的性质,2、内容效度(content vali,24,实施要求：,1、专家人数3-10人，以5人较合适,2、专家的选择应与研究工具所涉及的领域有关,3、两次评议时间最好间隔10-14天,内,容,效,度,实施要求：内,25,3、效标关联效度 （criterion-related validity),定义：,反映研究工具与其他测量标准之间 的关系。,分类：,同时效度,预测效度,3、效标关联效度 （,26,同时效度：,测量研究工具与现有标准之间的相关关系。,预测效度：,测量工具作为未来事情预测指标的有效程度。,同时效度和预测效度的主要区别：,时间差异,效,标,效,度,同时效度：测量研究工具与现有标准之间的相关关系。效,27,4、结构效度(construction validity),定义：,反映工具与其所依据的理论或概念框架的相吻合程度。,4、结构效度(construction,28,方法,.,探索性,因素分析,因素分析法,验证性,因素分析,结,构,效,度,方法.,29,评价：,结构效度是目前最为严谨的一种建立和测量研究工具效度的方法，也是最为复杂的效度研究方法。,结,构,效,度,评价：结,30,信度和效度关系,1、信度是效度的必要前提,高信度不能代表高效度,低信度则可以肯定低效度,2、效度是信度的必然保证,有效度的工具一定有信度,有信度的工具未必有效度,信度和效度关系1、信度是效度的必要前提,31,高信度、低效度,高信度、高效度,高信度、低效度高信度,32,低信度、低效度,低信度、低效度,33,第三节 国外量表的翻译和应用过程的性能测定,翻译和应用国外量表的原则：,1、不偏离原文的原意,2、适合中国的文化特点,3、译后的量表具有较好的信度和效度,第三节 国外量表的翻译和应用过程的性能测定 翻,34,翻译国外量表的步骤：,翻译,回译,检译,翻译,回译,检译,翻译国外量表的步骤：翻译回译检译翻译回译检译,35,1、翻译,两个或多个既熟悉原量表语言又有较好汉语功底的翻译者将国外量表翻译成中文；,注意直译与意译结合，使更适合中国文化特点；,多个翻译版本进行集体讨论后形成中文版本的量表。,1、翻译两个或多个既熟悉原量表语言又有较好汉语功底的翻译者将,36,2、,回译,请语言功底好、对源量表不知情的一位或多位翻译者将翻译成中文的量表再翻译回去；,将原量表与回译后的量表进行细致比较和分析，找出不同的部分，并对中文版的相应内容进行修改；,修改后的中文版进行表面效度检验。,2、回译请语言功底好、对源量表不知情的一位或多位翻译者将翻译,37,3、检译,寻找一定数量的既懂中文又懂源语言的样本对两种语言版本的量表进行作答，计算不同语言版本的量表得分的相关性。相关程度越高，表示两种版本的等同性越好。,使用中文版本进行预试验，检测中文版量表的内在一致性，并了解量表文字是否易于理解和符合中国人的表达习惯。,3、检译寻找一定数量的既懂中文又懂源语言的样本对两种语言版本,38,教学目标回顾,掌握效度的概念和分类,掌握信度的概念和分类,熟悉计算信度的方法,熟悉建立和测量效度的方法,了解国外量表的翻译步骤,教学目标回顾掌握效度的概念和分类,39,谢谢！,谢谢！,40,