效标关联效度课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,PPT课件,*,主要内容,一、效度概述,二、内容效度,三、结构效度,四、效标关联效度,五、影响效度的因素,六、效度的作用,七、效度的概化,1,PPT课件,主要内容一、效度概述1PPT课件,学习目标,:,掌握效标关联效度定义、种类和应用；,掌握效标与效标测量；,了解效标关联效度的估计方法；,2,PPT课件,学习目标:2PPT课件,一、定义、种类、应用,1.,定义,效标关联效度,(criterion-related validity),是指测验对,个体的效标行为表现,进行估计的有效性程度,。,又称,实证效度,、经验效度、准则关联效度。,3,PPT课件,一、定义、种类、应用1.定义3PPT课件,2.,分类,(,收集效标的时间,),同时效度,(concurrent validity),：效标资料与测验资料同时获得,；,预测效度,(predictive validity),：效标资料后于测验资料获得,；,4,PPT课件,2.分类(收集效标的时间)同时效度(concurrent,3.,应用,同时效度：诊断现状,预测效度：预测未来结果,某人成功了吗？某人患病了吗？,某人会成功吗？某人会患病吗？,5,PPT课件,3.应用同时效度：诊断现状某人成功了吗？某人患病了吗？5P,二、效标与效标测量,1.,效标,（,criterion,）,是衡量测验有效性的参照标准，它是独立于测验之外、体现测验目的的行为变量。,6,PPT课件,二、效标与效标测量1.效标（criterion）6PPT课,2.,观念效标和效标测量,(conceptual criterion and criterion measurement),观念效标：,效标的实质概念内容，如,学习或工作成功、技术水平,效标测量：,效标的具体化，可操作的测量指标,同一观念效标可以有多个效标测量。,7,PPT课件,2.观念效标和效标测量(conceptual criter,3.,选择效标测量必须满足以下要求：,1),有效性,(,关联性）,2),可靠性,3),客观性,(,或抗偏性,),：产生效标测量中偏差的主要原因在于,效标污染,。,4),实用性（可得性）,8,PPT课件,3.选择效标测量必须满足以下要求：1)有效性(关联性）8,4.,常用的效标,学业成就,特殊训练成绩,实际工作表现,团体对照,临床诊断,等级评定,先前有效的测验,9,PPT课件,4.常用的效标学业成就9PPT课件,5.,效标的特征,1,）多样性；,2,）复杂性；,3,）特殊性；,10,PPT课件,5.效标的特征1）多样性；10PPT课件,三、效标关联效度的估计方法,1.,确定效标关联效度的基本步骤：,1,）明确观念效标,2,）确定效标测量,3,）考查测验分数与效标测量之间的关系,11,PPT课件,三、效标关联效度的估计方法 1.确定效标关联效度的基本步骤：,2.,常用的估计效标关联效度的方法：,1,）相关法,2,）组的分类,3,）命中率,4,）功利率,5,）合成效度,12,PPT课件,2.常用的估计效标关联效度的方法：1）相关法12PPT课件,小结：,三方面的效度都是,围绕效度的基本问题展开的,;,一个测验需要哪种效度证据，取决于一定的测验目的，不同的测验偏重于不同的效度证据,;,效度的验证虽是测验编制后进行的工作，但其指导思想在编制过程中始终起着主导作用,;,13,PPT课件,小结：三方面的效度都是围绕效度的基本问题展开的;13PPT课,发生于效标测量是评定等级时,效标污染,(criterion,contamination),是指,评定者知道被试测验的分数，而使其效标分数受到影响的情况,。如,入学考试分数与教师主观评定,如何防止？,返回,14,PPT课件,发生于效标测量是评定等级时14PPT课件,1.,相关法,测验分数和效标分数之间的相关系数。,选择团体 获得测验分数 获得效标分数,(4),求相关系数,（,1,）,（,2,）,（,3,）,根据分数的性质不同采用不同的相关计算方法,15,PPT课件,1.相关法测验分数和效标分数之间的相关系数。（1）（2）（3,(1),积差相关系数,使用条件：测验分数和效标分数都是连续变量,公式：,16,PPT课件,(1)积差相关系数使用条件：测验分数和效标分数都是连续变量1,例：假设有,10,人经职业兴趣测验而被选定作为推销员，其测验分数见下表第一行，而第二行是经过若干年后他们某段时间内销售金额总量（以万元为单位）。现问该测验的预测效度如何？,17,PPT课件,例：假设有10人经职业兴趣测验而被选定作为推销员，其测验分数,被试,X,Y,XY,1,30,2.5,900,6.25,75,2,34,3.8,1156,14.44,129.2,3,32,3,1024,9,96,4,47,4,2209,14,182,5,20,0.7,400,0.49,14,6,24,1,576,1,24,7,27,2.2,729,4.84,59.4,8,25,3.5,625,12.25,87.5,9,22,2.8,484,7.84,61.6,10,16,1.2,256,1.44,19.2,总和,=277,=24.7,=8359,=71.55,=747.9,被试,X,Y,XY,1,30,2.5,900,6.25,75,2,34,3.8,1156,14.44,129.2,3,32,3,1024,9,96,4,47,4,2209,14,182,5,20,0.7,400,0.49,14,6,24,1,576,1,24,7,27,2.2,729,4.84,59.4,8,25,3.5,625,12.25,87.5,9,22,2.8,484,7.84,61.6,10,16,1.2,256,1.44,19.2,总和,=277,=24.7,=8359,=71.55,=747.9,被试,X,Y,XY,1,30,2.5,900,6.25,75,2,34,3.8,1156,14.44,129.2,3,32,3,1024,9,96,4,47,4,2209,14,182,5,20,0.7,400,0.49,14,6,24,1,576,1,24,7,27,2.2,729,4.84,59.4,8,25,3.5,625,12.25,87.5,9,22,2.8,484,7.84,61.6,10,16,1.2,256,1.44,19.2,总和,=277,=24.7,=8359,=71.55,=747.9,被试,X,Y,XY,1,30,2.5,900,6.25,75,2,34,3.8,1156,14.44,129.2,3,32,3,1024,9,96,4,47,4,2209,14,182,5,20,0.7,400,0.49,14,6,24,1,576,1,24,7,27,2.2,729,4.84,59.4,8,25,3.5,625,12.25,87.5,9,22,2.8,484,7.84,61.6,10,16,1.2,256,1.44,19.2,总和,=277,=24.7,=8359,=71.55,=747.9,被试,X,Y,XY,1,30,2.5,900,6.25,75,2,34,3.8,1156,14.44,129.2,3,32,3,1024,9,96,4,47,4,2209,14,182,5,20,0.7,400,0.49,14,6,24,1,576,1,24,7,27,2.2,729,4.84,59.4,8,25,3.5,625,12.25,87.5,9,22,2.8,484,7.84,61.6,10,16,1.2,256,1.44,19.2,277,24.7,8359,71.55,747.9,18,PPT课件,被试XYXY1302.59006.25752343.8115,=0.75,19,PPT课件,=0.7519PPT课件,(2),二列相关系数,适用条件：测验分数与效标分数都是连续变量，其中一个变量被人为分为两类,公式：,其中 为正态曲线中值对应的高度,20,PPT课件,(2)二列相关系数适用条件：测验分数与效标分数都是连续变量，,例题：进行一项智力测验，被试中,66,名来自实验班，,286,名来自普通班，最后测出实验班的被试,IQ,均数为,114,，普通班被试的,IQ,均数为,96,，所有被试,IQ,分的标准差为,14.53,，计算二列相关系数。,21,PPT课件,例题：进行一项智力测验，被试中66名来自实验班，286名来自,=0.8125,查正态分布表,得出常态曲线下所对应的,Y,值为,0.2685,22,PPT课件,=0.8125 查正态分布表,得出常态曲线下所对应的Y值为0,(3),四分相关系数,适用条件：当测验分数与效标分数都是连续变量，且每一个变量的变化都被人为地分为两种类型，即以二分变量表示。,a,、,b,、,c,、,d,表示由两个二分变量所分成的四种类别的实际频数,23,PPT课件,(3)四分相关系数a、b、c、d表示由两个二分变量所分成的,大学入学考试（数学）,研究生入学考试（数学）,通过,未通过,优,a=10,b=4,良,c=7,d=21,=0.67,=,24,PPT课件,大学入学考试（数学）研究生入学考试（数学）通过未通过优a=1,(,4),相关系数,适用条件：当测验分数与效标分数都是真正的二分变量，如工作状态、婚姻状态等。,a,、,b,、,c,、,d,表示由两个二分变量所分成的四种类别的实际频数,25,PPT课件,(4)相关系数 适用条件：当测验分数与效标分数都是真正的二,例：,研究调查了,358,名不同性别的大学生对某项教育措施的评价态度，结果如下表。根据这些结果，能否说明性别对评价态度有无预测效度？,评价态度,性,别,男,172,女,186,94,264,358,拥护,反对,a=66,b=106,c=28,d=158,26,PPT课件,例：研究调查了358名不同性别的大学生对某项教育措施的评价态,(5),列联相关系数,适用条件：当测验分数与效标分数其中一个变量不止分为两个种类时,C,表示列联相关系数，表示,RC,列联表计算出的值,N,表示样本容量,返回,27,PPT课件,(5)列联相关系数适用条件：当测验分数与效标分数其中一个变量,2.,组的分类,根据被试的效标行为表现，将他们分为不同的组别,(,团体,),，如果这些组在测验分数上有显著性差异，则说明该测验的效度高。,df=,成功组、失败组的平均分,成功组、失败组样本容量,成功组、失败组得分的方差,两总体正态分布,两总体方差未知,28,PPT课件,2.组的分类根据被试的效标行为表现，将他们分为不同的组别(,到,72,页,29,PPT课件,到72页29PPT课件,工作成功组：，,工作失败组：，,代入上面公式可得：,df=98,时，,t=5.40,30,PPT课件,工作成功组：，,T,检验的弊端和重叠量的计算,运用“组的分类”方法表示效度，要检验平均数之间的差异，就要用到均数之差的标准差。,而均数的标准误存在这样的关系：,均数之差的标准差也存在这样的关系：即其大小与样组容量成反比。,那么当 保持不变时，则,n,越大，均数之差的标准误就越小，这样就使得,t,值增大，增加了拒绝虚无假设的机会。,31,PPT课件,T检验的弊端和重叠量的计算31PPT课件,T,检验的弊端和重叠量的计算,要避免上述缺点，可以求出这两个分布的重叠量。,1.,可求出一组内被试得分超出另一组平均数的人数与另一组被试中超出前一组均数的人数之比,(,通常是以“失败”组超过“成功”组均数的人数来计算,),；,2.,可求出两组分数分布共同区域的百分比；,返图,返回,32,PPT课件,T检验的弊端和重叠量的计算32PPT课件,3.,命中率,33,PPT课件,3.命中率33PPT课件,（,1,）总命中率,(,取舍正确率,):,公平,（,2,）正命中率,(,录取正确率,):,提高效率,错误拒绝和错误接受的人数比例与临界分数位置,=,=,返回,34,PPT课件,（1）总命中率(取舍正确率):公平=返回34PPT课件,4.,功利率,测验效度不仅是一个科学性的问题，也是一个实用性的问题。,使用测验所带来的利益的大小就是功利率。,实际上，测验分数不能完全准确地预测一个人成功与否，最终的衡量标准还是他的实际能力。,录取人员时用测验而不用工作表现，是因为测验省时省力，能避免错误录取人员带来的损失。这样以来，测验的效度就与使用测验所带来的利益联系起来了。,返回,U,代表功利率；,B,代表录用一名成功者所带来的平均收益；,C,代表录用一名不合格者所招致的损失；,分别代表录取人数中成功和失败的人数；,S,代表测验费用；,35,PPT课件,4.功利率测验效度不仅是一个科学性的问题，也是一个实用性的,5.,合成效度,职务成分效度是指：假设具有相同职务成分的职务也具有相似的职务要求，那么,从所测量的职务的基本成分及各成分的效度资料即可综合而成测验效度。,计算合成效度的一般程序是：,.,通过工作分析，确定完成某项工作所需要的基本能力成分及其相对权重；,.,估计出测量各个成分的测验效度；,.,根据权数将各个成分的测验效度合成，就得到了合成效度；,返回,36,PPT课件,5.合成效度职务成分效度是指：假设具有相同职务成分的职务也,结构效度帮助我们运用测验分数解释人的心理特质，可由结构效度研究的资料来回答测验所测量的东西。,效标关联效度可用来了解测验分数能否有效地预测或估计某种行为表现，是关于测验结果的一些实际用途的检验。,内容效度则与研究的内容范围有关，它帮助我们决定测验分数能否代表某种学习结果的成果，也是关于测验结果的一些实际用途。,返回,37,PPT课件,结构效度帮助我们运用测验分数解释人的心理特质，可由结构效度研,4.,效标的选择,1.,选用不同的效标会得到不同的效度；,2.,效标与测验分数的关系类型；,3.,效标测量与预测源测量的时间间隔,返回,38,PPT课件,4.效标的选择1.选用不同的效标会得到不同的效度；返回3,到,54,页,临界分数,错误拒绝,22,正确接收,38,正确拒绝,33,错误接收,7,到,55,页,到,56,页,39,PPT课件,到54页临界分数错误拒绝正确接收正确拒绝错误接收到55页到5,