心理测量4 项目分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,项 目 分 析,1,测验的项目分析：定性分析和定量分析,定性分析：,测验的内容效度、题目编写的恰当性和有效性,定量分析,：对题目的难度和区分度进行分析,项目分析的目的是：,通过选择和修改测验题目，提高测验的信度和效度。,2,项目的难度分析,难度（,difficulty,）,，,指项目的难易程度，能力测验中一个重要的指标。,在人格测验中，类似的指标是“,通俗性”,。即取自相同总体样本中，能在答案方向上回答该题的人数。,两种指标的计算方法是相同的,3,难度的计算,二分法记分的项目（,1,、,0,记分）,公式（通过率）：,P=R,N100%,P,指项目的难度（通过率）,R,答对或通过该项目的人数,N,全体被试人数,4,举例：,第一题,10,名被试中,8,人答对，其难度为：,P,1,=8,10100%=80%,5,样本例数较大时的计算方法,根据测验总成绩将被试分为三组,高分组（,N,H,）：,分数最高的,27,中间组：分数居中的,46,低分组（,N,L,）：,分数最低的,27,计算高分和低分组的通过率,计算两组平均通过率作为难度指标,公式：,P=(P,H,+P,L,),2,P,指难度（通过率）,P,H,指高分组通过率,P,L,指低分组通过率,6,举例：,某测验条目高分组通过率为,85,，中间组通过率为,52,，低分组通过率为,35,，问平均通过率是多少？,P=(P,H,+P,L,),2=,（,0.85,0.35,）,/2,=60,7,吉尔福特的难度校正公式,因为选择题易受到猜测的影响，备选答案越少，机遇的作用越大，越不能反映真实难度，吉尔福特的校正公式用于对此进行校正。,公式：,P,校正前通过率,K,备选答案数目,CP,校正后通过率,8,举例：,上题若为,5,选,1,的题型，请计算校正后的通过率？,9,非二分记分项目的难度计算,公式：,X,指全体被试在该题上的平均得分,X,max,为,该题的满分,举例,（前例,5,）：计算难度（通过率）,第一题平均得分,1.8,分，最高分,2,分，通过率：,P,1,=1.8,2.0100%=90,10,难度水平的确定,进行难度分析的目的是为了筛选条目，项目难度多高合适，取决于测验的目的、性质及项目的形式。,一般而言，难度（通过率）在,0.5,时，区别力最高，对信度和效度影响最好。,在能力测验中，为了使尽可能少的人在测验中得,0,分或得满分，因此必须安排很容易的项目和很难的项目，但测验的平均通过率最好控制在,0.5,水平。,11,测验的难度,测验的难度取决于组成测验项目的难度,通过观察测验分数的分布，可以进行直观检验。,如果测验难度适中，分数的分布应当接近常态分布；,如果测验偏难，分布呈正偏态（图,13-4,，,A,）,如果测验偏容易，分布呈负偏态（图,13-4,，,B,）,测验偏难或偏容易时，可以通过增加或减少不同难易程度的条目来解决。,12,MMAS,不同年龄组各分测验的难度,18-19,岁组,20-24,岁组,25-29,岁组,30-34,岁组,35-39,岁组,40-44,岁组,45-49,岁组,总平均难度,自由组词,.35,.33,.40,.40,.34,.31,.30,.33,图画再认,.82,.80,.76,.78,.71,.68,.74,.76,残图命名,.34,.28,.27,.28,.24,.25,.23,.27,汉词配对,.75,.67,.61,.56,.46,.48,.44,.57,图符配对,.67,.64,.58,.55,.42,.43,.35,.52,人名配对,.37,.32,.31,.25,.19,.17,.14,.25,数字广度,.49,.49,.49,.46,.41,.39,.40,.45,汉词广度,.41,.40,.39,.35,.34,.33,.34,.37,空间广度,.36,.34,.31,.30,.27,.26,.24,.30,汉词再认,.62,.57,.54,.56,.50,.51,.53,.55,人面再认,.57,.51,.52,.50,.49,.44,.51,.51,汉词回忆,.31,.28,.25,.27,.20,.21,.20,.25,图画回忆,.56,.57,.49,.49,.44,.44,.40,.49,图形再生,.71,.65,.64,.60,.52,.52,.52,.60,词对延迟,.77,.64,.67,.56,.48,.48,.44,.58,图符延迟,.78,.74,.71,.65,.56,.52,.44,.63,人名延迟,.50,.41,.40,.32,.24,.18,.19,.32,经历定向,.99,.99,.99,.98,.98,.98,.99,.98,时事常识,.65,.59,.64,.58,.54,.46,.50,.57,生活记忆,89,.90,.89,.86,.85,.83,.85,.87,13,项目的区分度,项目区分度（,item discrimination,）,也叫鉴别力，,是指测验项目对被试者的心理特征的区分能力。,高区分度条目：,实际水平高者能通过，实际水平低者不能通过。,区分度的计算方法,鉴别指数,相关法,14,鉴别指数,鉴别指数计算步骤,按测验总分依次排列,确定高分组和低分组,高分组：排序最高的,27,的被试,低分组：排序最低的,27,的被试,分别计算高分组与低分组在每个项目上的通过率,公式：,D=P,H,P,L,D,指鉴别指数,P,H,高分组在某项目上的通过率,P,L,低分组在某项目上的通过率,举例（例,8,）,15,计算鉴别指数,按总分排序,确定高、低分组,分组人数,=320.279,人,高分组：,19,号,低分组：,2432,号,分别计算高、低分组在,14,题的通过率,P,1H,=99=1.00 P,1L,=29=0.22,P,2H,=89=0.89 P,2L,=29=0.22,P,3H,=89=0.89 P,3L,=19=0.11,P,4H,=69=0.67 P,4L,=09=0.00,分别计算各题鉴别指数,D,1,=1.00,0.22=0.78,D,2,=0.89,0.22=0.67,D,3,=0.89,0.11=0.78,D,4,=0.67,0.00=0.67,16,鉴别指数的判断,因为高分组条目总得分上高于低分组，理论上他们每个条目的通过率也要高于低分组。,D0,时，,D,越大，说明该条目区分两种水平（组）的能力越强,D0,则反映高分组的得分反而低于低分组，说明该条目有问题。,伊贝尔（,L.,Ebel,1965,）,关于鉴别指数评价项目性能的标准：,鉴别指数（,D,）,项目评价,0.40,以上 很好,0.300.39,良好，修改后会更佳,0.200.29,尚可，但需修改,0.19,及以下 差，必须淘汰,17,相关法,计算区分度常用的方法是相关法，即以某一条目得分与效标成绩或测验总分进行相关运算。,相关系数越高，说明该条目越具有区分功能。,常用于项目分析的相关方法,点二列相关,二列相关,相关,18,点二列相关,适用于一类变量为二分变量，另一类变量为连续变量的相关计算。,公式：,r,pq,点二列相关系数,为与二分变量通过组相对应的连续变量的平均数,为与二分变量未通过组相对应的连续变量的平均数,S,t,为连续变量的标准差,p,通过组人数与总人数之比（通过率）,q,未通过组人数与总人数之比（未通过率）,举例（例,9,）：,19,二列相关,适用于两个连续变量，但其中一个变量被人为分成两类。,公式,：,r,b,为二列相关系数,y,为,p,与,q,交界处正态曲线的高度,X,p,、,X,q,、,S,t,、,p,、,q,的意义与点二列相关公式相同,当两个变量均为连续变量时，也可使用皮尔逊积差相关方法计算。,举例,：（例,9,）,20,公式,：,21,相关,此种相关适用于两个变量均为二分称名变量（计数资料）,公式,：,式中,a,、,b,、,c,、,d,分别代表四格表中第一、二、三、四项中所包含的次数。,举例,：求成功通过能力倾向测验（以,6,分为界）与工作成功与否之间的相关？,a=22,、,b=38,、,c=33,、,d=7,显著性检验：用卡方（,X,2,）,检验方法,22,区分度与难度的关系,区分度与难度呈现的是一种曲线（倒“,U”,的关系）。,难度为,0.5,时，区分度最高,难度较高或较低时，区分度中等,非常高或非常低的难度时，区分度也很低,不同水平被试中区分度与难度的关系,较难的题目对高水平被试有较高的区分度,中等难度的题目对中水平被试有较高的区分度,较容易的题目对低水平被试有较高的区分度,平均难度,0.5,左右，能保持整体较好的区分度。,23,D,的最大值与项目难度的关系,项目通过率,理论上最大区分度,（以总分对半划分高、低分组时）,高分组通过率,低分组通过率,D,的最大值,1.00,1.0,1.0,0.00,0.90,1.0,0.8,0.20,0.80,1.0,0.6,0.40,0.70,1.0,0.4,0.60,0.60,1.0,0.2,0.80,0.50,1.0,0.0,1.00,0.40,0.8,0.0,0.80,0.30,0.6,0.0,0.60,0.20,0.4,0.0,0.40,0.10,0.2,0.0,0.20,0.00,0.0,0.0,0.00,24,注意事项,当测验用于选拔或诊断时，应该多选择难度值接近录取率的项目。,测验为选择题时，难度值应大于随机猜测概率水平。,难度等于概率水平，说明题目可能太难；或题意不清，被试凭猜测作答。,难度（通过率）低于概率水平，说明题目有系统偏差。,是非题难度值,0.75,时最合适，四选一题目,0.63,时最合适。,25,题目难度在,0.30.7,之间，平均难度,0.5,时，测验具有较理想的区分度。,理论上讲每个单题难度在,0.5,时具有最好的鉴别效率。,同质的题目难度在,0.5,时，相关有偏高的趋势。在极端的例子中，如果相关为,1.0,，难度均为,0.5,，那么,50,的人全通过，另,50,的人全不通过，区分效率反而下降。,区分度取值在,-1.0+1.0,之间。,区分度为负值：题目不行,区分度为正值：越接近,1,说明区分度越好，越接近,0,说明区分度越差。,26,一、测验的信度,信度的概述：,掌握信度的定义和作用，熟悉测量的误差来源及其对信度的影响。,估计信度的方法：,掌握重测信度、复本信度、内部一致性信度和评分者信度的定义，估计方法和适用范围。,影响信度系数的因素：,熟悉影响信度的常见因素，了解提高测量信度的常用方法。,二、测验的效度,效度的概述：,掌握效度的定义和作用，了解效度与信度的关系。,效度的种类：,掌握内容效度、效标效度和实证效度的定义、估计方法和适用范围。,提高测量效度的方法：,熟悉影响效度的因素，了解提高测量效度的方法。,三、测验的项目分析,项目的难度：,掌握项目难度的意义，熟悉项目难度的计算方法，了解项目难度对测验的影响。,项目的区分度：,掌握项目区分度的意义，熟悉区分度的计算方法，了解项目区分度对测验的影响。,27,