项目分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,心理测量学,Mental measurement,精神卫生学院,曹 运 华,第六章,项目分析,Item analysis,我们本章要解决的问题:5个,1.,什么是项目分析及意义,2.,什么是难度及难度的计算？,3.,难度的矫正公式？,4.,什么是项目的区分度及区分度的计算方法？,5.,测验的项目分析实例,本章前提：,怎样从校区到龙沙公园？,怎样从校区到龙沙公园？,1.,大家知道两者的距离大约是？,2.,那方法和工具都有哪些啊？,3.,如果咱们把距离拉远，从齐市到哈市的方法都有哪些啊？,4.,各方法的效率是一样的吗？,小结论：,1.,要想高效、经济地达到目的，选择一个合适的、良好的工具是必要的条件。,2.,测量也是如此，要想完成测量目的，必须选择一个质量良好的测量工具，对心理测量来说，就是选择一个良好的测验。,3.,那么如何才能确定一个测验质量是良好的？,一.如何对测验进行分析和鉴定？,（一）测验进行鉴定,Test analysis,（二）题目进行鉴定,Item analysis,鉴定,测验,的,方法,(一)如何对整个测验进行鉴定？,整个测验,定性分析,统计量分析,信度值,效度值,（二）组成测验的题目进行鉴定,项,目,分,析,定性分析,定量分析,难度值,区分度,总结：,好的题目,好的测验,有效,完成,测量,目的,二.项目分析的意义：5个,1.,可以为筛选和修改测题提供依据。,2.,有助于提高测验的信度和效度。,3.,有助于标准化题库的建设。,4.,有助于测验结果的合理解释。,5.,有助于测验编制技能和技巧的提高。,第一节 测验的难度 Test difficulty,一、难度的意义,难度,(difficulty),：是指测验项目（题目）的难易程度。,想一想：,1,、在期末考试时数学老师出了一套考试试卷，全班,30,人中,26,人考了,95,分以上，这个试卷的题目难吗？,2,、要是,30,人中,26,人考了,50,分以下，这个测验难吗？,二、难度的计算：公式1,（一）二分法记分的项目计算,P：难度 R：答对该题的人数,N：全体被试人数,阅读：什么是二分法计分？,二分法计分：即一题目的得分只有,0,分、满分两种可能，也就是说被试答对该题得满分，答错了得,0,分。,大家想一下，它的适用题型有哪些：,1,、选择题；,2,、填空题；,3,、判断题等。,例题及分析：,例题,1,：设有,80,名被试参加某一个测验，答对其中某题的有,32,人，问该题的难度指数是多少？,想一想：,1,、,P,值的范围？,2,、,P,值与测题难度的关系？,分析与结论：P与难度,1,、,P,值的范围：,0,，,1,2,、,P,值越大，难度越小；,P,值越小，难度越大。,3,、其中,P=0,和,P=1,是极端难度,。,想一想：此公式适用条件,1.,用公式,1,计算一个测题的难度，需要知道哪些条件（数据）？,2.,要是被试人数较多（,N,100,），用这个公式计算测题难度系数就会出现什么情况？,计算：公式2,P：难度 Ph：高分组的通过率,Pl：低分组的通过率,阅读：高分组和低分组怎么划分?,在人数较多的时候，不宜采用公式,1,进行运算，这是可用极端分组法进行计算。分组的步骤如下：,1,、先把所有被试的总分按从高到低排列,2,、从最高分开始向下取,27%,的被试作为高分组；,3,、从最低分开始向上取,27%,的被试为低分组。,相关例题分析1：,书上例题：,P73,在,370,名被试中，高分组有,70,人答对第一题，低分组有,40,人答对第一题，那么该题的难度是多大？,该怎样解答该题啊？,相关例题分析2：,2000,年华东师范大学考试题（,3,分）：,一个测验高分组有,80%,的被试通过，低分组,12%,的被试通过，那么该题的难度是多少？,计算：公式3,（二）非二分计分项目的难度计算：,P：难度 X：被试的平均得分,X：该题的满分值,阅读：什么是非二分计分？,非二份计分：是指被试在一个题目上的得分有从,0,分到满分的多种可能。,大家想一下，和二分法计分相比，非二分法计分适用题型有哪些：,1,、简答题；,2,、论述题；,3,、作文题等,例题分析1：,书上例题,2,：,P74,数学测验的第七题的满分是,15,分，在该题上考生的平均得分是,9.6,分，则该题的难度是多少？,相关例题分析2：,例题,2,：,一测验的第,3,题的满分是,15,分，在该题上高分组考生的平均得分是,9.6,分，低分组考生的平均得分是,3.6,分，则该题的难度指数是多少？,三、难度的矫正公式,在选择题和判断题上，有一个重要的问题是：测验得分是被试能力的反应还是因为猜测而获得的成功。,比如：考试时有选择题不会，你会怎么办？,这样大量的猜测会对被试在选择题和判断题的分数产生影响。,想一想猜测误差的种类,在客观性测题（选择、是非等）中，不可避免的存在着猜测误差。,那么，想一下猜测误差的种类有哪些？,这样大量的猜测会对选择题和判断题的分数产生影响，这时就需要进行矫正。,（一）难度的矫正公式：,CP：矫正后的难度 P：未矫正前的难度,K：备选答案的数量。,相关例题分析：,2002,年 华东师范大学考试题（,4,分）：,某一个测验中，一个五选一的测题的难度值是,0.61,，另外一个四选一的测题难度是,0.64,，请问这两个测题的哪个题难度较大？,该怎样才能正确解答？,（二）猜测校正的基本假设：,校正公式的基本假设是：被试不知道正确答案时，完全凭猜测作答，猜测的成功与否完全由随机因素所致，即被试选择某一个备选答案是随机决定的。,小问题：大家同意这个假设吗？,同意，为什么？,不同意，为什么？,（三）赞成使用的观点：2个,1.,校正后的得分可以反应被试得分的真正水平和能力。,2.,在教育测验中，可以培养学生诚实的美德。,（四）反对使用的观点：3个,1.,校正公式并不是对难度系数的真正校正。,2.,公式的基本假设不成立。,3.,在实际生活中，经常缺乏充分的证据和资料，这时进行合理地猜测是值得培养的能力。,四、难度对相对性,一测题的难度并不是固定不变的，它为因情况不同而有所变化。也就是说，难度是相对的。,影响难度性对性的因素：,1,、团体的平均水平；,2,、测验的编制技术。,五、难度对测验的影响,1.,难度影响测验分数的分布形态及范围,2.,影响测验分数的离散程度,3.,影响测验项目的鉴别能力,分数分布形态：正偏态,想一想,正偏与难度关系？,1.,大家想一想，测验分数分布是正偏态分布，说明了什么情况？,2.,大部分被试的得分是比较高还是比较低？,3.,分数正偏态分布是说明测验较难还是相对比较容易？,分数分布形态：负偏态,想一想,负偏与难度关系？,1.,大家想一想，测验分数分布是负偏态分布，说明了什么情况？,2.,大部分被试的得分是比较高还是比较低？,3.,分数负偏态分布是说明测验较难还是相对比较容易？,相关例题分析：,1997,年北京师范大学实验心理学（含心理测量）试题。,简答题（,5,分）,2,、记忆实验中出现很多被试的记忆量达到了,100%,的现象，说明此实验处理存在什么问题，应如何改进？,正偏与负偏及处理方法：,1.,正偏态分布：即大多数集中在低分端，说明测验对被试来说偏难，因此必须增加足够数量的较容易的项目。,2.,负偏态分布：即大多数被试的得分集中在高分端，说明题目偏易，应该增加一些较高难度的项目。,分数分布形态：正态,六、难度水平的确定,项目的难度水平多高合适，取决于测验的目的以及测验的性质。,1.,当测验为教育测验和总结性测验时，可以不过多考虑难度，只要教育者认为重要的内容就可选用。,2.,当测验目的是选拔录用人员时，难度视录取率而定。,3.,一般性测验中的难度应怎么样？,七、难度的等距转换,1.,以项目的通过率,P,来表示一个项目的难度，计算方便，便于理解。,2.,它是属于何种测量水平？,3.,这样的难度系数是否存在什么问题？,相关例题分析：,现已知某一个测验的第一题的难度,P,为,0.027,，第二题的难度,P,为,0.50,，第三题难度,P,为,0.84,，请问，这三道题中：,1,、难度最大的是哪道题？,2,、第一题比第二题难多少？,3,、第二题比第三题难多少？,总结：,难度的等距转换,顺序,等距,（一）难度等距转换步骤：5步法,1.,计算项目的通过率,P,；,2.,把,P,转换为从右至左而行的正态曲线下的面积；,3.,查,Z,表，看对应面积的,Z,值；,4.,按,Z,=13+4Z,转换；,5.,比较,Z,值。,补充知识：正态曲线下的面积,面积转换示意图：,(二)相关例题分析1：,现已知某一个测验的第一题的难度,P,为,0.027,，第二题的难度,P,为,0.50,，第三题难度,P,为,0.84,，请问，这三道题中：,1,、难度最大的是哪道题？,2,、第一题比第二题难多少？,3,、第二题比第三题难多少？,（二）相关例题分析2：,现已知有,80,人参加某一个测验，其中答对第一题的人数是,32,人，答对第二题的人数是,48,人。,请问：,1,、这两道题的难度差距是多少？,第二节 测验的区分度 Test,discrimination,一、区分度的意义：项目的效度,（一）区分度（,discrimination,）：,又称,鉴别力,，是指测验项目对被试心理品质水平差异的区分能力或鉴别能力。,（二）区分度的重要性：,（,1,）测验有效的,“,指示器”；,（,2,）评价测题质量，筛选测题的主要指标，又被称为“项目的效度”。,具有良好区分度的项目，应该将不同水平的被试区分开来。,中,得分高,高水平,被试,低,中等,得分低,二、区分度的计算：2类,区分,度,计算,方法：,（一）鉴别指数法,（二）相关法,二、区分度的计算,（一）鉴别指数法,discrimination index,高分组和低分组通过率的差别，来计算区分度。,情景：常用、易用,（二）相关法,interrelated,method,单一项目分数与效标分数或测验总分的相关可作为区分度的指标。,适用情景：大规模测验或标准化测验。,（一）鉴别指数法,1.,鉴别指数（,D,指数）：,高分组与低分组的通过率之差。,计算公式：,D = P,H, P,L,大家想一想，根据计算公式：,（,1,）,D,的取值范围是多少？,（,2,）,D,值与项目质量的关系？,例题：1999年华东师大考研,计算题：,一个测验的测题全部是由五选一的选择题组成的，其中第一题上端,27%,的被试,P=0.75,，,下端,27%,的被试,P=0.35,，,请问它的鉴别力多大？,D的判定：,D值范围,测题的质量,评价,D0,有效区分,保留,D=0,无区分,D0,消极区分,舍弃,2.伊贝尔鉴别指数标准,：,鉴别指数D,题目质量评价,0.40以上,很好,0.30-0.39,良好，修改会更好,0.20-0.29,尚可，仍修修改,0.19以下,差，需淘汰,例题：1999年华东师大考研：,计算题：,一个测验的测题全部是由五选一的选择题组成的，其中第一题上端,27%,的被试,P=0.75,，,下端,27%,的被试,P=0.35,，它的鉴别力多大，该题可以接受吗,该怎样作答？,3.项目特征曲线：,通过率,1.00,0.00,0.50,低 中,高,能力,A,B,C,D,项目特征曲线分析：,题号,质量评价,态度,1,？,？,2,？,？,3,？,？,4,？,？,项目特征曲线分析：,题号,质量评价,态度,1,有效区分,保留,2,无区分,舍弃,3,低区分,舍弃？最好修改,4,无效区分,舍弃,（二）相关法,interrelated,method,假设：,特质水平 测验总分数 项目分数,1,点二列相关,条件：项目是二分记分，效标或总分是连续变量。,相关例题分析：,15名被试效标分数和一题目得分,序号,1,2,3,4,5,6,7,8,9,效标,65,70,31,49,80,50,35,16,81,题分,0,1,0,1,1,0,1,0,0,2,、二列相关,适用条件：两个都是连续变量，但其中一个变量被人为分成两类。,3,、,相关,适用条件：两个变量都是二分类型的变量,4,、积差相关,适用条件：两个变量均是连续变量。,三、区分度与难度的关系,难度,区分度,区分度与难度的关系：,1,、极端难度：区分度低,2,、中等难度：区分度最大,3,、大家想一下，想提高测验的区分度，根据难度和区分的关系，一个可行的方法是什么？,办法：难度正态分布，并把大部分测题的难度保持在中等难度,四、区分度的相对性,1.,计算方法不同，区分值也不同,;,2.,用相关法计算受样本容量大小的影响,;,3.,用鉴别指数计算受分组标准的影响,;,4.,受被试团体异质性的影响,;,5.,受题目难度的影响,.,五、项目分析报告,Item analysis report,如何做项目分析报告？,（一）项目分析步骤:6步,1.,选取代表性样组,N,人，按规定程序施测。,2.,按测验总分的高低次序排列，从最高分开始向下取,27%,（,50%,）为高分组，从最低分开始向上取,27%,（,50%,）为低分组。,3.,分别计算高分组和低分组在每一个测题上的通过率，即,P,H,和,P,L,。,4.,按照公式,P=,（,P,H,+P,L,）,/2,和,D = P,H, P,L,计算测题的难度和区分度。,5.,作项目分析报告。,6.,根据项目分析报告，修改或选择测题。,项目分析例题：,（二）项目分析报告格式：3类,分析,报告,格式,：,3类,1、项目分析简表,2、难度与区分度双向表,3、项目分析综合表,1、项目分析简表,题号,P,H,P,L,P,D,评价,1,2,3,4,5,6,项目分析简表实例:,2、难度区分度双向表,P,R,0-0.1,0.1-0.3,0.3-0.8,0.7-0.9,0.9-1.0,总计,0-0.1,1,1,0.1-0.3,3,1,1,5,0.3-1.0,6,79,27,3,99,总计,0,10,63,28,4,105,应有,5%,15%,60%,15%,5%,100%,实有,0,10,63,28,4,105,符数,0,6,63,27,3,99,六、项目分析的特殊问题,一、多重选择题的项目分析（诱答分析）,多项选择题因能有效控制被试的猜测误差，能测量较复杂的认知目标，能为改进教学提供较多的反馈信息，且易于评分，可用计算机阅卷等诸多优点，在教育测验中，应用广泛。,对于多重选择题，除了分析难度和区分度外，还要对每个选项进行分析。,多项选择题例题:,下列动物中，那些动物是澳洲特有的物种（ ）,A,、雪豹,B,、袋鼠,C,、考拉,D,、狒狒,E,、鸭嘴兽,1,、正确的选项被所有被试选择，说明,2,、正确的选项没有一个被试选择，说明,3,、如果所有被试都选择某个错误选项，说明,4,、 如果没有一个被试选择某个错误选项，说明该选项,选择题备选答案质量分析：,选择题备选答案质量分析：,5,、 如果高分组被试的选择集中在两个选项上且两者的被选择率接近，说明,6,、如果高分组对正确答案的选择率等于或低于低分组，说明该题,7,、如果所有被试都未回答某个题目或者选择各个选项的人数几乎相等，说明该题,第三节 项目分析实例,项目分析步骤,1,、选取代表性样组,N,人，按规定程序施测。,2,、按测验总分的高低次序排列，从最高分开始向下取,27%,（,50%,）为高分组，从最低分开始向上取,27%,（,50%,）为低分组。,3,、分别计算高分组和低分组在每一个测题上的通过率，即,P,H,和,P,L,。,4,、,按照公式,P=,（,P,H,+P,L,）,/2,和,D = P,H, P,L,计算测题的难度和区分度。,5,、作项目分析报告。,6,、根据项目分析报告，修改或选择测题。,项目分析例题：,项目分析简表实例:,本章复习题:5个,1.,什么是项目分析及意义,2.,难度的计算方法？,3.,难度的矫正公式？,4.,什么是项目的区分度及区分度的计算方法？,5.,测验的项目分析步骤？,谢谢大家！,