测量信度-课件

测量信度测量信度测量信度信度概述信度概述什么是信度什么是信度信度的作用信度的作用测量信度-课件什么是信度什么是信度稳定性与一致性程度，随机误差大小的反映稳定性与一致性程度，随机误差大小的反映多次测量结果间的一致性多次测量结果间的一致性与准确性无关与准确性无关断尺测长度，信度高，但是不准确断尺测长度，信度高，但是不准确测量信度-课件在教育与心理在教育与心理测验中，重复多次中，重复多次测量不合适，可采量不合适，可采取下面三种等价定取下面三种等价定义a.一个被一个被测团体的真分数的体的真分数的变异数与异数与实得分数的得分数的变异异数之比数之比rxx=sT2/sx2b.一个被一个被试团体的真分数与体的真分数与实得分数的相关系数的得分数的相关系数的平方平方rxx=pTx2在教育与心理测验中，重复多次测量不合适，可采取下面三种等价定c.信度乃是一个信度乃是一个测验X(A卷卷)与它的任意一个与它的任意一个“平行平行测验”(B卷卷)的相关系数的相关系数rxx=PXX定定义a与定与定义b仅有理有理论意意义（真分数的（真分数的值无法求得）无法求得），只有定，只有定义c具有具有实际意意义测量信度-课件信度的作用信度的作用信度是信度是测量量过程中随机程中随机误差大小的反映差大小的反映随机随机误差差大小与方向（、）均不确定，既影响大小与方向（、）均不确定，既影响测量量结果的一致性，也影响果的一致性，也影响测量量结果的准确性果的准确性系系统误差差大小与方向恒定，不影响大小与方向恒定，不影响测量量结果的一致性，果的一致性，但是影响但是影响测量量结果的准确性果的准确性信度的作用信度可以用来解信度可以用来解释个人个人测验分数的意分数的意义SE为测量的量的标准准误，Sx为实得分数的得分数的标准差，准差，rxx为测量的信度量的信度通通过计算个人分数偏离真分数的大小算个人分数偏离真分数的大小对个人分数做出个人分数做出解解释测量信度-课件信度可以帮助进行不同测验分数的比较信度可以帮助进行不同测验分数的比较原始分数不能直接进行比较，必须转化成标准分数进行比原始分数不能直接进行比较，必须转化成标准分数进行比较，即采用较，即采用“差异的标准误差异的标准误”来进行差异的显著性检验来进行差异的显著性检验测量信度-课件信度的种类与估计方法信度的种类与估计方法重测信度重测信度复本信度复本信度内部一致性信度内部一致性信度评分者信度评分者信度信度的种类与估计方法重测信度重测信度含义含义再测信度、稳定性系数再测信度、稳定性系数同一个量表测同一组被试两次，结果的稳定性程度同一个量表测同一组被试两次，结果的稳定性程度测量信度-课件重重测信度信度计算方法算方法两次两次测量量结果之果之间的皮的皮尔尔逊积差相关系数差相关系数(等距等距变量量或等比或等比变量，符合正量，符合正态分布分布)测量信度-课件T1T2P154P264P346P455P556T1T2P154P264P346P455P556重测信度使用的前提条件重测信度使用的前提条件所测的心理特质必须是稳定的所测的心理特质必须是稳定的人格、智力较稳定，比较适合人格、智力较稳定，比较适合情绪、年幼儿童的认知能力不稳定，不适合情绪、年幼儿童的认知能力不稳定，不适合测量信度-课件遗忘和练习的效果基本上相互抵消遗忘和练习的效果基本上相互抵消在两次施测的间隔期内，在所测量的心理特质上没有在两次施测的间隔期内，在所测量的心理特质上没有经过专门的学习和训练经过专门的学习和训练测量信度-课件如果以上条件不能如果以上条件不能满足，就不适宜使满足，就不适宜使用重测信度用重测信度比如一些推理和创比如一些推理和创造力测验、认知风造力测验、认知风格测验格测验第一次测验被试第一次测验被试就很容易掌握规就很容易掌握规则则测量信度-课件只有那些不容易受重复使用影响的测验才能用重测只有那些不容易受重复使用影响的测验才能用重测法来估计信度法来估计信度感觉运动测量感觉运动测量人格测量人格测量测量信度-课件除了反应规则外，再测法会受练习效应和时间效应除了反应规则外，再测法会受练习效应和时间效应的影响的影响时间间隔较短时间间隔较短练习效应练习效应时间间隔过长时间间隔过长成熟、历史等影响成熟、历史等影响幼儿认知能力幼儿认知能力特殊的经历特殊的经历测量信度-课件时间间隔的确定要根据测验的目的、性质和被试的特时间间隔的确定要根据测验的目的、性质和被试的特点而定点而定智力测验的信度智力测验的信度/智力随年龄而产生的变化智力随年龄而产生的变化后者的间隔时间要长于前者后者的间隔时间要长于前者相对稳定特质测验的时间间隔长于相对不稳定的特质相对稳定特质测验的时间间隔长于相对不稳定的特质气质、智力气质、智力年幼的被试时间间隔要短些年幼的被试时间间隔要短些无论哪种被试，初测和再测的时间间隔最好不要超过无论哪种被试，初测和再测的时间间隔最好不要超过六个月六个月测量信度-课件由于重测信度受成熟效应、历史效应的影响，测验由于重测信度受成熟效应、历史效应的影响，测验手册应报告重测信度的手册应报告重测信度的时间间隔时间间隔以及在间隔期间以及在间隔期间被被试的经历试的经历教育、培训、心理咨询与治疗教育、培训、心理咨询与治疗重测信度并不意味着测验不可信，也可能是由于所重测信度并不意味着测验不可信，也可能是由于所测量的心理特质发展变化测量的心理特质发展变化测量信度-课件复本信度复本信度复本信度的含义复本信度的含义使用前提条件使用前提条件测量信度-课件复本信度的含复本信度的含义两个平行的两个平行的测验（A卷与卷与B卷）卷）测量同一批被量同一批被试，被，被试所得所得结果的一致性程度果的一致性程度两个平行两个平行测验之之间的皮的皮尔尔逊积差相关系数差相关系数这可以在一定程度上避免重可以在一定程度上避免重测信度中的一些信度中的一些问题同一同一测验与等与等值测验测量信度-课件根据测试时间间隔的不同，重测信度所表达的含义根据测试时间间隔的不同，重测信度所表达的含义也略有不同也略有不同两个复本是同时连续施测两个复本是同时连续施测等值性系数等值性系数两个复本测验题目差别所引起的的变两个复本测验题目差别所引起的的变异，而不是被试心理特质变化造成的异，而不是被试心理特质变化造成的考试运气考试运气测量信度-课件两个复本是间隔一段时间施测两个复本是间隔一段时间施测稳定性与等值性系数稳定性与等值性系数两个复本测验题目之间的差别、两次测验的情境差异、两个复本测验题目之间的差别、两次测验的情境差异、被试的心理发展被试的心理发展对信度最严格的检验，其值最低对信度最严格的检验，其值最低测量信度-课件使用复本信度应注意的问题使用复本信度应注意的问题构造出两份或者两份以上真正平行的测验构造出两份或者两份以上真正平行的测验平行测验就是用不同的题目测量同样的内容且其测验平行测验就是用不同的题目测量同样的内容且其测验结果的平均值和标准差都相同的两个测验结果的平均值和标准差都相同的两个测验测量对测量对象、题目数量、形式、难度、区分度、指导语、时限象、题目数量、形式、难度、区分度、指导语、时限等方面都相同或者相似等方面都相同或者相似严格的平行测验很难编制严格的平行测验很难编制使用复本信度应注意的问题被试要有时间、精力接受两个测验被试要有时间、精力接受两个测验仍会受到练习和记忆的影响仍会受到练习和记忆的影响基本原理基本原理解题的策略和技巧解题的策略和技巧测量信度-课件内部一致性信度内部一致性信度分半信度分半信度同质性信度同质性信度关注测量题目的同质性，即所有关注测量题目的同质性，即所有的题目均测量同一种特质的题目均测量同一种特质关注测量题目的同质性，即所有的题目均测量同一种特质分半信度分半信度分半信度的含义分半信度的含义将一个测验分成对等的两半后，所有被试在这两半上将一个测验分成对等的两半后，所有被试在这两半上所得分数的相关所得分数的相关等值性系数的特例等值性系数的特例测量信度-课件使用分半信度的原因使用分半信度的原因重测信度重测信度练习、记忆、疲劳效应（能力测验），练习、记忆、疲劳效应（能力测验），从而影响前后两次测量分数之间的相关，低估测验的从而影响前后两次测量分数之间的相关，低估测验的信度信度复本信度复本信度编制严格意义上的平行测验代价较高编制严格意义上的平行测验代价较高测量信度-课件对分半信度的理解对分半信度的理解分半信度等同于等值性系数分半信度等同于等值性系数这两半等于两个平行这两半等于两个平行测验测验是对测验内部题目的一致性的测量，有时也被称为内是对测验内部题目的一致性的测量，有时也被称为内部一致性系数部一致性系数测量信度-课件使用分半信度应注意的问题使用分半信度应注意的问题如何将测验分成对等的两半如何将测验分成对等的两半奇数偶数题分半奇数偶数题分半（互（互有牵连的题目放到同一半）；有牵连的题目放到同一半）；不提倡求被试前半部分不提倡求被试前半部分得分与后半部分得分之间的相关得分与后半部分得分之间的相关（练习、疲劳、难度（练习、疲劳、难度等因素的影响）等因素的影响）分半信度会低估测验的信度（测验越长，信度越高），分半信度会低估测验的信度（测验越长，信度越高），需要使用校正公式进行校正需要使用校正公式进行校正测量信度-课件斯皮斯皮尔尔曼曼布朗公式布朗公式rnn=nrtt/(1+(n-1)rtt)表示估表示估计的系数，表示的系数，表示实得系数，得系数，n表示表示测验增加或增加或者减少的倍数者减少的倍数25100(n=4)，6030(n=1/2)rxx=2rhh/(1+rhh)rhh为分半信度，分半信度，rxx为整个整个测验的信度的信度值测量信度-课件使用斯皮使用斯皮尔尔曼曼布朗公式的前提条件布朗公式的前提条件两个分半两个分半测验的的变异量无异量无显著差异著差异()若若这一条件不一条件不满足，可以足，可以选择弗朗那根弗朗那根(Flanagan)公公式或者式或者卢纶(Rulon)公式公式测量信度-课件弗朗那根弗朗那根(Flanagan)公式公式测量信度-课件卢纶(Rulon)公式公式rxx=1-Sd2/Sx2Sd2表示同一表示同一组被被试在两半在两半测验上得分之差的上得分之差的变异异数，数，Sx2表示全体被表示全体被试在整个在整个测验上得分的上得分的变异数异数测量信度-课件分半信度误差主要来源是题目本身分半信度误差主要来源是题目本身时间因素不对分半信度产生影响时间因素不对分半信度产生影响信度低主要是由于测验两半之间题目取样不同造成的信度低主要是由于测验两半之间题目取样不同造成的只有一个影响因素，因此所得到的信度值较高只有一个影响因素，因此所得到的信度值较高测量信度-课件分半信度不适宜用于速度测验，只适用于难度测验分半信度不适宜用于速度测验，只适用于难度测验速度测验是由简单的题目构成的，所有的人都能做对速度测验是由简单的题目构成的，所有的人都能做对所有的题目，会造成高相关的假象所有的题目，会造成高相关的假象高相关是由于题目简单造成的，而不是内容的一致性高相关是由于题目简单造成的，而不是内容的一致性造成的造成的测量信度-课件由于将一个测验分成两半的方法很多，因此同一测验由于将一个测验分成两半的方法很多，因此同一测验会有多个分半信度值会有多个分半信度值奇偶分半、按题目的难度分半、按题目的内容分半奇偶分半、按题目的难度分半、按题目的内容分半测量信度-课件同质性信度同质性信度含义含义也称为内部一致性系数，是指测验内部所有题目间的也称为内部一致性系数，是指测验内部所有题目间的一致性程度一致性程度影响题目一致性的因素影响题目一致性的因素内容取样，内容取样，所研究行为所研究行为的异质性的异质性测量信度-课件同质性信度的作用同质性信度的作用同质性信度高是测验测得单一特质的充分条件同质性信度高是测验测得单一特质的充分条件同质性高同质性高测验测量单一心理特质测验测量单一心理特质若一个测验测的是多个心理特质（职业倦怠），要将若一个测验测的是多个心理特质（职业倦怠），要将其分解成多个具有同质性的分测验，然后求各个分测其分解成多个具有同质性的分测验，然后求各个分测验上得分的同质性信度验上得分的同质性信度测量信度-课件影响同质性信度的因素影响同质性信度的因素测验内容取样测验内容取样题目之间的一致性程度题目之间的一致性程度所研究行为的异质性所研究行为的异质性行为越异质、复杂，测验同质性信度越低行为越异质、复杂，测验同质性信度越低文综试卷文综试卷历史试卷历史试卷测量信度-课件同同质性信度的估性信度的估计一个一个测验所有可能的分半信度所有可能的分半信度值的平均数的平均数实际不可行不可行分半信度个数太多，无法分半信度个数太多，无法穷尽尽为了弥了弥补分半信度的不足，有人提出以下公式分半信度的不足，有人提出以下公式由于所有由于所有题目目间求相关比求相关比较繁繁琐，研究者后来根，研究者后来根据据这一公式一公式导出出库德德(G.F.Kuder)理理查森森(W.M.Richardson)信度系数和克信度系数和克伦巴赫巴赫(Cronbach)系数系数同质性信度的估计KR20公式公式K为题目数，表示答目数，表示答对第第i题的人数的比例，表示答的人数的比例，表示答错第第i题的人数比例的人数比例仅适用于适用于(0,1)计分的分的测验这一系数等于所有不同的分半方法所得出的分半系数一系数等于所有不同的分半方法所得出的分半系数的平均的平均值除非除非测验项目高度同目高度同质，库德德理理查森信度系数将低森信度系数将低于分半信度于分半信度测量信度-课件KR21公式公式仅适用于按照适用于按照(0,1)计分的分的项目目所有所有题目目难度接近度接近时才使用才使用KR21公式克伦巴赫系数适用于非二分法计分的测验测量信度-课件荷伊特信度荷伊特信度测量信度-课件进行探索性因素分析的条件行探索性因素分析的条件被被试数与数与项目数比目数比值一般要在一般要在10:1以上以上巴特利特球形巴特利特球形检验，如果，如果 P值小于小于0.05表明适合做因子分表明适合做因子分析析表示表示项目之目之间的相关的相关显著性著性KMO（Kaiser-Meyer-Olkin）检验 KMO取取值范范围在在01之之间，越接近于，越接近于1越适合做因素分析越适合做因素分析0.9KMO非常适合；非常适合；0.8KMO0.9适合；适合；0.7KMO7，可，可进行行 检验，如果如果 达到达到显著水平，著水平，则W也达到也达到显著水平著水平测量信度-课件信度信度含义含义一致性与稳定性一致性与稳定性类型类型重测信度重测信度间隔时间间隔时间复本信度复本信度时间与内容取样时间与内容取样测验得分的测验得分的一致性一致性信度测验得分的一致性内部一致性信度内部一致性信度 分半信度分半信度内容取样内容取样间隔时间间隔时间 同质性信度同质性信度测量对象的特点与内容取样测量对象的特点与内容取样项目得项目得分的一分的一致性致性项目得分的一致性影响信度的因素影响信度的因素影响因素影响因素信度多高才是可靠的信度多高才是可靠的提高信度的方法提高信度的方法测量信度-课件影响信度的因素影响信度的因素被试因素被试因素主试因素主试因素施测情境因素施测情境因素测量工具因素测量工具因素两次测量的间隔时间两次测量的间隔时间影响信度的因素影响信度的因素影响信度的因素被试因素被试因素团体异质性团体异质性团体越异质，分数分布范围越大，相关系数越高，信团体越异质，分数分布范围越大，相关系数越高，信度越高度越高团体平均水平团体平均水平团体平均水平越低，受猜测的影响越大，信度越低团体平均水平越低，受猜测的影响越大，信度越低影响信度的因素主试因素主试因素施测过程施测过程不按指导手册中的规定施测不按指导手册中的规定施测故意制造紧张气氛故意制造紧张气氛暗示、协助暗示、协助评分评分没有统一的标准答案或者评分标准没有统一的标准答案或者评分标准影响信度的因素影响信度的因素影响信度的因素施测情境因素施测情境因素通风、光线、天气、设备的好坏等通风、光线、天气、设备的好坏等影响信度的因素影响信度的因素影响信度的因素测量工具量工具试题的数量的数量试题的的难度度试题之之间同同质性程度性程度影响信度的因素影响信度的因素影响信度的因素试题的数量的数量从理从理论上上讲，同，同质性性题目目越多，信度越高越多，信度越高表表1.3 题目数量目数量对测验信度的影响信度的影响题目数量目数量1050100200300400500相关系数相关系数.500.830.910.950.968.976.980影响信度的因素影响信度的因素表1.3 题目数量对测验信度的影响题目数量105010020k为改改变后的后的长度与原度与原长度之比，度之比，rxx为原原测验的信的信度，度，rkk为测验长度是原来的度是原来的k倍倍时的信度估的信度估计影响信度的因素影响信度的因素k为改变后的长度与原长度之比，rxx为原测验的信度，rkk在实际编制测验时，需要注意两点在实际编制测验时，需要注意两点新增题目必须与试卷中原有的题目同质新增题目必须与试卷中原有的题目同质新增题目的数量必须适度新增题目的数量必须适度疲劳、厌烦疲劳、厌烦影响信度的因素影响信度的因素影响信度的因素试题的难度试题的难度难度太高或者太低都会使分数分布范围变窄，影响信难度太高或者太低都会使分数分布范围变窄，影响信度度测验所有试题难度接近正态分布，平均水平控制在中测验所有试题难度接近正态分布，平均水平控制在中等水平等水平影响信度的因素影响信度的因素影响信度的因素试题之间的同质性程度试题之间的同质性程度同质性题目越多，同一心理特质被测量的机会就越多，同质性题目越多，同一心理特质被测量的机会就越多，越能克服随机误差的影响越能克服随机误差的影响影响信度的因素影响信度的因素影响信度的因素两次测量的间隔时间两次测量的间隔时间间隔时间越长，越容易受到额外因素的影响，信度值间隔时间越长，越容易受到额外因素的影响，信度值越低越低成熟效应、历史效应成熟效应、历史效应影响信度的因素影响信度的因素影响信度的因素信度究竟要多高才足信度究竟要多高才足够“好好”信度的信度的标准依据准依据测量的目的或用途的不同而不同量的目的或用途的不同而不同测验用作决策用作决策必必须将将误差降到最低，信度差降到最低，信度值一般一般要在要在.95以上以上标准化能力或学准化能力或学绩测验的信度要在的信度要在0.90以上以上人格人格测量量测量信度在量信度在0.8以上以上教教师自自编测验信度要在信度要在0.6以上以上信度的评定标准信度的评定标准信度的评定标准提高信度的方法提高信度的方法适当增加测验项目数量适当增加测验项目数量增加的项目要同质增加的项目要同质项目不宜过多项目不宜过多提高信度的方法因素分析与鉴别力分析因素分析与鉴别力分析因素分析因素分析有一个因素解释了大部分的变异有一个因素解释了大部分的变异在这一因素上没有负荷或者负荷低的题目考虑删除在这一因素上没有负荷或者负荷低的题目考虑删除提高信度的方法提高信度的方法提高信度的方法鉴别力分析鉴别力分析每个项目同测验总分之间的相关每个项目同测验总分之间的相关相关低说明该项目与测验中其他项目不同质；或者太相关低说明该项目与测验中其他项目不同质；或者太容易以及太难，所有人得分没有差别容易以及太难，所有人得分没有差别提高信度的方法提高信度的方法提高信度的方法控制控制测验的的难度度所有所有试题的的难度接近正度接近正态分布，平均分布，平均难度度为0.5不能使每一个不能使每一个项目的目的难度都在度都在0.5，这样会会导致致测验分数呈分数呈(0.1)分布分布提高信度的方法提高信度的方法提高信度的方法选择适当的被试团体选择适当的被试团体团体的异质性以及平均水平会影响信度团体的异质性以及平均水平会影响信度在检验信度时，要根据测验的使用目的选择被试在检验信度时，要根据测验的使用目的选择被试常模团体的年龄、性别、文化程度等常模团体的年龄、性别、文化程度等提高信度的方法提高信度的方法提高信度的方法主试要严格执行施测规程，减少额外变量的干扰主试要严格执行施测规程，减少额外变量的干扰评分者要严格按标准计分评分者要严格按标准计分施测情境要按测验手册的要求进行施测情境要按测验手册的要求进行提高信度的方法提高信度的方法提高信度的方法