新一代测量理论认知诊断课件

新一代测量理论认知诊断第一页，编辑于星期三：二十三点七分。新一代测量理论认知诊断新一代测量理论认知诊断新一代测量理论认n认知诊断理论被视为新一代测验理论的认知诊断理论被视为新一代测验理论的核心，是认知心理学与现代测量学相结核心，是认知心理学与现代测量学相结合的产物。对认知诊断的研究已成为当合的产物。对认知诊断的研究已成为当前国外心理学研究的一个重要热点，并前国外心理学研究的一个重要热点，并引起国内学者的广泛关注。引起国内学者的广泛关注。2020/11/32第二页，编辑于星期三：二十三点七分。认知诊断理论被视为新一代测验理论的核心，是认知心理学与现代测内容提要n认知诊断概述认知诊断概述传统测验及其理论的局限性传统测验及其理论的局限性对认知诊断的基本概念对认知诊断的基本概念一种基于一种基于 Q Q 矩阵理论朴素的认知诊断方法矩阵理论朴素的认知诊断方法测验蓝图的设计测验蓝图的设计认知诊断开发步骤认知诊断开发步骤对认知诊断的理解对认知诊断的理解认知诊断应用认知诊断应用发展新趋势发展新趋势2020/11/33第三页，编辑于星期三：二十三点七分。内容提要认知诊断概述2020/11/33第三页，编辑于星期三 心理和教育测量学是一门从心理学和教育学心理和教育测量学是一门从心理学和教育学角度对心理特质的实质和结构做出深入的分角度对心理特质的实质和结构做出深入的分析与研究，同时运用数学、统计学等手段，析与研究，同时运用数学、统计学等手段，对测量的有关问题，做出数量化分析的学科；对测量的有关问题，做出数量化分析的学科；作为独立学科分支的心理与教育测量学已经作为独立学科分支的心理与教育测量学已经经历了一个多世纪的发展。经历了一个多世纪的发展。2020/11/34第四页，编辑于星期三：二十三点七分。心理和教育测量学是一门从心理学和教育学角度对心理特质的实Mislevy R.JMislevy R.J（19931993）指出，到目前为指出，到目前为止，整个统计测验理论的发展可以分为止，整个统计测验理论的发展可以分为两大阶段：标准测验理论（两大阶段：标准测验理论（Standard Standard test theorytest theory）阶段和新一代测验理论）阶段和新一代测验理论（Test theory for a new generation Test theory for a new generation of testsof tests）阶段。）阶段。2020/11/35第五页，编辑于星期三：二十三点七分。MislevyR.J（1993）指出，到目前为止，传统测验及其理论的局限性 标准测验理论将所测的心理特质视为一个标准测验理论将所测的心理特质视为一个心理学意义并不明晰的心理学意义并不明晰的“统计结构统计结构”，目的在于从宏观的层次给个体一个整体目的在于从宏观的层次给个体一个整体的评估，在单维的、线性的连续的度量的评估，在单维的、线性的连续的度量系统上指定一个表示位置的值。系统上指定一个表示位置的值。2020/11/36第六页，编辑于星期三：二十三点七分。传统测验及其理论的局限性标准测验理论将所测的心理特质视为一传统测验及其理论的局限性n标准测验理论包括标准测验理论包括：经典测量理论（Classical Test Theory）概化理论（Generalizability Theory）项目反应理论（Item Response Theory）2020/11/37第七页，编辑于星期三：二十三点七分。传统测验及其理论的局限性标准测验理论包括：2020/11/传统测验及其理论的局限性n与标准测验理论是相对应的是传统测验与标准测验理论是相对应的是传统测验 传统的考试实质上都是根据精心筛选的测验题目,将被试按顺序排列在某种潜在变量的连续体上。在经典测量理论中,这种潜在变量是真分数,而在项目反应理论中,潜在的变量是指单维的潜在特质。2020/11/38第八页，编辑于星期三：二十三点七分。传统测验及其理论的局限性与标准测验理论是相对应的是传统测验2传统测验及其理论的局限性经典测量理论（又称真分数理论）经典测量理论（又称真分数理论）n基本假设:测验观察分数等于真分数与误差分数之和即 X=T+R。n在此基础上，经典测量理论提出了测验信度和效度、项目难度、区分度、猜测度等概念，并依此来指导测验的编制。n经典测量理论在测验发展中有特殊的地位，它是历史上第一个测验理论，也是测验的最一般、最基本的理论，应用极为广泛。2020/11/39第九页，编辑于星期三：二十三点七分。传统测验及其理论的局限性经典测量理论（又称真分数理论）202传统测验及其理论的局限性n但是，经典测量理论有着理论框架的先但是，经典测量理论有着理论框架的先天缺陷性，比如测验参数的估计依赖于天缺陷性，比如测验参数的估计依赖于样本；测验信度估计不精确等。概化理样本；测验信度估计不精确等。概化理论和项目反应理论则从不同角度克服了论和项目反应理论则从不同角度克服了经典测量理论的局限性，逐渐在心理与经典测量理论的局限性，逐渐在心理与教育测量领域中与经典测量理论形成了教育测量领域中与经典测量理论形成了三足鼎立的局势。三足鼎立的局势。2020/11/310第十页，编辑于星期三：二十三点七分。传统测验及其理论的局限性但是，经典测量理论有着理论框架的先天传统测验及其理论的局限性n概化理论概化理论:n其主要是针对经典测量理论信度估计不精确的问题而发展的。它不再象经典测量理论那样将测量误差单纯看成混沌一团的东西，而是利用方差分析方法具体分析实际的测验情景关系，根据不同情景关系确定测量目标与侧面，针对性地考察多种信度与效度。2020/11/311第十一页，编辑于星期三：二十三点七分。传统测验及其理论的局限性概化理论:2020/11/311第十传统测验及其理论的局限性n项目反应理论项目反应理论:n是在克服经典测量理论项目参数依赖于样本等局限性基础上发展的。它认为被试在项目上的反应决定于被试的潜在能力与项目难度间的距离，从而很好地将能力参数和难度参数统一到了一个量尺上来。项目反应理论的另一大优点是参数的不变性，从而推动了该理论的应用范围，为实现计算机化自适应考试（CAT）提供了可能。此外，项目反应理论还提出了测验信息函数的概念，利用测验信息函数来估算测验对不同能力水平被试所产生的误差。2020/11/312第十二页，编辑于星期三：二十三点七分。传统测验及其理论的局限性项目反应理论:2020/11/3122020/11/313第十三页，编辑于星期三：二十三点七分。2020/11/313第十三页，编辑于星期三：二十三点七分2020/11/314第十四页，编辑于星期三：二十三点七分。2020/11/314第十四页，编辑于星期三：二十三点七分传统测验及其理论的局限性n基于CTT的测验采用总分指标评价能力，总分只能用来对个体在总体中的相对位置进行排序，不能指出被试具体掌握了哪些内容，更无法诊断其题目作答错误的原因。基于IRT的教育测验采用能力指标评价被试，虽考虑了被试在测验项目上的作答反应与属性间的关系，但能力指标只是属性的一个统计含义上的概念，并没有真正揭示其内部心理含义2020/11/315第十五页，编辑于星期三：二十三点七分。传统测验及其理论的局限性基于CTT的测验采用总分指标评价能力传统测验及其理论的局限性 总的来说，无论是经典测量理论还是项目反应理论及概化理论，存在的共同缺陷是，把所测心理特质当作一种纯统计结构，忽视对考生作答过程的考察，计量时只注重作答结果，忽视心理特质的实质内容，对于“测什么”和“为什么”的问题却不能够很好地解决，也就无法了解个体解答测验的心理加工成分、策略、所需知识结构等内部心理机制，不能确定个体的强点和弱点。2020/11/316第十六页，编辑于星期三：二十三点七分。传统测验及其理论的局限性2020/11认知诊断的基本概念 因此，传统的测量理论显然不能满足测验因此，传统的测量理论显然不能满足测验发展的需要，急需一个能够解决发展的需要，急需一个能够解决“测什么测什么”和和“为什么为什么”的理论。与此同时，实质心理学特的理论。与此同时，实质心理学特别是认知心理学的兴起，给人们提供了理解别是认知心理学的兴起，给人们提供了理解“统计结构统计结构”这一这一“黑箱黑箱”的思路及相关的丰富的思路及相关的丰富理论成果，这使得测量学专家看到了揭开理论成果，这使得测量学专家看到了揭开“统统计结构计结构”内在心理学意义的希望。因此，以认内在心理学意义的希望。因此，以认知诊断为核心内容的新一代测量理论也就应运知诊断为核心内容的新一代测量理论也就应运而生了，它是测验发展的需要和认知心理学理而生了，它是测验发展的需要和认知心理学理论成果融入到测量学的结果。论成果融入到测量学的结果。2020/11/317第十七页，编辑于星期三：二十三点七分。认知诊断的基本概念因此，传统的测量理论显认知诊断的基本概念n认知诊断；属性（补偿，非补偿）；层级关系；认知模型；认知诊断模型（分类方法）一系列Q矩阵，计算和含义；Q矩阵理论；期望反应，期望反应模式（理想反应，理想反应模式/潜在反应，潜在反应模式）；知识状态；182020/11/318第十八页，编辑于星期三：二十三点七分。认知诊断的基本概念认知诊断；属性（补偿，非补偿）；层级关系；认知诊断的基本概念n认知诊断（评估）：认知诊断评估(CDA)通过测验获得被试在测验上观察反应而推知该被试不可观察的知识状态（knowledge state）。Leighton 和 Gierl（2007）认为（教育）认知诊断的作用是测量/评估个体特定的知识结构（knowledge structure）和加工技能（processing skills）。2020/11/319第十九页，编辑于星期三：二十三点七分。认知诊断的基本概念认知诊断（评估）：认知诊断评估(CDA)通认知诊断的基本概念nTatsuoka（2009,p.6)对属性和知识状态的定义：nKnowledge and cognitive processing skills will be called attributes,nbinary attribute patterns that express mastery or nonmastery of attributes will be referred to as knowledge states or latent knowledge states.(Tatsuoka,2009,p.7)2020/11/320第二十页，编辑于星期三：二十三点七分。认知诊断的基本概念Tatsuoka（2009,p.6)对属性属性的例子（天津考试院，2009，小学真分数加减运算，一个实际开发的认知诊断测验）n分数的运算，认知属性，A1：基础知识(分数单位、分数性质、加减混合运算顺序)；A2：同分母分数加减；A3：寻找最小公倍数；A4：寻找最大公因子；A5：异分母分数加减；A6：化成最简分数；A7：分数加减混合运算。图图1 1 小学数学五年级分数简单加减法认知属性及层级关系小学数学五年级分数简单加减法认知属性及层级关系212020/11/321第二十一页，编辑于星期三：二十三点七分。属性的例子（天津考试院，2009，小学真分数加减运算，一个实基本概念（认知诊断和模式判别）nTatsuoka(2009)认为她的认知诊断方法-规则空间模型（RSM）和统计模式识别、分类方法（statisticalpatternrecognitionandclassificationmethodology）相似，包含特征提取和统计模式分类两步；特征提取对应Q矩阵理论，它是确定性的（deterministic）.222020/11/322第二十二页，编辑于星期三：二十三点七分。基本概念（认知诊断和模式判别）Tatsuoka(2009)基本概念（属性层级）n五种基本属性层级结构（线型、收敛、发散、无结构、独立），其他层级结构可以由它们组合出来n特别注意收敛型特别注意收敛型232020/11/323第二十三页，编辑于星期三：二十三点七分。基本概念（属性层级）五种基本属性层级结构（线型、收敛、发散、属性及其层级的确定（1）n属性和属性和属性层级比较难以准确界定属性层级比较难以准确界定n属性的确定的标准方法属性的确定的标准方法n文献调查文献调查n专家讨论专家讨论n被试的出声思维被试的出声思维242020/11/324第二十四页，编辑于星期三：二十三点七分。属性及其层级的确定（2）n层级关系的确定：不是操作步骤的顺序，也不是解题的过程的描述，而是如Leighton et al.（2000）所说的层级(hierarchy)指的是问题解决中所需要的属性之间的逻辑的或者心理的顺序（logical and/or psychological ordering）252020/11/325第二十五页，编辑于星期三：二十三点七分。属性及其层级的确定（2）层级关系的确定：不是操作步骤的顺序，Q矩阵的计算n计算和含义；n属性及其层级-邻接矩阵A-可达矩阵R-潜在Q矩阵Qp-学生Q矩阵Qsn计算（1）由A+I计算R的两种方法n（2）由R计算Qp的三种方法n缩减方法；扩张算法；渐进式扩张算法n（3）由Qp到Qs262020/11/326第二十六页，编辑于星期三：二十三点七分。Q矩阵的计算计算和含义；262020/11/326第二十六页基本概念(一系列Q矩阵）n认知模型（可以用图形表达，还可以用某些Q矩阵表达）n一系列Q矩阵，Q矩阵是属性和项目/被试的关联矩阵（incidencematrix）,原始意义上是0-1矩阵（布尔矩阵），后面有人扩展为非负整数矩阵。272020/11/327第二十七页，编辑于星期三：二十三点七分。基本概念(一系列Q矩阵）认知模型（可以用图形表达，还可以用某基本概念(一系列Q矩阵）2020/11/328第二十八页，编辑于星期三：二十三点七分。基本概念(一系列Q矩阵）2020/11/328第二十八页，编计算R的方法nTatsuoka介绍的方法：B=A+In计算R的方法如果B的n次幂（逻辑乘法）等于B的n+1次幂，则B的n次幂就是R。数学原理是R是自反的传递闭包的关系矩阵，满足R*R=RnWarshall计算传递闭包的方法（省略）292020/11/329第二十九页，编辑于星期三：二十三点七分。计算R的方法Tatsuoka介绍的方法：B=A+I29202基本概念(一系列Q矩阵）2020/11/330第三十页，编辑于星期三：二十三点七分。基本概念(一系列Q矩阵）2020/11/330第三十页，编辑基本概念(一系列Q矩阵）2020/11/331第三十一页，编辑于星期三：二十三点七分。基本概念(一系列Q矩阵）2020/11/331第三十一页，编由R计算Qp的三种方法n缩减方法；扩张算法；渐进式扩张算法n这些新算法揭示了认知诊断测验项目之间的关系（有一个代表性很强的项目类）。这些算法的共同特点是，基于可达矩阵。这也表示可达矩阵的特殊地位。322020/11/332第三十二页，编辑于星期三：二十三点七分。由R计算Qp的三种方法缩减方法；扩张算法；渐进式扩张算法32扩张算法331234j=1不产生新列j=2j=3j=4不不产生新列生新列2020/11/333第三十三页，编辑于星期三：二十三点七分。扩张算法331234j=1不产生新列j=2j=3j=4不产生基本概念(一系列Q矩阵）2020/11/334第三十四页，编辑于星期三：二十三点七分。基本概念(一系列Q矩阵）2020/11/334第三十四页，编步骤4：通过Qr矩阵可得到被试期望反应模式2020/11/335第三十五页，编辑于星期三：二十三点七分。步骤4：通过Qr矩阵可得到被试期望反应模式2020/11/3一种基于一种基于 Q 矩阵理论朴素的认矩阵理论朴素的认知诊断方法知诊断方法海明距离判别法海明距离判别法n罗照盛李喻骏等（2015）心理学报2020/11/336第三十六页，编辑于星期三：二十三点七分。一种基于Q矩阵理论朴素的认知诊断方法海明距离判别法罗为什么研究Qs,QpnQs的列在“交”、“并”运算下封闭；任何两列均有上、下确界，形成一个代数系统-格（lattice）。这对于指导计算机化自适应诊断测验的“在线属性辅助标定”有作用；nQs的列表示“人的”知识状态；Qp的列表示“题的”属性向量，而前者可以由后者导出，可见两者的列可以相互比较372020/11/337第三十七页，编辑于星期三：二十三点七分。为什么研究Qs,QpQs的列在“交”、“并”运算下封闭；任何2020/11/338第三十八页，编辑于星期三：二十三点七分。2020/11/338第三十八页，编辑于星期三：二十三点七为什么重视ERPn某些认知诊断模型的分类原理,ERP是判别分类的类中心（RSM，AHM，DINA，GDD，GDD-P）nORP-KS(通过认知诊断模型）nKS-ERP（通过Qs,Qt,特别是Qt)n如果可以设计Qt,使得KS-ERP，那么nORP-ERP-KSn重视ERP，Tatsuoka给出Q矩阵理论392020/11/339第三十九页，编辑于星期三：二十三点七分。为什么重视ERP某些认知诊断模型的分类原理,ERP是判别分类Q矩阵理论nTatsuoka的Q矩阵理论Taksuoka(1991，1995，2009)建立Q矩阵理论，试图用Q矩阵描述项目与属性的关联，并构建知识状态知识状态(KS)与理想反应模式理想反应模式(IRP)的（等价）对应，而通过分类方法使得ORP与IRP对应，最终获得可观察的ORP的解释，即获得隐藏在ORP内的KS。n如上所述，我们认为不同的如上所述，我们认为不同的Q矩阵应该给予不同的矩阵应该给予不同的记号以示区分，如记号以示区分，如R，Qp,Qs,QtnQ矩阵理论的主要内容应该是研究如何设计好的矩阵理论的主要内容应该是研究如何设计好的测验蓝图测验蓝图(Qt)。402020/11/340第四十页，编辑于星期三：二十三点七分。Q矩阵理论Tatsuoka的Q矩阵理论Taksuoka(1测验蓝图的设计n为什么要设计测验蓝图为什么要设计测验蓝图?目的：目的：使使知识状态知识状态（KS)和和期望反应期望反应模式模式(ERP)一一对应一一对应：表：表面上认知诊断模型面上认知诊断模型f:ORP-KS,实际上是实际上是f:ORPERP，KSERP(通过通过Qt：测验蓝图测验蓝图),如果还能够建立如果还能够建立ERPKS，则完，则完成了成了ORP到到KS的映射的映射412020/11/341第四十一页，编辑于星期三：二十三点七分。测验蓝图的设计为什么要设计测验蓝图?目的：使知识状态（KS)Q矩阵理论（续）n只有对被试知识状态进行准确分类，才能针对性地进行补救。这样就产生了一个问题，如何编制好的认知诊断测验，它能区分开所有知识状态，减少知识状态误判。也就是要寻找一个“好的”测验规范，即测验蓝图（testspecification/testblueprint)n0-1评分非补偿条件下，知识状态和期望反应模式一一对应的充分必要条件n定理定理 假设所讨论的认知属性对认知任务所起的作用假设所讨论的认知属性对认知任务所起的作用是非补偿、连接的，并且采用是非补偿、连接的，并且采用0-1评分方式，则评分方式，则Qt中中包含可达阵包含可达阵R是使知识状态与期望反应模式建立起一一是使知识状态与期望反应模式建立起一一对应关系的必要充分条件。对应关系的必要充分条件。422020/11/342第四十二页，编辑于星期三：二十三点七分。Q矩阵理论（续）只有对被试知识状态进行准确分类，才能针对性地为什么研究测验蓝图的设计nLeightoneral.(2004,2007)主张用Qp作为测验蓝图，至少会遇到如下困难：n当属性数目K比较大时，对于独立型、无结构型层级结构，Qp的列数目太大，以至于无法安排测验n如果测验蓝图设计欠妥，认知诊断判准率不可能高432020/11/343第四十三页，编辑于星期三：二十三点七分。为什么研究测验蓝图的设计Leightoneral.(20实例：带分数减法认知诊断测验（设计蓝图不能代表理论认知模型）据Sinharay和Almond(2007)（p.242）的叙述，知该测验共测5种技能（skills），且技能3是技能4的先决属性，而技能1、2、3、5是独立的属性，属性层级关系如图1所示。从而被试的所有可能的知识状态为24类。但是该文中表1给出的Qt为515的矩阵。将相同的列看成同一类项目，则Qt如右所示。44、2020/11/344第四十四页，编辑于星期三：二十三点七分。实例：带分数减法认知诊断测验（设计蓝图不能代表理论认知模型）几种常见的认知诊断模型2020/11/345第四十五页，编辑于星期三：二十三点七分。几种常见的认知诊断模型2020/11/345第四十五页，编辑CDMnRSM，AHM，GDD，GDD-P是基于IRT模型的项目反应函数的认知诊断模型：nDINA，DINO不包括IRT的项目反应函数n并且RSM，AHM，GDD，GDD-P，DINA是非补偿的认知诊断模型；而DINO是补偿的认知诊断模型462020/11/346第四十六页，编辑于星期三：二十三点七分。CDMRSM，AHM，GDD，GDD-P是基于IRT模型的项认知诊断模型选择原则n1）简单性原则，但能提取尽量多的诊断信息；n2）可用性原则，模型可识别；n3）认知理论原则，是选择补偿模型还是非补偿模型；n4）竟争性原则：选择诊断尽量准确的模型n5）可接受性原则，解释性强2020/11/347第四十七页，编辑于星期三：二十三点七分。认知诊断模型选择原则2020/11/347第四十七页，编辑于认知诊断测验开发的步骤（1）1.确定评估目标；2.根据评估目标，确定解决相关问题所涉及到的认知属性（知识结构与认知技能）以及这些属性之间的关系；3.挑选认知诊断模型（比如属性的多寡、补偿还是非补偿0-1评分还是多级评分）；4.根据认知属性及属性间的层级关系，建立一系列Q矩阵；特别是测验蓝图，即测验Q矩阵Qt;计算期望反应模式；482020/11/348第四十八页，编辑于星期三：二十三点七分。认知诊断测验开发的步骤（1）确定评估目标；482020/11认知诊断测验开发的步骤（2）5.根据Qt，编写评估任务（如，测验项目）；实施认知诊断测验；6.模型校准（calibration）和知识状态估计，并对结果进行评价；7.考察测验Q矩阵的质量（属性标示是否合理、模型参数是否合理、被试反应的层级相合性指标是否合理，等等）；如果质量不佳，返回到2；8.建立向考生、教师和其他相关人士报告评估结果（详尽可解释的系统；9.补救，即干预。（参考DiBello,etal.2007，他只给出六步）492020/11/349第四十九页，编辑于星期三：二十三点七分。认知诊断测验开发的步骤（2）5.根据Qt，编写评估任务（如，值得注意的方面1.认知模型的开发，认知诊断的实际应用2.项目属性在线标定，理论、方法和实际应用（题库的低成本、高效率扩充，解决缺乏等值转换式下的测验等值问题）3.测验蓝图的设计研究4.多级评分的Q矩阵理论研究；有补偿功能条件下的Q矩阵理论的研究）502020/11/350第五十页，编辑于星期三：二十三点七分。值得注意的方面认知模型的开发，认知诊断的实际应用502020值得注意的方面（续）5认知诊断模型的开发（开发的新模型性质的研究，MonteCarlo模拟方法）；多策略认知诊断方法研究；干扰项诊断信息提取6计算机化自适应诊断测验（CD-CAT)7.Q矩阵的修正的方法512020/11/351第五十一页，编辑于星期三：二十三点七分。值得注意的方面（续）5认知诊断模型的开发（开发的新模型性质的值得注意的方面（续2）8.HCI指标的开发和完善9.测验方式研究（大型测验：CD-CAT的选题策略研究；小型测验：课堂评估研究（小样本、小题量，纸笔测验）10.对已有测验的翻新(retrofitting)研究（评估诊断的“效度”），这是不得已而为之的办法，但应说明对于认知诊断，到底能够取多大的作用，谨防夸大作用522020/11/352第五十二页，编辑于星期三：二十三点七分。值得注意的方面（续2）8.HCI指标的开发和完善522020对认知诊断的理解认知心理学与心理测量学方法是实现认知诊断的两大基础认知心理学与心理测量学方法是实现认知诊断的两大基础（Embretson S E 1985Embretson S E 1985）认知诊断是一个完整的体系认知诊断是一个完整的体系（）评估目标的确定（）认知模型的描述（）编制测验项目（）选择能够融合认知变量的心理测量模型（变量间的相互作用补偿模型与非补偿模型连续变量和离散变量模型）（）收集数据资料，并选择参数估计的方法（需考虑参数是否可以识别；是否收敛等）（）形成评估报告系统（信度和效度）2020/11/353第五十三页，编辑于星期三：二十三点七分。对认知诊断的理解认知心理学与心理测量学方法是实现认知诊断的两对认知诊断的理解认知诊断作为新一代测验理论的重要部分，有着重认知诊断作为新一代测验理论的重要部分，有着重大的意义大的意义。n首先,认知诊断能实现测验的最重要的功能:促进发展。现代认知心理学的测量观的基本观点是:运用认知分析的方法描述心理活动的内在机制,据此设计各种形式的测验以探测被试心理活动的机制与相应机制之间是否一致或存在缺陷,以便提出补救措施,促进发展。认知诊断是实现测量与发展之间的循环促进作用的关键环节。2020/11/354第五十四页，编辑于星期三：二十三点七分。对认知诊断的理解认知诊断作为新一代测验理论的重要部分，有着重对认知诊断的理解n其次,认知诊断有利于提高测验的内容效度。目前,人们通常运用经典测验理论或项目反应理论编制教育和心理测验,这二者是依据项目的统计特性来指导测验编制,对内在的知识结构重视不够,难以对测验的内容效度进行分析。认知诊断依据认知心理学的研究成果编制测验,测验的内容效度能得到保证。2020/11/355第五十五页，编辑于星期三：二十三点七分。对认知诊断的理解其次,认知诊断有利于提高测验的内容效度。目前认知诊断的应用认知诊断在心理学中的应用认知诊断在心理学中的应用n其一是把认知诊断作为心理学的一种研究方法，来探究心理的本质，形成某个心理学理论n其二是在认知心理学实践中的应用，依据认知心理学的丰富理论成果，选择能够合理刻画认知变量的心理测量模型，从而达到对个体更为微观细致的描述和评估n其三是在心理测验中的应用前面提到了传统测验所测的是一个模糊的“统计结构”，对所测内容的意义并不明确，势必会造成测验效度研究的困难在新一代测验理论指导下的测验则更强调在认知分析基础上，采用合适的测量模型来指导测验的编制2020/11/356第五十六页，编辑于星期三：二十三点七分。认知诊断的应用认知诊断在心理学中的应用2020/11/356认知诊断的应用2020/11/357第五十七页，编辑于星期三：二十三点七分。认知诊断的应用2020/11/357第五十七页，编辑于星期三认知诊断的应用认知诊断在教育领域的应用研究认知诊断在教育领域的应用研究n此类研究的目的主要是为了探查学生的知识结构和解题时的内部心理加工机制，从而了解学生的强点和弱点，为下一步有针对性的辅导提供指导例如：美国大学入学考试数学测验，对数学知识结构进行认知分析的研究，采用规则空间模型的方法，对学生出现的错误类型进行判别，找出学生犯错误的类型，从而提出有针对性的补救计划 美国通过法案“No Child Left Behind Act of 2001”，规定美国所有实施的测验必须提供诊断信息给家长、老师和学生。学者们认为，在教育领域，只考试不诊断或者说只诊断而不作补救教学都是不负责任的表现。2020/11/358第五十八页，编辑于星期三：二十三点七分。认知诊断的应用认知诊断在教育领域的应用研究2020/11/3新进展与发展趋势nRacetothetop“向最高点进军”nWeb-basedassessment网考nCSvs.BS？局域网或英特网？nnewtestform新题形nCognitivediagnosis认知诊断nMultiDiemensionalIRT多元IRTnVerticallinking垂直等职nValueaddedmolding增值模型nAutomatedReporting自动生成报告报表592020/11/359第五十九页，编辑于星期三：二十三点七分。新进展与发展趋势Racetothetop发展趋势n无纸笔化考试n各州将统一使用“共同题”nCAT在医学测试中大规模运用n认知诊断中的Q-矩阵自动估计n网考使考点回归校园n反应时间的利用（RESPONSETIME）2020/11/360第六十页，编辑于星期三：二十三点七分。发展趋势无纸笔化考试2020/11/360第六十页，编辑于星612020/11/361第六十一页，编辑于星期三：二十三点七分。612020/11/361第六十一页，编辑于星期三：二十三点Challenges in NCLB TestingnManyitemsaretoodifficulttostudentsn70%mathitemsmaybetoodifficultnTheinfluenceofthiskindoftesttakingexperienceonlow-achievingstudentsisnotwell-understood(e.g.,Roderick&Engle,2001,Ryan&Ryan,2005;Ryan,Ryan,Arbuthnot,&Samuels,2007).nTestsecurityofNCLBnThe#of security violations in P&P based NCLB testing in on the rise.nDocumentedcasesofsuchincidentshavebeenuncoveredinnumerousstatesincludingNewYork,Texas,California,Illinois,andMassachusetts.(Jacob&Levitt,2003,andTexasEducationAgency,2007).622020/11/362第六十二页，编辑于星期三：二十三点七分。ChallengesinNCLBTestingMany632020/11/363第六十三页，编辑于星期三：二十三点七分。632020/11/363第六十三页，编辑于星期三：二十三点CATHasGlowingFutureintheK-12Context.nWhynotusebenchmarktesting?nAdaptiveTestingcandobetter.nQuellmalz&Pellegrino(2009):nmorethan27statescurrentlyhaveoperationalorpilotversionsofonlinetests,includingOregon,NorthCarolina,Utah,Idaho,Kansas,Wyoming,andMaryland.nThelandscapeofeducationalassessmentischangingrapidlywiththegrowthofcomputer-administeredtests.642020/11/364第六十四页，编辑于星期三：二十三点七分。CATHasGlowingFutureintheHOW TO HELP SCHOOLS TO OPERATE CD-CAT?WhyCD-CAT?652020/11/365第六十五页，编辑于星期三：二十三点七分。HOWTOHELPSCHOOLSTOOPERATENew Technologies-Schools can use existing PCsnClient/ServerArchitecture(CS)nCATsoftwarehastobeinstalledoneachclientcomputer(largeworkload)nonlyapplicabletoLocalAreaNetwork(LAN)nBrowser/Server Architecture(BS)ndatabaseisstillontheservernnearlyallthetasksconcerningdevelopment,maintenanceandupgrade,arecarriedoutontheserver.nbasedontheWideAreaNetwork(WAN)662020/11/366第六十六页，编辑于星期三：二十三点七分。NewTechnologies-SchoolscHardware and Network Design672020/11/367第六十七页，编辑于星期三：二十三点七分。HardwareandNetworkDesign672682020/11/368第六十八页，编辑于星期三：二十三点七分。682020/11/368第六十八页，编辑于星期三：二十三点692020/11/369第六十九页，编辑于星期三：二十三点七分。692020/11/369第六十九页，编辑于星期三：二十三点A SUCCESSFUL EXAMPLE IN CHINAACD-CATsystemanditsapplicabilitytoimproveteachingandlearning702020/11/370第七十页，编辑于星期三：二十三点七分。ASUCCESSFULEXAMPLEINCHINAA Large Scale CD-CAT Test in 2011nAB/SbasedCATsystemwastestedwith2000PCsinDalian,China!nAbout30,000studentsparticipatedfieldtestsnAlargescalevaliditystudywasalsoconducted712020/11/371第七十一页，编辑于星期三：二十三点七分。ALargeScaleCD-CATTestin2Validity StudynEvaluatingtheconsistencyofnCD-CATsystemresultswithanexistingEnglishachievementtestnagroupofstudentstooktwoexamsnCD-CATsystemresultswithTeachersevaluationoutcomes.722020/11/372第七十二页，编辑于星期三：二十三点七分。ValidityStudyEvaluatingtheCD-CAT Results vs.TeachersConsistencybetweenCDscoresandteachersassessmentTheCD-CATdiagnosticreportswerepresentedtoteachers,theywereaskedtoevaluatetheaccuracyofthisreport.Finding:Theconsistencyisveryhigh.Liu,H.,You,X.,Wang,W.,Ding,S.&Chang,H.(revisionunderreview)732020/11/373第七十三页，编辑于星期三：二十三点七分。CD-CATResultsvs.TeachersCo作业n对HDD和GDD的分类方法进行阐述n怎样保证测验蓝图设计是合理的nHDD的结果是好还是坏，原因为何2020/11/374第七十四页，编辑于星期三：二十三点七分。作业对HDD和GDD的分类方法进行阐述2020/11/374实例实例2020/11/375第七十五页，编辑于星期三：二十三点七分。实例2020/11/375第七十五页，编辑于星期三：二十三点2020/11/376第七十六页，编辑于星期三：二十三点七分。2020/11/376第七十六页，编辑于星期三：二十三点七作业n给出实例的A、R、Qs、IRP矩阵n实例中的Qt矩阵是否合理2020/11/377第七十七页，编辑于星期三：二十三点七分。作业给出实例的A、R、Qs、IRP矩阵2020/11/37引进粒计算与形式概念分析技引进粒计算与形式概念分析技术的认知诊断研究术的认知诊断研究n若十六进制数为A3，则其十进制数为()A163B172C179D188n二进制数为，则其十进制数是（）A、508B、254C、255D、509n若十进制数为180，则其十六进制数为（）A、A8B、B4C、B6D、A9n9、十进制数为333，则其八进制数为（）A、615B、472C、476D、5152020/11/378第七十八页，编辑于星期三：二十三点七分。引进粒计算与形式概念分析技术的认知诊断研究2020/11/3表明此处3题项目属性n八进制数为332，则其十进制数为()A、216B、174n二进制数10，八进制数10，十进制数10，十六进制数10这四个数中最大的是（）A、二进制数10B、八进制数10C、十进制数10D、十六进制数10n若十进制数为57，则其二进制数为（）（含属性A1、A2、A3、A4）A111011B111001C110001D1100112020/11/379第七十九页，编辑于星期三：二十三点七分。表明此处3题项目属性八进制数为332，则其十进制数为(作业用用HDD（R)对对ORP进行分类，给出其进行分类，给出其KS，并提出补救方案，并提出补救方案2020/11/380第八十页，编辑于星期三：二十三点七分。作业用HDD（R)对ORP进行分类，给出其KS，并提出补救方参考文献（专著）nRupp,A.A.,Templin,J.,&Henson,R.A.,(2010).nDiagnosticMeasurement,nTheory,Methods,andApplications.TheGuilfordPress.nTatsuoka,K.K.,(2009).CognitiveAssessment:AnintroductiontotheRuleSpaceMethod.NY:Routledge.812020/11/381第八十一页，编辑于星期三：二十三点七分。参考文献（专著）Rupp,A.A.,Templin,J参考文献（专书1）nLeighton,J.P.,Gierl,M.J.,&Hunka,S.M.(2007).Cognitivediagnosticassessmentforeducation:Theoryandapplications.CambridgeUniversityPress.n822020/11/382第八十二页，编辑于星期三：二十三点七分。参考文献（专书1）Leighton,J.P.,Gier参考文献（专书2）nNichols,P.D.,Chipman,S.F.,andBrennanR.L.(Eds.)（1995）,CognitivelyDiagnosticAssessmentHillsdale,NJ:Erlbaum.n涂冬波，蔡艳，丁树良(2012).认知诊断的理论、方法与应用。北京师范大学出版社832020/11/383第八十三页，编辑于星期三：二十三点七分。参考文献（专书2）Nichols,P.D.,Chipma参考文献（学术刊物）n期刊专刊（SpecialIssue）nJournalofEducationalMeasurement,2007(4).n中文相关文章比较密集出现的心理学报；心理科学；心理学探新；江西师范大学学报n外文期刊JEM，APM，Psychometrika,EPMn842020/11/384第八十四页，编辑于星期三：二十三点七分。参考文献（学术刊物）期刊专刊（SpecialIssue）8谢谢大家！第八十五页，编辑于星期三：二十三点七分。谢谢大家！第八十五页，编辑于星期三：二十三点 七分。