认知诊断理论辛涛课件

认知知诊断理断理论辛涛辛涛第一页，编辑于星期三：十五点三十分。认知诊断理论辛涛认知诊断理论辛涛认知诊断理论辛涛?认知诊断理1?认知诊断理论?课程说明时间段授课内容上 午8:3011:30认知诊断理论概述晚 上认知诊断理论应用：认知诊断计算机化自适应测验(CD-CAT)认知诊断实操部分：MATLAB软件的使用第二页，编辑于星期三：十五点三十分。2?认知诊断理论?课程说明时间段授课内容上午8:3011:认知诊断理论概述认知诊断理论的背景与基础1Q矩阵的重要地位与规则空间模型2常见认知诊断模型介绍3认知诊断评估的结果报告4认知诊断评估对我国学业评价的启示5第三页，编辑于星期三：十五点三十分。3认知诊断理论概述认知诊断理论的背景与基础1Q矩阵的重要地位与1、认知诊断理论的背景与根底、认知诊断理论的背景与根底第四页，编辑于星期三：十五点三十分。41、认知诊断理论的背景与根底第四页，编辑于星期三：十五点三认知诊断理论的背景v 教育问责制(accountability in education)v问责的含义vAccount：会计、账目清算；说明、解释vAccountability vs.Responsibilityv教育问责的开展的脉络v80s欧美教育文献的高频词vNo Child Left Behind Act(2002)vEducational Accountability vs.Educative Accountability第五页，编辑于星期三：十五点三十分。5认知诊断理论的背景教育问责制(accountabilit认知诊断理论的背景v 教育问责制(accountability in education)v问责制涉及的核心问题v明确可行的教育目标和标准v相应的法律法规体系v责任共担的教育性问责取向v教育评测Assessment的作用v客观可靠的数据系统第六页，编辑于星期三：十五点三十分。6认知诊断理论的背景教育问责制(accountabilit认知诊断理论的背景v 教育问责制教育问责制(accountability in education)NoChildLeftBehindAct(2002)：强化测验在评估中：强化测验在评估中的作用；的作用；加强结果评估加强结果评估(consequential assessment)与教学之间与教学之间的联系的联系学生学生(测验分数测验分数)学校与教师学校与教师v形成性评估形成性评估(formative assessment)第七页，编辑于星期三：十五点三十分。7认知诊断理论的背景教育问责制(accountabilitK-12评估的革新教育评估应该更好地反映学生的学习，教育评估应该更好地反映学生的学习，为教学提供反响信息：为教学提供反响信息：Cronbachs(1957)：TheTwoDisciplinesofScientificPsychologyGlasers(1976)：conceptualizationofaninstructionalpsychologythatwouldadaptinstructiontostudentsindividualknowledgestates认知理论与心理计量模型的结合认知理论与心理计量模型的结合(Glaser&Silver,1994;Pellegrino,Baxter,&Glaser,1999;Pellegrino,Chudowsky,&Glaser,2001)第八页，编辑于星期三：十五点三十分。8K-12评估的革新教育评估应该更好地反映学生的学习，为教学提CTT与与IRT分数的局限分数的局限经典测验理论：1：X=T+E2：信度、效度、难度和区分度为指标传统统计分数项目反应理论：1：项目水平模型项目反应函数2：基于IRT的认知诊断模型的基础CTT和和IRT都只能将被试进展排序，无法获得更多的测验信息！都只能将被试进展排序，无法获得更多的测验信息！第九页，编辑于星期三：十五点三十分。9CTT与IRT分数的局限经典测验理论：传统统计分数项目反应理认知心理学的开展v 对被试问题解决过程的心理提醒v认知心理学v学科心理学v教育心理学v学习心理学v 认知属性(attribute)v知识点v技能v心理过程第十页，编辑于星期三：十五点三十分。10认知心理学的开展对被试问题解决过程的心理提醒第十页，编辑于认知心理学的开展(续)v 认知诊断的定义v对被试在测验所测属性或知识点(如通分、借位与约分等)上的掌握水平进展分类(掌握还是未掌握)v通过认知诊断方法或模型确定被试的不可直接观测的认知构造或知识状态，确定被试已经掌握哪些属性，哪些属性未掌握需要补救除了二分，还可除了二分，还可以是多分的情况以是多分的情况第十一页，编辑于星期三：十五点三十分。11认知心理学的开展(续)认知诊断的定义除了二分，还可以是多测验分数的实质解构测验分数的实质解构传统测验认知诊断测验单个总分每个属性都有一个分数第十二页，编辑于星期三：十五点三十分。12测验分数的实质解构传统测验认知诊断测验单个总分每个属性都有一传统测验理论传统测验理论认知诊断理论认知诊断理论20世纪80年代20世纪60年代传统测验理论认知诊断理论认知诊断理论(CDT)项目反应理论项目反应理论(IRT)概化理论概化理论(GT)经典测验理论经典测验理论(CTT)第十三页，编辑于星期三：十五点三十分。13传统测验理论认知诊断理论20世纪80年代20世纪60年代传2、Q矩阵的重要地位与规那么空间模型矩阵的重要地位与规那么空间模型第十四页，编辑于星期三：十五点三十分。142、Q矩阵的重要地位与规那么空间模型第十四页，编辑于星期三：题目属性关联矩阵Q1111111011111100111110001111000011100000110000001题目属性关联矩阵Q77 (行代表属性，列代表题目)第十五页，编辑于星期三：十五点三十分。15题目属性关联矩阵Q111111101111110011111非统计的诊断方法v教师观察：教师根据学生作业或考试表现主观判断；v出声思维：根据Q矩阵界定的属性，对学生进展出声思维考察；v费时费力，难以区分随机因素对被试作答造成的影响；v统计方法或测量方法：CTT&IRT CDT。第十六页，编辑于星期三：十五点三十分。16非统计的诊断方法教师观察：教师根据学生作业或考试表现主观判断认知诊断评估的根本过程模型选择模型选择分数报告分数报告认知分析认知分析认知属性分析：属性提取 属性层级关系界定 测验Q矩阵标识测验题目编制 认知诊断模型：模型选择 参数估计 统计收敛性 模型数据拟合检验分数报告：属性掌握概率 学习之路 学习优势剖面图第十七页，编辑于星期三：十五点三十分。17认知诊断评估的根本过程模型选择分数报告认知分析认知属性分析：常见的认知诊断模型认知诊断模型(Cognitive Diagnostic Model,CDM)线性逻辑斯蒂克测验模型(LLTM)(Fischer,1973)规那么空间模型(RSM)(Tatsuoka,1983)统一模型(UM)(DiBello,Stout,&Roussos,1995)融合模型(FM)(DiBello,Stout,&Roussos,1995)“噪音输入，确定性与门模型(NIDA)(Maris,1999)“确定性输入，噪音与门模型(DINA)(Junker&Sijstma,2001)属性层级模型(AHM)(Leighton,Gierl,&Hunka,2004)“确定性输入，噪音或门 模型(DINO)(Templin&Henson,2006)广义的DINA模型(G-DINA)(de la Torre,2021)第十八页，编辑于星期三：十五点三十分。18常见的认知诊断模型认知诊断模型(CognitiveDia认知诊断模型分类没有显式的工程特征函数(ICF)规那么空间模型(RSM)属性层级模型(AHM)严格意义上讲，RSM和AHM都不是统计模型而是分类模型有显式的ICF 潜类别模型 DINA、DINO、NIDA、G-DINA，等等 多维工程反响理论(MIRT)模型 补偿型模型：多维两参数逻辑斯蒂克模型(M2PLM)(Reckase,2021)非补偿型模型：多成分潜在特质模型(MLTM)(Whitely,1980)验证性的多验证性的多维模型有效维模型有效第十九页，编辑于星期三：十五点三十分。19认知诊断模型分类没有显式的工程特征函数(ICF)验证性的多认知诊断模型分类(续)图示认知认知诊断诊断模型模型多维IRT模型：非补偿性模型：非补偿性模型：Whitely(1980)：多成分潜在特质模型(MLTM)补偿性模型：补偿性模型：多维正态肩形模型(MNO)多维Logistic模型(Reckase&McKinley,1982,1991,1997)潜类别模型：DINA模型 统一模型(Unified Model)融合模型(Fusion Model)规则空间模型规则空间模型属性层级模型属性层级模型第二十页，编辑于星期三：十五点三十分。20认知诊断模型分类(续)图示认知诊断模型多维IRT模型：潜认知诊断模型分类(续)值得注意的几点：与CDM一样，MIRT模型也具有认知诊断功能(Embretson&Yang,2021)MIRT除了能够提供被试总的测验分数，还能提供被试在每个 维度上更为精细的领域分数(domain score)通过MIRT分析可以得到被试在每个分量表上的连续估计值用于 替代CDM提供的二分诊断结果(掌握/未掌握)丁树良等(2021)认为CDM 特别适用于形成性评估，因为它涉及的属性较少且属性粒度也较小；但对于总结性评估(如学年测验、高校招生考试)，由于涉及的属性较多，往往使用能力(能力粒度比属性粒度大)而非属性来标注Q矩阵，这时使用MIRT 进展诊断分析更为适宜。第二十一页，编辑于星期三：十五点三十分。21认知诊断模型分类(续)值得注意的几点：丁树良等(2021认知诊断模型规那么空间模型RSM的提出的提出Tatsuoka(1981,1983)对被试的错误规那么进展分析，提对被试的错误规那么进展分析，提出了一种出了一种叫做规那么空间的剖面图分析方法，成为了最初的规那么叫做规那么空间的剖面图分析方法，成为了最初的规那么空间思想的空间思想的雏形雏形从带符号的减法例子中找出从带符号的减法例子中找出47种规那么，其中种规那么，其中27种是错误规那么种是错误规那么Tatsuoka(1985)提出了提出了RSM的成型构念的成型构念第二十二页，编辑于星期三：十五点三十分。22认知诊断模型规那么空间模型RSM的提出第二十二页，编辑于星认知诊断模型规那么空间模型最初的错误规那么分析最初的错误规那么分析错误规那么1：改变括号里的符号，再按照正常的加法来完成题目错误规那么2：通过大的减去小的得到结果，然后用第一个数的符号作为结果符号错误规那么3：除简单的减法外，一律将减号变成加号处理错误规那么4：一律拿大数减去小数，然后将大数的符号作为结果符号第二十三页，编辑于星期三：十五点三十分。23认知诊断模型规那么空间模型最初的错误规那么分析错误规那么1认知诊断模型规那么空间模型认知诊断问题对应于统计模式分类问题认知诊断问题对应于统计模式分类问题将可观测的反响模式将可观测的反响模式(ORP)与不可观测的认知构造与不可观测的认知构造(CS)或或知识知识状态状态(KS)或属性掌握模式或属性掌握模式(AMP)建立联系建立联系由由KS和测验蓝图和测验蓝图Q可以确定理想反响模式可以确定理想反响模式(IRP)。如果。如果Q中中包括可达包括可达矩阵矩阵R，可保证，可保证KS与与IRP之间的一一对应之间的一一对应规那么空间模型规那么空间模型(RSM)通过维度化简技术将通过维度化简技术将m维维(m代表题目数代表题目数)IRP/ORP约简到二维的笛卡尔空间，从而建立约简到二维的笛卡尔空间，从而建立ORP与与IRP的关系的关系第二十四页，编辑于星期三：十五点三十分。24认知诊断模型规那么空间模型认知诊断问题对应于统计模式分类问认知诊断模型规那么空间模型点击添加标题3PLM匹配分类直接匹配：匹配作答模式间接匹配：匹配(,)对认知诊断问题对应于统计模式分类问题认知诊断问题对应于统计模式分类问题(续续)被试分类的根本思想被试分类的根本思想第二十五页，编辑于星期三：十五点三十分。25认知诊断模型规那么空间模型点击添加标题3PLM题目参数值被认知诊断模型规那么空间模型规那么空间模型的主要步骤规那么空间模型的主要步骤Q矩阵理论局部矩阵理论局部确定属性与题目间的关系并编制事件确定属性与题目间的关系并编制事件Q矩阵矩阵(incidenceQmatrix)界定属性间的先决关系界定属性间的先决关系(prerequisite)确定可能的属性掌握模式确定可能的属性掌握模式(AMP)计算理想反响模式计算理想反响模式(IRP)模式分类局部模式分类局部估计题目参数和被试参数估计题目参数和被试参数建立二维的规那么空间建立二维的规那么空间对实际作答模式进展分类并计算属性掌握概率对实际作答模式进展分类并计算属性掌握概率检验分类的效度检验分类的效度第二十六页，编辑于星期三：十五点三十分。26认知诊断模型规那么空间模型规那么空间模型的主要步骤第二十六认知诊断模型规那么空间模型1确定属性与题目间的关系确定属性与题目间的关系邀请学科专家、教学专家及测量学家对已编制好的测验进展邀请学科专家、教学专家及测量学家对已编制好的测验进展分析分析确定属性与题目之间的关系确定属性与题目之间的关系编制事件编制事件Q矩阵矩阵(incidenceQmatrix)假设有假设有K个属性和个属性和m个题目，可将个题目，可将Q矩阵记为矩阵记为QKm题目题目1考核属性考核属性1和和3，题目，题目2测量属性测量属性2，题目，题目5考核最后考核最后1个属性个属性认知设计矩认知设计矩阵阵第二十七页，编辑于星期三：十五点三十分。27认知诊断模型规那么空间模型1确定属性与题目间的关系认知认知诊断模型规那么空间模型2界定属性间的先决关系界定属性间的先决关系通过通过Q矩阵中行与行之间的关系比较得出属性间的先决关系矩阵中行与行之间的关系比较得出属性间的先决关系确定邻接矩阵确定邻接矩阵A：仅反映属性间的直接先决关系：仅反映属性间的直接先决关系确定可达矩阵确定可达矩阵R：反映属性间的直接先决关系、间接关系及自反：反映属性间的直接先决关系、间接关系及自反关系关系对于不断增大的正整数对于不断增大的正整数n(n是是1到到K之间的数之间的数)，当，当(A+I)n不再不再变化时，即可变化时，即可得到得到R矩阵：矩阵：R=(A+I)nTatsuoka使用的理论有：使用的理论有：图论图论(计算邻接矩阵与可达矩阵等计算邻接矩阵与可达矩阵等)集合论集合论(确定偏序关系与包含关系等确定偏序关系与包含关系等)抽象代数抽象代数(格、布尔格或布尔代数格、布尔格或布尔代数)布尔描述函数布尔描述函数(BDF)第二十八页，编辑于星期三：十五点三十分。28认知诊断模型规那么空间模型2界定属性间的先决关系第二十认知诊断模型规那么空间模型2界定属性间的先决关系界定属性间的先决关系(续续)p 给出属性先决关系，容易写出A矩阵和R矩阵某属性先决关系图与右侧属性先决关系图相对应的A矩阵与R矩阵第二十九页，编辑于星期三：十五点三十分。29认知诊断模型规那么空间模型2界定属性间的先决关系(续认知诊断模型规那么空间模型3确定可能的属性掌握模式确定可能的属性掌握模式(AMP)考察考察K个属性，最多有个属性，最多有2K-1种种AMP(不包括不掌握任何不包括不掌握任何属性的零属性的零向量向量)将每种将每种AMP看成矩阵的看成矩阵的1列，所有列，所有2K-1种种AMP构成构成Qc矩阵矩阵删除删除Qc矩阵中不符合属性先决关系的列，得到简化事件矩阵中不符合属性先决关系的列，得到简化事件Qr矩阵矩阵(reducedQmatrix)Qr可通过可通过Tatsuoka(1995)的的“删除法或丁树良等删除法或丁树良等(2021)的的“扩扩张法张法(基于基于R矩阵直接扩大矩阵直接扩大)得到得到Qr总共包括总共包括7种种AMP，虚线左侧，虚线左侧为为R矩阵内容，虚线右侧为根据矩阵内容，虚线右侧为根据R矩阵矩阵“扩张生成的新扩张生成的新AMP第三十页，编辑于星期三：十五点三十分。30认知诊断模型规那么空间模型3确定可能的属性掌握模式(认知诊断模型规那么空间模型4计算理想反响模式计算理想反响模式(IRP)“理想是指在不存在失误理想是指在不存在失误(slipping)和猜测和猜测(guessing)的情况的情况下，下，被试作答反响完全由被试作答反响完全由“被试有且只有掌握题目的所有属被试有且只有掌握题目的所有属性，才性，才能正确作答该题目的原那么确定能正确作答该题目的原那么确定确定确定IRP有有4种方法种方法符号说明符号说明qi：Qr的第的第i列，代表第列，代表第i个理想被试的个理想被试的AMPpj：Q的第的第j列，代表第列，代表第j个题目的属性向量个题目的属性向量方法方法1第三十一页，编辑于星期三：十五点三十分。31认知诊断模型规那么空间模型4计算理想反响模式(IRP认知诊断模型规那么空间模型4计算理想反响模式计算理想反响模式(IRP)(续续)确定确定IRP有有4种方法种方法方法方法2方法方法3方法方法4第三十二页，编辑于星期三：十五点三十分。32认知诊断模型规那么空间模型4计算理想反响模式(IRP认知诊断模型规那么空间模型RSM中基于中基于AMP和和Q计算计算IRPSN掌握属性掌握属性属性掌握模式属性掌握模式理想反应模式理想反应模式1none(0,0,0)(0,0,0,0)2A1(1,0,0)(0,0,0,0)3A2(0,1,0)(0,0,0,0)4A3(0,0,1)(0,1,0,0)5A1A2(1,1,0)(0,0,0,1)6A1A3(1,0,1)(1,1,0,0)7A2A3(0,1,1)(0,1,1,0)8A1A2A3(1,1,1)(1,1,1,1)i1i2i3i4A11001A20011A31110Q矩阵第三十三页，编辑于星期三：十五点三十分。33认知诊断模型规那么空间模型RSM中基于AMP和Q计算IRP认知诊断模型规那么空间模型5估计题目参数和被试参数估计题目参数和被试参数将所有将所有ORP与所有与所有IRP合并成一个大的作答矩阵合并成一个大的作答矩阵U样本量越大，反响模式越丰富，参数估计也就越准确样本量越大，反响模式越丰富，参数估计也就越准确采用参数估计软件采用参数估计软件(如如BILOG或或PARSCALE)估计估计所有题目的题目参数所有题目的题目参数所有被试的能力参数所有被试的能力参数包括包括IRP所对应的理想被试的能力值所对应的理想被试的能力值第三十四页，编辑于星期三：十五点三十分。34认知诊断模型规那么空间模型5估计题目参数和被试参数第三认知诊断模型规那么空间模型6建立二维的规那么空间建立二维的规那么空间将所有将所有IRP和和ORP都降维到二维的笛卡尔空间，再进展判都降维到二维的笛卡尔空间，再进展判别分类别分类定义能反映被试作答反响模式异常程度的指标定义能反映被试作答反响模式异常程度的指标f(X)第三十五页，编辑于星期三：十五点三十分。35认知诊断模型规那么空间模型6建立二维的规那么空间第三十认知诊断模型规那么空间模型6建立二维的规那么空间建立二维的规那么空间(续续)不失一般性，假设题目由易到难排序不失一般性，假设题目由易到难排序对于正常反响模式，被试在前对于正常反响模式，被试在前t个题上的作容许该以个题上的作容许该以1为主为主(xj前面前面的系数为正的系数为正)，在后，在后m-t个题上的作容许该以个题上的作容许该以0为主为主(xj前面的系数为前面的系数为负负)。f(X)值越小，被试作答模式越正常；反之，被试作答模值越小，被试作答模式越正常；反之，被试作答模式越异常。式越异常。第三十六页，编辑于星期三：十五点三十分。36认知诊断模型规那么空间模型6建立二维的规那么空间(续认知诊断模型规那么空间模型6建立二维的规那么空间建立二维的规那么空间(续续)f(X)只能衡量当前被试总体中被试反响模式的异常程度只能衡量当前被试总体中被试反响模式的异常程度为衡量当前被试总体以外被试的反响模式异常程度，需要对为衡量当前被试总体以外被试的反响模式异常程度，需要对f(X)进展标准化进展标准化可得到与所有IRP和ORP对应的点集第三十七页，编辑于星期三：十五点三十分。37认知诊断模型规那么空间模型6建立二维的规那么空间(续认知诊断模型规那么空间模型6建立二维的规那么空间建立二维的规那么空间(续续)规那么空间，圆卷对应IRP，十字星对应ORP第三十八页，编辑于星期三：十五点三十分。38认知诊断模型规那么空间模型6建立二维的规那么空间(续认知诊断模型规那么空间模型7分类并计算属性掌握概率分类并计算属性掌握概率每个纯规那么点对应一种认知错误类型每个纯规那么点对应一种认知错误类型(或认知构造或认知构造)采用计算马氏距离的方法，将各个真实点判归到纯规那么采用计算马氏距离的方法，将各个真实点判归到纯规那么点点为消除马氏距离带来的误判，可使用贝叶斯判别分析为消除马氏距离带来的误判，可使用贝叶斯判别分析qt为先验概率，一般为一致性分布或正态分布为先验概率，一般为一致性分布或正态分布假设假设点击添加标题第三十九页，编辑于星期三：十五点三十分。认知诊断模型规那么空间模型7分类并计算属性掌握概率点击39认知诊断模型规那么空间模型7分类并计算属性掌握概率分类并计算属性掌握概率(续续)p 为消除马氏距离带来的误判，可使用贝叶斯判别分析 假设先验分布为正态分布点击添加标题第四十页，编辑于星期三：十五点三十分。认知诊断模型规那么空间模型7分类并计算属性掌握概率(40认知诊断模型规那么空间模型8检验分类的效度检验分类的效度KS是潜在的，很难确认被试是否被正确分类是潜在的，很难确认被试是否被正确分类最直接做法：比较最直接做法：比较RSM的分类结果与学生口头报告的结果的分类结果与学生口头报告的结果缺点是本钱太高缺点是本钱太高替代方法是控制补救法替代方法是控制补救法首先诊断被试的首先诊断被试的KS，对学生没有掌握的属性或知识点进展补救，对学生没有掌握的属性或知识点进展补救教学，教学，然后进展后测然后进展后测如前测中未掌握的属性在后测中得到掌握，那么说明如前测中未掌握的属性在后测中得到掌握，那么说明RSM的分类有效的分类有效RSM假设：没有掌握的属性或知识点，如不补救不会自动掌假设：没有掌握的属性或知识点，如不补救不会自动掌握握第四十一页，编辑于星期三：十五点三十分。41认知诊断模型规那么空间模型8检验分类的效度第四十一页，认知诊断模型规那么空间模型小结：小结：RSM的奉献的奉献RSM中提出的中提出的Q矩阵已成为认知诊断理论中的核心概念矩阵已成为认知诊断理论中的核心概念RSM的图形化方法与分类的思想形象、直接、易于理解的图形化方法与分类的思想形象、直接、易于理解RSM中的中的Q矩阵可用于构建潜在特质空间矩阵可用于构建潜在特质空间之后的认知诊断模型无一例外地采用或借鉴这种做法之后的认知诊断模型无一例外地采用或借鉴这种做法DiBello、Roussos和和Stout(2007)的综述中，明确指出有十四种的综述中，明确指出有十四种认知诊断方法使用认知诊断方法使用Q矩阵，目前更多矩阵，目前更多第四十二页，编辑于星期三：十五点三十分。42认知诊断模型规那么空间模型小结：RSM的奉献第四十二页，编认知诊断模型属性层级模型AHM与与RSM的关系的关系AHM是是RSM的一种重要变式的一种重要变式AHM用于对层级相关的认知属性进展建模用于对层级相关的认知属性进展建模AHM与与RSM的相似点的相似点AHM在在“将将ORP分类到分类到IRP方面类似于方面类似于RSMAHM在生成在生成IRP的过程中也采用了的过程中也采用了Tatsuoka的矩阵，如邻接矩阵的矩阵，如邻接矩阵A、可达矩阵可达矩阵R、事件矩阵、事件矩阵Q以及简化以及简化Qr矩阵等矩阵等第四十三页，编辑于星期三：十五点三十分。43认知诊断模型属性层级模型AHM与RSM的关系第四十三页，编认知诊断模型属性层级模型AHM与与RSM的关系的关系(续续)AHM与与RSM的不同点的不同点对要求建模的认知属性所作的假设不同对要求建模的认知属性所作的假设不同AHM假设：认知属性层级相关，因此属性间相互依赖假设：认知属性层级相关，因此属性间相互依赖RSM假设：认知属性在建模时不需要存在层级关系或依假设：认知属性在建模时不需要存在层级关系或依赖关系赖关系事件时间顺序上存在差异事件时间顺序上存在差异AHM中，属性及属性层级关系必须在测验题目开发之前确定中，属性及属性层级关系必须在测验题目开发之前确定RSM中，属性一般在测验题目构建之后再进展标识中，属性一般在测验题目构建之后再进展标识对属性层级关系的敏感程度不同对属性层级关系的敏感程度不同AHM中，认知属性按层级组织，任何测验都对属性层级关中，认知属性按层级组织，任何测验都对属性层级关系敏感系敏感RSM中，通过分析已有题目标识属性，对某完整的属性层级关系中，通过分析已有题目标识属性，对某完整的属性层级关系不敏感不敏感第四十四页，编辑于星期三：十五点三十分。44认知诊断模型属性层级模型AHM与RSM的关系(续)第四十认知诊断模型属性层级模型属性层级关系的重要性属性层级关系的重要性AHM中，属性层级关系是测验表现的根底中，属性层级关系是测验表现的根底AHM中，认知属性必须按层级关系组织的两大原因中，认知属性必须按层级关系组织的两大原因认知技能不能孤立地进展操作，而属于某个相互关联的加工认知技能不能孤立地进展操作，而属于某个相互关联的加工网络网络A矩阵与矩阵与R矩阵的产生是属性层级关系的数字表现矩阵的产生是属性层级关系的数字表现属性层级关系定义解决测验问题所需属性间的心理顺序属性层级关系定义解决测验问题所需属性间的心理顺序由经历确定由经历确定(通过协议分析得到有着良好定义的、有序通过协议分析得到有着良好定义的、有序的认知步骤的认知步骤)由理论获得由理论获得(如皮亚杰的开展序列：预操作、具体操作、正式如皮亚杰的开展序列：预操作、具体操作、正式操作操作)属性层级关系可看成认知模型，它代表构造或测验表现背后属性层级关系可看成认知模型，它代表构造或测验表现背后的认的认知能力知能力第四十五页，编辑于星期三：十五点三十分。45认知诊断模型属性层级模型属性层级关系的重要性第四十五页，编认知诊断模型属性层级模型属性层级关系的重要性属性层级关系的重要性(续续)使用6个属性的4种属性层级构造(线型、收敛型、发散型、无构造型)第四十六页，编辑于星期三：十五点三十分。46认知诊断模型属性层级模型属性层级关系的重要性(续)使用66.将实际反应模式与理想反应模式将实际反应模式与理想反应模式进行比较，并将实际反应模式归类进行比较，并将实际反应模式归类1.确定属性、属性个数确定属性、属性个数以及属性层级关系以及属性层级关系5.由测验题目和属性掌由测验题目和属性掌握模式，确定期望的被握模式，确定期望的被试反应模式试反应模式4.对对Qr矩阵进行转置得到矩阵进行转置得到E矩阵矩阵2.定义定义A矩阵、矩阵、R矩矩阵、阵、Q矩阵及矩阵及Qr矩阵矩阵3.根据根据Qr矩阵编制矩阵编制测验题目测验题目AHM认知诊断模型属性层级模型AHM的主要步骤的主要步骤注：Qr矩阵的列代表符合属性层级关系的不同题目类别，E矩阵的行代表符合属性层级关系的不同属性掌握模式第四十七页，编辑于星期三：十五点三十分。476.将实际反应模式与理想反应模式1.确定属性、属性个认知诊断模型属性层级模型AHM的分类方法的分类方法(详见详见Leightonetal.(2004)方法方法A：初始分类：初始分类将某个将某个ORP与所有期望被试反响模式与所有期望被试反响模式(ERP)进展比较，对进展比较，对01和和10型的误差进展标识型的误差进展标识计算所有误差概率的乘积可得到计算所有误差概率的乘积可得到“该该ORP由某个由某个ERP得到得到的概率的概率记记Vj是第是第j个个ERP，记，记X为有着一样长度的为有着一样长度的ORPPjk()：被试在第k个题目上的期望作答是错误的、但实际作答是正确的概率(即01型的误差)，1-Pjm()：被试在第m个题目上的期望作答是正确的、但实际作答是错误的概率(即10型的误差)第四十八页，编辑于星期三：十五点三十分。48认知诊断模型属性层级模型AHM的分类方法(详见Leigh认知诊断模型属性层级模型AHM的分类方法的分类方法(续续)p 方法A：初始分类 对于特定的，有K个01型误差和M个10型误差的概率为 当PjExpected()最大时，被试的ORP被归类到与第j个ERP所对应的属性 掌握模式第四十九页，编辑于星期三：十五点三十分。49认知诊断模型属性层级模型AHM的分类方法(续)第四十九页认知诊断模型属性层级模型AHM的分类方法的分类方法(续续)方法方法A：初始分类：初始分类有有1个个01型的误差出现在题目型的误差出现在题目4上上第五十页，编辑于星期三：十五点三十分。50认知诊断模型属性层级模型AHM的分类方法(续)有1个0认知诊断模型属性层级模型AHM的分类方法的分类方法(续续)方法方法B：初始分类方法：初始分类方法(方法方法A)的修改的修改(较方法较方法A更为保守更为保守)通过通过“标识所有逻辑包含于某标识所有逻辑包含于某ORP的的ERP来对来对ORP分分类类当当ERP包含于该包含于该ORP时，标注一个时，标注一个“匹配记号匹配记号(即即“)，对应的，对应的属性掌握模式视为被被试掌握属性掌握模式视为被被试掌握当当ERP不包含于该不包含于该ORP时，仅标识时，仅标识10型的误差并计算其型的误差并计算其概率的乘积概率的乘积第五十一页，编辑于星期三：十五点三十分。51认知诊断模型属性层级模型AHM的分类方法(续)第五十一页认知诊断模型属性层级模型AHM的分类方法的分类方法(续续)方法方法B被试掌握了从第被试掌握了从第2行行(100000)到第到第14行行(100111)的属性的属性掌握模式。被试也有可能掌握第掌握模式。被试也有可能掌握第15行的属性掌握模式行的属性掌握模式(110111)，但是不太可能掌握第，但是不太可能掌握第16行所示的属性掌握行所示的属性掌握模式模式(111111)第五十二页，编辑于星期三：十五点三十分。52认知诊断模型属性层级模型AHM的分类方法(续)被试掌握了3、常见认知诊断模型介绍、常见认知诊断模型介绍第五十三页，编辑于星期三：十五点三十分。533、常见认知诊断模型介绍第五十三页，编辑于星期三：十五点三认知诊断模型DINA模型重要符号说明重要符号说明第i个被试的知识状态i=(i1,i2,iK)T 可以记为属性 1 2 3 4 5 6题目123N核心概念多种作答策略第五十四页，编辑于星期三：十五点三十分。54认知诊断模型DINA模型重要符号说明第i个被试的知识状态认知诊断模型DINA模型DINA模型简介模型简介(*)DINA模型是非常简单的、容易解释的非补偿性模型模型是非常简单的、容易解释的非补偿性模型对每个题目只需要估计两个参数对每个题目只需要估计两个参数失误参数和猜测参失误参数和猜测参数数DINA模型的失误参数和猜测参数都建模于题目水平，其模型的失误参数和猜测参数都建模于题目水平，其复杂性复杂性不受属性数量的影响不受属性数量的影响基于被试的知识状态基于被试的知识状态i和和Q矩阵可以得到一个潜在的反响向量矩阵可以得到一个潜在的反响向量的取值只有的取值只有4种情况：种情况：10=1，11=1，00=1和和01=0ij=0：被试：被试i没有掌握题目没有掌握题目j涉及的所有属性涉及的所有属性ij=1：被试：被试i除了掌握题目除了掌握题目j涉及的属性，还可能掌握其未涉及涉及的属性，还可能掌握其未涉及的属性的属性第五十五页，编辑于星期三：十五点三十分。55认知诊断模型DINA模型DINA模型简介(*)第五十五页认知诊断模型DINA模型DINA模型的题目参数模型的题目参数如果没有误差或非随机因素，被试的如果没有误差或非随机因素，被试的ORP会与某个会与某个IRP重重合合潜在的过程是随机的，过程中难免会出现潜在的过程是随机的，过程中难免会出现“失误失误(slipping)和和“猜测猜测(guessing)等噪音等噪音掌握题目所有属性的被试也可能失误，并错误作答该题目掌握题目所有属性的被试也可能失误，并错误作答该题目未掌握题目所有属性的被试也可能猜测，并以非零概率答未掌握题目所有属性的被试也可能猜测，并以非零概率答对该题对该题DINA模型中，题目模型中，题目j的失误参数的失误参数sj和猜测参数和猜测参数gj定义为定义为被试掌握题目被试掌握题目j的所有属性，但错误作答题目的所有属性，但错误作答题目j的概率的概率被试未掌握题目被试未掌握题目j的所有属性，但正确作答题目的所有属性，但正确作答题目j的概率的概率第五十六页，编辑于星期三：十五点三十分。56认知诊断模型DINA模型DINA模型的题目参数第五十六页，认知诊断模型DINA模型DINA模型的工程特征函数模型的工程特征函数也即也即如果没有猜测如果没有猜测(gj=0)或没有失误或没有失误(sj=0)，正确作答题目，正确作答题目的概率的概率就为就为0或或1猜测参数猜测参数gj还可解释为还可解释为“成功依赖其他智力源的概率成功依赖其他智力源的概率(Maris,1999)第五十七页，编辑于星期三：十五点三十分。57认知诊断模型DINA模型DINA模型的工程特征函数第五十七认知诊断模型DINA模型DINA模型的联合似然函数模型的联合似然函数(基于局部独立假设基于局部独立假设)第五十八页，编辑于星期三：十五点三十分。58认知诊断模型DINA模型DINA模型的联合似然函数(基于认知诊断模型DINA模型DINA模型的参数估计模型的参数估计(delaTorre,2021)先基于作答反响采用先基于作答反响采用MMLE/EM算法估计题目参数算法估计题目参数第五十九页，编辑于星期三：十五点三十分。59认知诊断模型DINA模型DINA模型的参数估计(del认知诊断模型DINA模型DINA模型的参数估计模型的参数估计(续续)再基于题目参数估计值及作答反响，采用贝叶斯众数估再基于题目参数估计值及作答反响，采用贝叶斯众数估计法计法(MAP)或边际后验概率估计法或边际后验概率估计法(MPP)估计被试的估计估计被试的估计状态状态MAPMPP第六十页，编辑于星期三：十五点三十分。60认知诊断模型DINA模型DINA模型的参数估计(续)第六认知诊断模型DINA模型DINA模型参数估计流程图模型参数估计流程图第六十一页，编辑于星期三：十五点三十分。61认知诊断模型DINA模型DINA模型参数估计流程图第六十一认知诊断模型DINA模型DINA模型的特点模型的特点p 每个题目将所有被试仅分为两类 第一类：掌握题目所有属性的被试 第二类：没有掌握题目所有属性的被试在DINA模型中，“只有1个属性没有掌握等价于“所有的属性都没有掌握，这时候的正确作答概率都等于gj，这种做法过于简单。第六十二页，编辑于星期三：十五点三十分。62认知诊断模型DINA模型DINA模型的特点在DINA模型中认知诊断模型NIDA模型NIDA模型简介模型简介与与DINA模型一样，也是非补偿性模型模型一样，也是非补偿性模型不同于不同于DINA模型的参数建模于题目水平，模型的参数建模于题目水平，NIDA模型的参数建模模型的参数建模于属性水平于属性水平(每个属性都有一个猜测和失误参数每个属性都有一个猜测和失误参数)第六十三页，编辑于星期三：十五点三十分。63认知诊断模型NIDA模型NIDA模型简介第六十三页，编辑于认知诊断模型NIDA模型NIDA模型工程特征函数模型工程特征函数第六十四页，编辑于星期三：十五点三十分。64认知诊断模型NIDA模型NIDA模型工程特征函数第六十四页认知诊断模型DINO模型DINO模型简介模型简介p 不同于DINA模型和NIDA模型，它属于补偿性模型p DINO模型的参数建模于题目水平第六十五页，编辑于星期三：十五点三十分。65认知诊断模型DINO模型DINO模型简介第六十五页，编辑于认知诊断模型DINO模型DINO模型工程特征函数模型工程特征函数第六十六页，编辑于星期三：十五点三十分。66认知诊断模型DINO模型DINO模型工程特征函数第六十六页认知诊断模型G-DINA模型G-DINA模型简介模型简介p G-DINA模型是DINA模型的一般化p 通过设计矩阵和矩阵的转换，G-DINA模型可以简化为其他一些 常用的模型，如DINA和DINO等p G-DINA模型可以将所有潜大类分为 个潜在组(是正确作 答题目j所需要的属性个数)p 每个潜在组表示一种简化的属性向量p 每个潜在组都有相伴随的正确作答概率第六十七页，编辑于星期三：十五点三十分。67认知诊断模型G-DINA模型G-DINA模型简介第六十七页认知诊断模型G-DINA模型G-DINA模型简介模型简介第六十八页，编辑于星期三：十五点三十分。68认知诊断模型G-DINA模型G-DINA模型简介第六十八页认知诊断模型G-DINA模型G-DINA模型的工程特征函数模型的工程特征函数对于对于identity链接方式，链接方式，G-DINA模型的正确作答概率公式模型的正确作答概率公式可以分可以分解为属性的主效应以及属性间的交互效应之和解为属性的主效应以及属性间的交互效应之和红框标识的系数一般为非负，蓝框标识的可取任意值第六十九页，编辑于星期三：十五点三十分。69认知诊断模型G-DINA模型G-DINA模型的工程特征函数认知诊断模型G-DINA模型G-DINA模型的其他链接方式及特例模型的其他链接方式及特例p 除了identity链接方式，还有log和logit链接方式p identity链接方式下的全模型等价于log和logit链接下的全模型p DINA模型和DINO模型是全模型的特例p A-CDM、RRUM和LLM分别是identity、log和logit链接方式下的 加法模型第七十页，编辑于星期三：十五点三十分。70认知诊断模型G-DINA模型G-DINA模型的其他链接方式认知诊断模型G-DINA模型G-DINA模型的其他链接方式及特例模型的其他链接方式及特例(续续)DINA可通过在可通过在G-DINA中设定中设定“除了除了和和，其他参数都，其他参数都为为0得得到，并令到，并令和和DINO可通过在可通过在G-DINA中设定中设定(其中，其中，)得到，并令得到，并令第七十一页，编辑于星期三：十五点三十分。71认知诊断模型G-DINA模型G-DINA模型的其他链接方式认知诊断模型G-DINA模型G-DINA模型的参数估计模型的参数估计也采用也采用MMLE/EM算法，但与算法，但与DINA的稍有不同的稍有不同DINA模型中是将似然函数直接对参数求偏导，令其为模型中是将似然函数直接对参数求偏导，令其为0解得解得参数值参数值G-DINA模型的参数比较多，直接对参数求偏导的方法计算量模型的参数比较多，直接对参数求偏导的方法计算量太大太太大太复杂，于是采用两阶段的方法计算复杂，于是采用两阶段的方法计算先将似然函数对概率值先将似然函数对概率值P求偏导，令其为求偏导，令其为0，求出，求出P的估计值的估计值再在所有掌握模式下用最小二乘法获得参数估计值再在所有掌握模式下用最小二乘法获得参数估计值第七十二页，编辑于星期三：十五点三十分。72认知诊断模型G-DINA模型G-DINA模型的参数估计第七认知诊断模型模型数据拟合第七十三页，编辑于星期三：十五点三十分。73认知诊断模型模型数据拟合第七十三页，编辑于星期三：十五点认知诊断模型模型数据拟合第七十四页，编辑于星期三：十五点三十分。74认知诊断模型模型数据拟合第七十四页，编辑于星期三：十五点认知诊断模型模型数据拟合第七十五页，编辑于星期三：十五点三十分。75认知诊断模型模型数据拟合第七十五页，编辑于星期三：认知诊断模型模型数据拟合第七十六页，编辑于星期三：十五点三十分。76认知诊断模型模型数据拟合第七十六页，编辑于星期三：十五点认知诊断模型模型数据拟合第七十七页，编辑于星期三：十五点三十分。77认知诊断模型模型数据拟合第七十七页，编辑于星期三：十五点认知诊断理论的研究主题认知诊断理论的研究主题认知诊断理论认知诊断理论认知诊断理论认知诊断理论完善构建完善构建模型开发模型开发模型开发模型开发拟合拟合拟合拟合CATCAT等等等等 值值值值DIFDIF第七十八页，编辑于星期三：十五点三十分。78认知诊断理论的研究主题认知诊断理论完善构建模型开发拟合CAT4、认知诊断评估的结果报告、认知诊断评估的结果报告第七十九页，编辑于星期三：十五点三十分。794、认知诊断评估的结果报告第七十九页，编辑于星期三：十五点学生编号学生编号12345学生的坐标学生的坐标(-1.048,-.602,.131)属性掌握概率属性掌握概率(.550.098.665.6050.172.605.828)KSD2属性模式属性模式工程得分模式工程得分模式坐标坐标类别概率类别概率551.070111011000000000000000000001(-1.29,.010,.091).172某被试的分析结果的例子某被试的分析结果的例子认知诊断评估的结果报告认知诊断评估的结果报告RSMRSM的例子的例子第八十页，编辑于星期三：十五点三十分。80学生编号12345认知诊断评估的Attributes A1:Separate the whole part from the fraction part when a0 or d0 A2:Get the common denominator(CD)when cf A3:Convert the fraction part before getting CD A4:Reduce the fraction part before getting CD A5:Answer to be simplified认知诊断评估的结果报告认知诊断评估的结果报告RSMRSM的学习之路的学习之路第八十一页，编辑于星期三：十五点三十分。81Attributes认知诊断评估的结果报告RSM的学习Attributes A1:Separate the whole part from the fraction part when a0 or d0 A2:Get the common denominator(CD)when cf A3:Convert the fraction part before getting CD A4:Reduce the fraction part before getting CD A5:Answer to be simplified认知诊断评估的结果报告认知诊断评估的结果报告RSMRSM的学习之路的学习之路第八十二页，编辑于星期三：十五点三十分。82Attributes认知诊断评估的结果报告RSM的学习认知诊断分析认知诊断分析分数报告举例分数报告举例注：摘自Rupp et al.(2021)第八十三页，编辑于星期三：十五点三十分。83认知诊断分析分数报告举例注：摘自Ruppetal.(美国最大自适应学习平台美国最大自适应学习平台KnewtonKnewtonLauren与William两位同学有着不同的学习路径或进阶路径第八十四页，编辑于星期三：十五点三十分。84美国最大自适应学习平台KnewtonLauren与Will美国最大自适应学习平台美国最大自适应学习平台KnewtonKnewton“A is for Adaptive-Personalized learning is poised to transform education.Can it enrich students and investors at the same time?(Time,June 17,2021)第八十五页，编辑于星期三：十五点三十分。85美国最大自适应学习平台Knewton“AisforA5、认知诊断评估对我国学业成就、认知诊断评估对我国学业成就评价的启示评价的启示第八十六页，编辑于星期三：十五点三十分。865、认知诊断评估对我国学业成就第八十六页，编辑于星期三：十五认知诊断评估对我国学业成就评价的启示v充分挖掘考试信息，表达学业评价的诊断功能v考试更重要的价值在于诊断v被试对试卷的反响中包含丰富的信息v充分挖掘这些信息对学生学习与教师有针对性的指导至关重要v认知诊断理论为我们的这种需求提供了技术支持第八十七页，编辑于星期三：十五点三十分。87认知诊断评估对我国学业成就评价的启示充分挖掘考试信息，表达学Thank You!谢谢 谢！谢！第八十八页，编辑于星期三：十五点三十分。ThankYou!谢谢！第八十八页，编辑于星期三：十88典型的认知诊断模型典型的认知诊断模型 DINA 模型：只包含失误和猜测参数 具有较高的判准率(Cheng,2008;Rupp&Templin,2007)基于心理学理论识别了正确作答测验项目必须的认知成分 对项目的测量结构有了深入理解 从多个因素来分析项目难度的思想类似于认知诊断中的Q矩阵 提高项目编写与测验开发的效果(Sheehan&Mislevy,1990)LLTMDINARSM提取第一阶段：测验的Q矩阵计算可到达矩阵R计算属性掌握模式计算理想反响模式第二阶段：参数估计与计算戒备指标计算马氏距离与贝叶斯后验概率第八十九页，编辑于星期三：十五点三十分。89典型的认知诊断模型基于心理学理论识别了正确作答测验项目必须认知诊断理论思想的雏形LLTMv模型中的能力并不是一个多维认知技能向量；模型中的能力并不是一个多维认知技能向量；v工程难度工程难度难度因子难度因子“认知过程；认知过程；v难度分解：难度分解：vQ矩阵：确定了每一个工程涉及到的认知属性；矩阵：确定了每一个工程涉及到的认知属性；vLLTM：单维：单维IRT模型模型认知诊断模型的关键一步；认知诊断模型的关键一步；第九十页，编辑于星期三：十五点三十分。90认知诊断理论思想的雏形LLTM模型中的能力并不是一个多维RSMRSM规那么空间的建立规那么空间的建立失误的随机化定义失误的随机化定义 观察反响模式与理想得分模式之间不一致观察反响模式与理想得分模式之间不一致维度问题维度问题-统计分类统计分类维度问题维度问题-解决的方法解决的方法 题目反响模式题目反响模式 规那么空间规那么空间 (1,0,1,0)(1,0,1,0)(,)(,)第九十一页，编辑于星期三：十五点三十分。91RSM规那么空间的建立失误的随机化定义第九十一页，编辑于星:RSMRSM异常反响指标的计算异常反响指标的计算第九十二页，编辑于星期三：十五点三十分。92:RSM异常反响指标的计算第九十二页，编辑于星期三：RSMRSM的的Bug distributionBug distributionq A bug distribution 是知是知识识状状态态周周围围的点簇的点簇.工程反工程反响响模式包含模式包含随随机机误误差就差就会会被映射到知被映射到知识识状状态态的周的周围围。q q 第九十三页，编辑于星期三：十五点三十分。93RSM的BugdistributionAbugdisRSMRSM对被试分类对被试分类q 如果被试的反响模式到一个KS的马氏距离最近，或后验概率最大，那么这个被试就被分配到这个组。第九十四页，编辑于星期三：十五点三十分。94RSM对被试分类如果被试的反响模式到一个KS的马氏距离最近认知诊断理论研究主题模型开发模型开发分类信效度、计分方法、分数报告分类信效度、计分方法、分数报告属性难度属性难度属性区分度属性区分度属性颗粒大小属性颗粒大小参数估计方法参数估计方法统计收敛型统计收敛型模型拟合模型拟合第九十五页，编辑于星期三：十五点三十分。95认知诊断理论研究主题模型开发分类信效度、计分方法、分数报告属谢谢第九十六页，编辑于星期三：十五点三十分。谢谢第九十六页，编辑