从量化角度谈质量监控

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,闵行交流,*,从量化角度浅析质量控制,主讲：王鼎,11/20/2024,1,闵行交流,感怀,只要涉及到,人,人的事都是,复,复杂的，包,括,括教育质量,控,控制，我们,的,的目的只是,希,希望将复杂,问,问题简单化,，,，但不一定,解,解决所有问,题,题.,这是一块必,须,须用心去体,会,会的领域，,在,在这里我们,似,似乎在了解,他,他人，但问,题,题解决的结,果,果往往仅仅,进,进一步了解,了,了自己。当,我,我们常常认,为,为回答了某,个,个问题的时,候,候，我们却,常,常常被更多,的,的问题所困,。,。,相关技术只,有,有通过实践,才,才能体现其,价,价值，否则,与,与垃圾无异,。,。,我思故我在,，,，每个学校,，,，每个地区,都,都有其发展,的,的特殊性，,必,必须结合相,应,应发展规律,，,，作到个性,与,与共性的有,效,效结合，平,衡,衡好“破”,与,与“立”的,关,关系。,3/8/2023,2,闵行交流,内容结构,当前面临的,问,问题,量化手段及,相,相关技术指,标,标,量化数据结,果,果为诊断提,供,供必要依据,在教学管理,中,中，有待进,一,一步思考的,问,问题,3/8/2023,3,闵行交,流,流,当前面,临,临的问,题,题：宏,观,观层面,问责,学生学,习,习的改,善,善,3/8/2023,4,闵行交流,当前面临的问,题,题：微观层面,如何获取、利,用,用相关学生信,息,息，有效为诊,断,断、决策所用,？,？,涉及相关测验,的,的合理使用,如何保证学科,教,教研组长所提,供,供的信息具有,较,较大的可靠性,及,及有效性？,涉及数据的可,靠,靠性及评价的,有,有效性,如何保证教育,目,目标实施的连,贯,贯性及稳定性,涉及控制与反,馈,馈技术的使用,3/8/2023,5,闵行交流,量化手段及技,术,术指标,量化相关内容,：,：,测量、评价、,测,测验、考试的,区,区别与联系,评价的一般常,识,识,测量模型使用,命题的技术控,制,制,技术指标：信,度,度、效度、区,分,分度、难度,（注意不同考,试,试类别，所用,公,公式不同）,3/8/2023,6,闵,行,行,交,交,流,流,教,育,育,测,测,量,量,与,与,评,评,价,价,的,的,基,基,本,本,问,问,题,题,测,量,量,的,的,基,基,本,本,含,含,义,义,测,量,量,的,的,过,过,程,程,是,是,赋,赋,值,值,的,的,过,过,程,程,测,量,量,往,往,往,往,包,包,含,含,在,在,某,某,评,评,价,价,或,或,评,评,定,定,中,中,，,，,更,更,多,多,的,的,被,被,看,看,成,成,一,一,种,种,基,基,本,本,的,的,研,研,究,究,手,手,段,段,人,的,的,心,心,智,智,的,的,复,复,杂,杂,性,性,，,，,决,决,定,定,了,了,测,测,量,量,对,对,象,象,相,相,关,关,因,因,素,素,之,之,间,间,是,是,不,不,明,明,确,确,的,的,，,，,大,大,量,量,的,的,概,概,率,率,模,模,型,型,被,被,广,广,泛,泛,的,的,使,使,用,用,评,价,价,的,的,基,基,本,本,含,含,义,义,评,价,价,是,是,价,价,值,值,分,分,析,析,、,、,衡,衡,量,量,和,和,判,判,断,断,的,的,过,过,程,程,测,量,量,不,不,能,能,代,代,替,替,评,评,价,价,，,，,测,测,量,量,是,是,一,一,个,个,量,量,化,化,过,过,程,程,，,，,评,评,价,价,是,是,一,一,个,个,定,定,性,性,过,过,程,程,在,数,数,学,学,教,教,育,育,中,中,，,，,评,评,价,价,目,目,标,标,往,往,往,往,是,是,：,：,数,学,学,事,事,实,实,，,，,包,包,括,括,定,定,义,义,、,、,定,定,义,义,、,、,公,公,式,式,，,，,某,某,些,些,特,特,殊,殊,的,的,证,证,明,明,等,等,获,得,得,数,数,学,学,结,结,果,果,的,的,标,标,准,准,方,方,法,法,与,与,技,技,能,能,标,准,准,的,的,应,应,用,用,，,，,即,即,典,典,型,型,的,的,非,非,数,数,学,学,情,情,境,境,，,，,通,通,过,过,明,明,确,确,的,的,数,数,学,学,手,手,段,段,完,完,美,美,处,处,理,理,3/8/2023,7,闵,行,行,交,交,流,流,教,育,育,评,评,价,价,相,相,关,关,概,概,念,念,分,分,析,析,教,育,育,测,测,量,量,与,与,教,教,育,育,评,评,价,价,教,育,育,评,评,价,价,是,是,教,教,育,育,测,测,量,量,的,的,一,一,种,种,延,延,续,续,测,验,验,与,与,考,考,试,试,测,验,验,是,是,对,对,行,行,为,为,样,样,本,本,的,的,客,客,观,观,的,的,和,和,标,标,准,准,化,化,的,的,测,测,量,量,考,试,试,一,一,般,般,指,指,在,在,比,比,较,较,正,正,式,式,场,场,合,合,下,下,的,的,测,测,验,验,，,，,目,目,的,的,性,性,比,比,较,较,强,强,3/8/2023,8,闵行交流,评价,测量,测验,3/8/2023,9,闵行交流,教育评价的过程,的,的四个步骤：,确定教育目标；,设计评价情境，,这,这必须依据预先,规,规定的教育目标,中,中期望学生变化,的,的那种行为来设,计,计的；,选择和编制评价,的,的工具，要求这,些,些工具能引发教,育,育目标所期望的,那,那种行为；,分析评价结果，,即,即依据既定的教,育,育目标来分析评,价,价学生所达到的,程,程度,3/8/2023,10,闵行交,流,流,教育评,价,价的发,展,展趋势,教育测,量,量的重,心,心发生,变,变化,现代认,知,知理论,的,的发展,，,，更加,关,关注学,生,生在认,知,知过程,中,中的内,部,部信息,处,处理机,制,制。,不仅仅,局,局限于,对,对学生,未,未来成,功,功与否,的,的预测,，,，更关,注,注对学,习,习目前,学,学习状,况,况及学,科,科能力,的,的诊断,。,。,教育测,量,量的理,论,论有进,一,一步发,展,展,不仅仅,满,满足与,在,在试题,层,层次上,对,对学生,的,的反应,进,进行量,化,化，同,时,时对学,生,生在信,息,息加工,成,成分层,次,次、加,工,工过程,步,步骤层,次,次上，,将,将心理,理,理论、,统,统计模,型,型、认,知,知模型,整,整合了,起,起来,计算机,技,技术的,发,发展提,高,高了测,验,验的效,率,率,提升的,测,测量与,评,评价的,数,数据采,集,集精度,，,，提升,了,了评价,的,的可监,控,控性和,有,有效性,教育测,量,量、评,价,价的社,会,会化功,能,能逐步,增,增强,如何保,证,证公平,公,公正不,仅,仅仅是,相,相关教,育,育测量,学,学界关,心,心的问,题,题，同,时,时社会,更,更加关,注,注，特,别,别是对,于,于高风,险,险的评,价,价。,3/8/2023,11,闵行,交,交流,评价,的,的参,照,照系,：,：,回答,使,使用,什,什么,参,参照,来,来解,释,释所,得,得相,关,关信,息,息,常模,参,参照,：,：,确定,学,学生,在,在群,体,体中,的,的相,对,对位,置,置,类似,高,高考,、,、初,三,三、,高,高三,模,模拟,考,考试,标准,参,参照,：,：,说明,学,学生,在,在多,大,大程,度,度上,达,达到,了,了所,要,要求,的,的学,科,科标,准,准,学校,内,内部,阶,阶段,性,性考,试,试,增长,参,参照,：,：,解释,并,并确,认,认学,习,习的,作,作用,以,以及,学,学习,的,的增,长,长也,促,促进,情,情况,教师,和,和家,长,长很,看,看中,学,学生,在,在学,习,习中,的,的进,步,步，,但,但很,少,少将,其,其作,为,为评,分,分的,基,基础,，,，一,些,些专,家,家认,为,为其,可,可以,作,作为,常,常模,参,参照,和,和标,准,准参,照,照的,解,解释,的,的补,充,充,3/8/2023,12,闵行交流,经典测量理论与,项,项目反应理论浅,析,析,经典理论浅析,项目反应理论（IRT）浅析,注意：1、两套,理,理论及模型的使,用,用假设,2、各自的优点,和,和不足,3、关注多维项,目,目反应理论在测,量,量上的广泛使用,和,和开发研究,3/8/2023,13,闵行交流,经典测量理论的,假,假设,3/8/2023,14,闵行交流,经典测量模型的,特,特点与优点,理论假设是要求,不,不高，是弱假设,。,。从经验的判断,，,，有较强的可接,受,受性。,这套理论经过近,六,六十多年的发展,和,和实践，形成里,较,较为完善的测验,理,理论及对试题和,试,试卷进行统计分,析,析方法，方法简,单,单，直观，易掌,握,握。,在我国教育工作,者,者应用中有一定,的,的普遍性。,3/8/2023,15,闵行交流,经典测量理论,的,的局限性,抽样变动大,能力难比较,复本难实施,缺乏预测力,3/8/2023,16,闵行交流,IRT,的,的,特,特,点,点,基,本,本,思,思,想,想,：,：,潜,潜,在,在,特,特,质,质,基,本,本,思,思,路,路,确,定,定,被,被,试,试,的,的,心,心,理,理,特,特,质,质,值,值,和,和,他,他,们,们,对,对,于,于,项,项,目,目,的,的,反,反,应,应,之,之,间,间,的,的,关,关,系,系,，,，,这,这,种,种,关,关,系,系,的,的,数,数,学,学,形,形,式,式,就,就,是,是,“,“,项,项,目,目,反,反,应,应,模,模,型,型,”,”,。,。IRT,的,的,核,核,心,心,就,就,是,是,数,数,学,学,模,模,型,型,的,的,建,建,立,立,以,以,及,及,对,对,模,模,型,型,中,中,各,各,个,个,参,参,数,数,的,的,估,估,计,计,。,。,3/8/2023,17,闵,行,行,交,交,流,流,IRT,的,的,基,基,本,本,假,假,设,设,潜,在,在,特,特,质,质,空,空,间,间,的,的,单,单,维,维,性,性,假,假,设,设,大,多,多,数,数,项,项,目,目,反,反,应,应,模,模,型,型,都,都,假,假,设,设,完,完,全,全,潜,潜,在,在,空,空,间,间,是,是,单,单,维,维,的,的,。,。,局,部,部,独,独,立,立,性,性,假,假,设,设,被,试,试,对,对,一,一,个,个,测,测,验,验,项,项,目,目,的,的,反,反,应,应,不,不,受,受,他,他,们,们,对,对,其,其,他,他,测,测,验,验,项,项,目,目,反,反,应,应,情,情,况,况,的,的,影,影,响,响,。,。,项,目,目,特,特,征,征,曲,曲,线,线,假,假,设,设,（,（ICC,）,）,反,映,映,了,了,被,被,试,试,对,对,某,某,一,一,测,测,验,验,项,项,目,目,的,的,正,正,确,确,反,反,应,应,概,概,率,率,与,与,该,该,项,项,目,目,所,所,对,对,应,应,的,的,能,能,力,力,或,或,特,特,质,质,水,水,平,平,之,之,间,间,的,的,函,函,数,数,关,关,系,系,。,。,3/8/2023,18,闵行交流,3/8/2023,19,闵行,交,交流,项目,反,反应,模,模型,二级,评,评分IRT模,型,型,例：,逻,逻辑,斯,斯蒂,模,模型,单参,数,数模,型,型（,拉,拉希,模,模型,）,）；,双,双参,数,数模,型,型和,三,三参,数,数模,型,型。,多级,评,评分IRT模,型,型,连续,型,型IRT,模,模型,3/8/2023,20,闵行,交,交流,项目,反,反应,理,理论,的,的优,点,点及,运,运用,能力,参,参数,估,估计,的,的不,变,变性,。,