素质测评的质量分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,第11讲 素质测评的质量分析,Hr-pku,本讲内,容,容,效度的,概,概念及,其,其分析,方,方法,信度的,概,概念及,其,其分析,方,方法,区分度,的,的概念,及,及其分,析,析方法,选题质,量,量分析,及,及其分,析,析方法,效度,效度的,概,概念,效度是,指,指测评,结,结果对,所,所测评,素,素质反,映,映的真,实,实程度,。,。对这,种,种真实,性,性的考,评,评，常,见,见的方,法,法有三,种,种：,从内容,性,性质方,面,面分析,其,其内容,效,效度,从效标,相,相关性,方,方面分,析,析其关,联,联效度,从实证,方,方面分,析,析其结,构,构效度,内容效,度,度,是指实,际,际测评,到,到的内,容,容与期,望,望测评,的,的内容,的,的一致,性,性程度,。,。当实,际,际测评,到,到的内,容,容与我,们,们事先,所,所想测,评,评到的,内,内容越,一,一致时,，,，则说,明,明测评,结,结果的,内,内容效,度,度越高,，,，测评,结,结果就,越,越有效,。,。,内容效,度,度在实,际,际操作,中,中的鉴,定,定主要,采,采用定,性,性分析,的,的方法,有蓝图,对,对照分,析,析法与,专,专家比,较,较判断,法,法。,结构效,度,度,结构效,度,度又称,作,作构想,效,效度、,构,构思效,度,度、构,念,念效度,、,、构建,效,效度等,。,。结构,效,效度是,指,指实际,所,所测评,的,的结果,与,与想测,评,评素质,的,的同构,程,程度。,它,它表明,了,了在多,大,大程度,上,上，实,际,际测评,结,结果能,够,够被看,作,作是索,要,要测评,的,的素质,在,在结构,上,上的替,代,代物。,在素质,测,测评中,，,，它是,人,人们最,关,关心的,一,一种效,度,度。这,是,是由素,质,质测评,的,的间接,性,性所决,定,定的。,人,人们总,是,是通过,选,选取一,些,些具体,的,的行为,测,测评来,判,判断实,际,际的素,质,质水平,。,。,结构效,度,度与检,验,验效度,的,的人对,素,素质结,构,构的理,解,解有直,接,接关系,。,。如果,李,李某认,为,为忠诚,这,这一素,质,质即对,本,本企业,的,的忠诚,，,，张某,认,认为忠,诚,诚这一,素,素质表,现,现为实,事,事求是,的,的态度,，,，那么,对,对于向,其,其他企,业,业说明,本,本企业,产,产品所,存,存在的,问,问题这,一,一行为,，,，显然,李,李某与,张,张某会,把,把它归,类,类到不,同,同的素,质,质成分,中,中给与,不,不同的,素,素质成,分,分中并,给,给与不,同,同的评,价,价。因,此,此结构,效,效度的,检,检验分,析,析也是,一,一种定,性,性的主,观,观判断,。,。在分,析,析考评,过,过程中,，,，要采,取,取有力,措,措施把,主,主观影,响,响控制,在,在最低,点,点上。,结构效,度,度,结构效,度,度的分,析,析可按,一,一下几,步,步进行,：,：,1.给所要,测,测评的,素,素质的,结,结构模,式,式下一,个,个操作,化,化的定,义,义,“我们,所,所要测,评,评的素,质,质是对xx的态度,、,、有关xx的品质,、,、有关xx的技能,。,。”像,这,这样一,些,些表述,所,所测评,素,素质的,具,具体形,象,象是什,么,么，结,构,构是什,么,么，我,们,们并不,清,清楚，,它,它仍然,是,是从具,体,体行为,概,概括出,某,某种意,识,识或观,念,念，因,此,此对结,构,构效度,的,的分析,没,没有多,大,大意义,。,。这里,的,的构建,不,不是从,行,行为向,观,观念构,建,建，而,是,是相反,，,，由观,念,念向具,体,体行为,的,的构建,。,。不是,简,简单还,原,原，而,是,是在更,高,高的水,平,平上抓,住,住所测,素,素质的,本,本质特,征,征，确,定,定一个,可,可感觉,可,可操作,的,的结构,模,模式，,由,由这种,具,具体的,结,结构模,式,式作为,抽,抽象观,念,念建构,的,的替代,物,物。这,种,种替代,物,物的成,分,分显然,应,应该是,我,我们世,纪,纪能够,看,看到的,、,、听到,的,的、感,觉,觉到的,东,东西。,例,例如：,外,外显行,为,为、客,观,观性生,理,理反应,等,等。素,质,质测评,的,的目标,体,体系实,际,际上就,是,是所测,素,素质的,一,一个行,为,为构建,模,模型，,这,这种结,构,构模型,分,分别由,项,项目、,指,指标、,权,权重、,标,标度等,组,组成。,这,这种模,型,型的建,构,构，在,很,很大程,度,度上取,决,决于所,测,测素质,本,本身的,特,特征及,其,其抽象,程,程度等,组,组成。,要定义,或,或建构,一,一个素,质,质的结,构,构模型,，,，可以,从,从以下,几,几方面,着,着手：,首先，,采,采取工,作,作分析,方,方法，,对,对所想,测,测评的,素,素质进,行,行结构,分,分析与,行,行为分,析,析，确,定,定各种,素,素质结,构,构及其,代,代表的,行,行为。,其次，,用,用图表,的,的形式,逐,逐一列,出,出工作,分,分析得,到,到的素,质,质因素,及,及其特,征,征行为,。,。除此,之,之外，,还,还可以,通,通过查,找,找历史,上,上或现,在,在人们,对,对所测,评,评素质,的,的模型,的,的现成,资,资料，,丰,丰富已,有,有分析,的,的结果,。,。,再次，,还,还要另,外,外准备,一,一份与,已,已经建,构,构的模,型,型可能,混,混淆的,但,但关系,密,密切的,其,其他模,型,型图表,。,。要反,问,问自己,并,并向人,说,说明为,什,什么所,测,测素质,是,是你所,定,定义的,结,结构模,型,型而不,是,是其他,别,别的结,构,构模型,。,。,2.收集事,实,实资料,，,，评判,结,结构效,度,度，具,体,体方法,有,有：,排除法,如果测,评,评结果,能,能明确,的,的排除,它,它所对,应,应素质,结,结构模,型,型的其,他,他解释,，,，那就,表,表明所,获,获得的,测,测评结,果,果具有,较,较好的,结,结构效,度,度。,咨询法,可以请,一,一些有,经,经验的,专,专家就,你,你所获,得,得的测,评,评结果,、,、所对,应,应的素,质,质结构,进,进行判,断,断或推,断,断，问,他,他们该,测,测评结,果,果实际,测,测评的,素,素质是,什,什么。,如,如果大,家,家的回,答,答与你,所,所想测,评,评的素,质,质结构,几,几乎一,致,致，那,么,么说明,你,你的测,评,评有较,好,好的结,构,构效度,。,。,相关法,找一个,具,具有较,高,高结构,效,效度的,测,测评工,具,具或结,果,果，与,你,你所获,得,得的测,评,评结果,进,进行相,关,关性分,析,析，如,果,果相关,性,性很高,，,，说明,你,你的测,评,评结果,具,具有较,高,高的结,构,构效度,。,。,例如：,某,某一个,具,具有“,自,自尊”,结,结构效,度,度的测,评,评量表,，,，它的,测,测评结,果,果就应,该,该与自,信,信、社,交,交能力,及,及领导,作,作用等,测,测评量,表,表的测,评,评结果,成,成正比,，,，而与,诸,诸如内,向,向性、,自,自卑、,孤,孤独等,测,测评量,表,表测评,的,的结果,成,成反比,。,。,逻辑分,析,析法,当大家,对,对所测,素,素质的,结,结构模,型,型具有,比,比较一,致,致的认,识,识时，,只,只要能,判,判定测,评,评内容,（,（工具,）,）选择,正,正确，,且,且整个,测,测评过,程,程除了,一,一切外,来,来干扰,因,因素，,就,就可以,说,说测评,结,结果具,有,有较好,的,的结构,效,效度。,例如：,测,测评时,间,间足以,保,保证被,测,测评者,完,完成所,有,有的工,作,作，被,测,测评者,没,没有受,到,到催促,因,因素的,影,影响；,测,测评工,具,具的指,导,导十分,明,明确，,被,被测操,作,作准确,。,。,多元分,析,析,多元分,析,析就是,采,采取聚,类,类分析,与,与主成,分,分分析,等,等数学,手,手段，,对,对测评,结,结果进,行,行分析,，,，看分,析,析的结,果,果。,例如：,所,所找出,的,的主要,因,因素与,分,分类结,果,果与所,想,想测评,素,素质的,结,结构是,否,否一致,，,，如果,一,一致，,则,则说明,所,所获得,的,的测评,记,记过具,有,有较好,的,的结构,效,效度。,关联效,度,度,又称实,证,证效度,、,、效标,效,效度、,效,效标关,联,联效度,，,，是指,测,测评结,果,果与效,标,标的一,致,致性程,度,度。效,标,标是一,种,种用来,衡,衡测评,有,有效性,的,的外在,参,参照标,准,准,它可以,是,是一种,测,测评的,结,结果,也可以,是,是标准,测,测评分,数,数。根,据,据效标,是,是否可,以,以同时,获,获得,可将关,联,联效度,分,分为同,时,时效度,与,与预测,效,效度。,作,作为效,标,标的结,果,果与预,测,测结果,同,同时获,得,得,这种效,度,度称之,为,为同时,效,效度。,当,当作为,效,效标的,结,结果是,后,后来测,评,评中获,得,得,这种效,度,度称为,预,预测效,度,度。它,反,反映了,现,现在的,测,测评结,果,果对未,来,来素质,发,发展的,预,预测程,度,度。,例如：,两,两个人,同,同时采,用,用观察,评,评定与,问,问卷测,验,验测评,同,同一个,人,人的工,作,作态度,，,，两个,测,测评结,果,果相关,系,系数很,高,高，例,如,如0.80，那么,以,以后在,类,类似的,情,情况下,，,，可以,用,用问卷,测,测验代,替,替花时,太,太多的,行,行为观,察,察法。,关联效,度,度,例如想,检,检测一,下,下自编,品,品德测,评,评的效,度,度，决,定,定采用,效,效标关,联,联中的,同,同时效,度,度分析,方,方法，,故,故让被,测,测者同,时,时接受,自,自编品,德,德测验,与,与卡特,尔,尔16,因,因素问,卷,卷测验,。,。,关联效,标,标的分,析,析关键,在,在于效,标,标的选,择,择。效,标,标作为,衡,衡量测,评,评结果,有,有效性,的,的参照,标,标准，,应,应该是,可,可以测,评,评到且,独,独立于,所,所分析,的,的测评,结,结果的,行,行为结,果,果。效,标,标可以,分,分为行,为,为效标,与,与观念,效,效标。,行为效,标,标的选,择,择以客,观,观性为,依,依据。,常,常见的,行,行为效,标,标有以,下,下几种,：,：,学术成,就,就,特殊训,练,练成绩,实际工,作,作表现,与,与成绩,团体特,征,征,等级评,定,定结果,先前被,证,证明是,有,有效的,测,测评结,果,果,效度分,析,析中的,几,几个理,论,论问题,关于效,度,度概念,的,的研究,1921年美国,教,教育研,究,究指导,协,协会提,出,出,效度是,“,“测验,在,在多大,程,程度上,测,测到所,要,要测的,东,东西”,。,。同时,被,被提出,的,的还有,“,“预测,效,效度”,和,和“共,时,时效度,”,”,后来被,统,统称为,“,“效标,效,效度”,。,。,19世纪30年代,人们将,更,更多的,注,注意力,放,放在测,验,验对于,具,具体目,标,标课程,的,的代表,性,性高低,上,上。于,是,是引入,“,“课程,效,效度”,后更名,为,为“内,容,容效度,”,”。,1954年美国,心,心理学,会,会出版,了,了关于心,里,里测验,和,和诊断,的,的技术,建,建议书，明确,列,列举了,四,四种类,型,型的效,度,度：预,测,测效度,、,、同时,效,效度、,构,构想效,度,度、内,容,容效度,。,。美国,心,心理学,会,会、美,国,国教育,研,研究学,会,会和国,家,家教育,测,测量委,