测试效果的测量及其有效性

有效性可靠性 测试效果的测量有效性有效性是对选择测试的一个基本要求，是评价测试效果 的一个指标。有效性(validity)是指一项测试所能测量出的 其所要测量的内容的程度，它表明一种测试在预测参加者在 未来业绩方面成功与否。即选拔过程中得分较高的应聘者其 工作表现也比测试得分较低的应试者好。如果一项测试不能 表明某人是否具有完成某项工作的能力那么它就毫无价值。 在我们测试有效性之前，要确定一些指标说明哪些反映工作 中的成功业绩，哪些只反映出应聘面试和测试中的成功表 现。有效性用效度来衡量。效度就是指一个测验在测量中要测的 行为特征所具有的准确度，也就是说这个测验的测量结果与 想要测量的内容的相关系数。它概括了两个变量间的联系， 其差异范围在0至正(负)1之间，效度最高是1。效度达 到0.5 0.6就相当不错了，而在0.3 0.4之间 也可以接受。根据问题的不同的侧重，可以把效度主要分为两类，即内容 效度和效表关联效度。（1）内容效度，又叫形式有效度。内容效度主要就是指测 量所选的项目是否符合有关的内容，就是测验在性质上与收 集方法上与事先所建立的标准是否一致。要确定一个测试方 法的内容效度是高还是低，最常用的方法就是请有关的专家 对测量的有关项目进行全面的考核，看其是否代表所要测试 的内容，这样来确定它的内容效度。（2）效表关联效度，又叫试验有效度。效表关联效度是指 测验能否达到预期要求的程度。心理测量的作用，往往是为 了预测将来的行为，如果在招聘中，某一个被试者在通过某 一项心理测试时显示他的管理才能很高，但是在以后实践中 发现他的管理能力并不高，这样我们说该心理测试的效度不 高，效表关联效度的确定是由心理测量的结果与有关人员对 被试的有关心理活动进行评价的相关的系数来决定的。测量有效性的方法可分为：1、结构有效性（construct validity）：是测量有效性的一 种方法。它是一种确定测试是否能衡量出对完成某项工作十 分重要的特性的有效性的测试方法。例如，如果工作要求高 度的配合协作(这一点在全面质量管理导向的企业中尤为重 要)，测试可能会被用来衡量求职者在小组中有效工作能力。2、内容有效性(content validity)：是测量有效性中内容 效度的一种方法。它是以一个人完成实际工作所要求的某些 任务，或完成量相关工作知识的一篇论文或笔试卷为基础的 有效性的测试方法，当采用这种形式的有效性测试时，需要 仔细的工作分析和精心准备的工作说明。采用内容有效性的 常见例子是对主要工作为打字的求职者进行打字测试。3、与标准相关的有效性(criterion-related Validity)：是测量 有效性中效表关联效度的一种方法。它是通过比较选择测试 分数与工作业绩的某些方面而确定的。业绩衡量可以包括工 作的数量和质量、工作调动和缺勤情况。测试分数与工作业 绩密切相关。表明测试是有效的。与标准相关的有效性有两种基本形式：并存有效性和预测有 效性。并存有效性是指测试分数与标准数据基本上同时获得的形 式。例如，对所有目前在职的电视人员进行一次测试，公司 记录有当前第位职员业绩的信息，如果测试能够确定出哪些 人工作较好，哪些人工作不太好，那么就可以说测试是有效 的。但是采用这种有效性的潜在问题是，工作组织内部可能 发生一些变化，工作不好的员工可能被解雇。而工作好的员工可能被提升到其他部门。预测有效性(predictive validity)是指进行测试后方获得标 准信息的形式。例如，对所有求职者进行测试，但测试结果 不用于选择决策，而是根据其他选择标准决定是否雇用。在 对员工的观察一段时间后才分析测试结果是否能将成功与 不成功的员工区分开，预测有效性被认为是一种技术上合理 的程序，但是，由于时间和成本问题，其在应用中通常不太 可行。可靠性可靠性(reliability)是评价测试效果的一个指标，它是 指一个人在同一心理测量中，几次测量结果一致性，它反映 测试所提供结果的一致程度。可靠性数据提示了测试的可信程度。如果可靠性很低，则测 验也就无有效性可言。但是可靠性存在本身并不能保证其有 效性。测试的可靠性应是测试的范围对所有测试对象保持一 致。可靠性可以分为以下几类：A再次信度。这种信度是检验时间间隔对测试分数的影 响，也就是说同一个测验对同一个被度者进行前后两次测 试，求其两次测试结果之间的相关，所得的相关系数就是再 次信度。这个时间间隔，一般在两个月以上，这样比较准确。B副本信度，又叫等值信度。就是指一种心理测试的结 果与另外副本的心理测试结果进行相关性分析得出的信度。 这种评价方法的缺点在于，副本有的时候比较难找到。C分半信度。就是说题目分成对等的两半，根据两半测验所 得的分数，计算其相关系数，评为信度指标，其意义与等值 信度一样解释。所不同的是一个心理测验里边包括两个独立 的副本，这样，一次测验以后就可以找到测试信度。测量可靠性的方法有：1、标准形式方法(equivalent forms method)是测量可靠性 中副本信度的一种方法。它是通过对类似但不完全相同的测 试结果做相关分析来检验可靠性。这种方法克服了测试再 测试方法遇到的一些问题，但是一个测试采用两种形式进行 的成本也较高。为了克服这上缺点，可采用均分方法。2、测试-再测试方法(test-retest method )是测量可靠性 中再次信度的一种方法。它是通过对同一组人进行两次测 试，并对两组测试得分做相关分析，以确定选择测试可靠性 的一种方法。两个分值完全正相关时的系数是1.0。可靠性 系数接近该值，表明测试结果越一致，测试就越可靠。3、均分方法(split-halves method)是测量可靠性中分半信 度的一种方法。它是通过将一个测试的结果分成两部分，再 对两部分的结果做相关分析，进行一次测试最大的优点是成 本低，并且没有机会学习或回忆，而学习或回忆会使第二次 测试的分数不真实。测验的可靠性体现在两个方面：(1) 测验本身的一贯性，即如果发生误差，乃是由于应试者表现上的不稳定，而不是由于测验本身性质的差异造成的。(2) 一次测验与多次测验的结果大致相同，具有稳定的预 测。可靠性是由信度来衡量的。其差异范围在 0至正(负) 1之 间。心理测试的信度最高可以达到1。心理测试的信度达到 1是一种理想的状态，在实际中是办不到的。一般的智力测 验的信度系数在09以上，就可以认为该测验信度相当好。 一般信度在80%以上就令人相当满意，如果低于80%，在没 有更好的测验时也可以作为参考，但对于测验所得的分数不 宜寄予过高的信赖。影响信度的因素：信度的准确与否与误差，特别是随机误差的关系十分密切， 这种误差是各种各样的。比如，被试者的身心健康，参加测 试的动机、态度，主试的专业水平，空气的温度，测试场地 的环境，指导语的差异，题意的明确与否，项目的多少等等， 那会影响到测试的信度。因此，为了使心理测试获得有意义 的信度，必须严格控制可能影响测试结果的各种主观变量。可靠性与有效性的关系：一般来讲，测验必须先具有相当的可靠性，然后才可以预测 有效性，但是可靠性高的测验并不一定保证高的有效性，因 为可靠性表示测验本身可靠的程度，而有效性则涉及到测验 所测量的内容是否与工作的决定因素发生关联的问题，如果 测验的目标侧重个人职业的指导以分析其性格和能力时，则 测验的有效性越高，其指导正确的可能性越大，故应特别重 视有效性，有效性越高越好。如果测验目标是为了考选大批 新进人员，为了达到考选的目的，通过具有一定有效性的测 验而录取的人员比未经测验而录用的人员的实际绩效好，那 么人力资源管理人员在即使测验有效性不高的情况下也可 以使用，因为这毕竟比漫无目标的情况好。测试效果的测量测试的效果是指测试是否尽可能地选择了符合要求的人，和 尽可能地排除了不符合要求的人。如何测量测试效果呢？有 下面几个要素标准：(1)标准化。标准化(standardization)是指与实施测试有 关的过程和条件的一致性。为了能根据同样的测试来比较若 干求职者的表现，所有人都必须在尽可能相似的条件下接受 测试。例如，提供的内容说明和允许的时间必须相同，测试 环境也必须相似。如果一个人在一间喧闹的房间内接受测 试，另一人在安静的环境中接受测试，测试结果很可能有差 别。尽管测试的设计者对测试实施过程有详细的说明，但确 保测试条件标准化是测试实施者的职责。(2) 客观性。当给测试者评分的每个人所得结论相同时， 测试就具客观性( objectivity )。多项选择和判断对错的测试 是客观的。这种测试的评分是高度机械化的过程，即利用机 器评分。(3) 规范。规范(norm)为将一个求职者的表现与其他求 职者相比较提供了一种参考框架。尤其是，一种规范反映了 类似于受测试者的许多人的分数分布状态，这些分数将根据 正态概率曲线分布。标准差表明数据的离散程度。一个规范化的测试，将有大约6 8.3%的分数落在土1个 标准差的范围内。该范围内的每个分值都被认为是平均值。 落在2个标准差之外的分值，根据采用的准则，可能是非 常不成功的或非常成功的。(4) 可靠性。详见“可靠性”。(5) 有效性。详见“有效性”。(6) 常模。常模就是指心理测量中的比较标准。也就是说在心理测 量中常用的标准化样本的分数。常模使得每一个分数可以比 较。如果没有常模，心理测量的结果就会变得毫无意义。心 理测量中最常用的常模是年龄常模，即根据某一个年龄组被 试者所得出的平均数。