第八章 人事测量的关键技术:效度
测量的效度就是指测量的有效性,即能测量到所要测量的目标的程度。效度的作用比信度更为重要。如果一个测验效度很低,无论它的信度有多高,这项测验都没有应用价值。
一、人事测量的有效性
1、效度的理论定义。从测量理论角度讲,效度可以定义为:与测量目标有关的真实分数方差与总分方差的比率。
2、信度和效度的关系。信度和效度的差别在于所考虑的误差不同。
(1)信度考虑的是随机误差的影响;效度的误差则还包括对测验目的来说无关的变量所引起的系统误差。
(2)信度高并不保证效度就一定高;但效度高的话,信度必然要高。可以这样说,信度是效度的必要条件。
3、效度的性质。实际上效度指的是“测量结果的效度”,是指测量结果的准确性程度,而并不是指测验本身。另外应注意的一个问题是:效度是连续性的,效度高低只是程度上的差别,它不是“全有”或“全无”的变量。我们应避免评价某一测验的结果为“有效”或“无效”,而应区分为效度较高或较低。
二、如何评估人事测量的效度
根据评估效度方法的不同,效度可以分为内容效度、构想效度和效标关联效度这三类。
(一)内容效度
1、内容效度是检查测验内容是否是所欲测量的行为领域的代表性取样的指标。例如,成就测验往往采用内容效度的评估方法。
内容效度分析时要注意两方面的问题:
(1)应避免将测验取样的行为领域过于泛化。
(2)要注意测验分数中无关因素的影响。
2、较好的内容效试依赖于两个条件:
(1)测验内容范围明确;
(2)测验洞察的取样有代表性。
确定内容效度的方法通常是由专家根据测验题目和假设的内容范围作系统的比较判断。
3、内容效度的应用。内容效度最适合于评估教育和职业成就测验。也适合于某些用于选拔和分类的人事测验。
(二)效标关联效度
效标关联效度也称效标效度,反映的是测验分数与外在标准的相关程度,即测验分数对个体的效标行为表现进行预测的有效性程度。
1、预测效度和同时效度
(1)预测效度的效标资料往往是测量结束后隔一段时间才获得它反映的是由测验分数对任一段时间间隔后被试行为表现的预测程度。
(2)同时效度的效标材料可以和测验分数差不多同时搜集。
(3)同时效度和预测效度的差异的根源不是收集效标的时间,而是在于测验目的地的不同。前者多用于诊断现在的状态,后者多预测未来的结果。
2、效标和效标测量
(1)效标是衡量测验有效性的参照标准,是一种可以直接、独立测量的行为。
(2)要测量效标,就必须把效标行为转化为某种可以操作的测量指标,以便进行了比较。这种可操作的测量指标就称为效标测量。效标的概念可以细分为观念效标,(即效标的实质的概念内容)和效标测量(即效标的具体度量方法。)。
(3)效标污染是指由于评定者知道测验分数而影响个人的效标成绩的情形。
3、常用的效标有以下几种:
(1)学术成就。
(2)特殊训练成绩
(3)实际工作表现
(4)团体对照
(5)等级评定。评定可逡为任何测验的效标,尤其适合人格测验。
(6)先前有效的测验。
(三)构想效度
构想效度是指测验能够测量到理论上的构想或特质的程度。
1、确定构想效度的步骤。要确定一个测验的构想效度,包括三个基本步骤:
(1)建立理论框架,以解释被试在测验上的表现;
(2)依据理论框架,推演出各种有关测验成绩的假设;
(3)以逻辑和实证的方法来难假设,根据这些累积材料决定这种理论是否能恰当地解释现有材料,如果不能作出恰当解释,则应该修正上述假设,直到能作了恰当的解释为止。
2、常见的确定构想效度的指标
确定构想效度的一般方法可以分为:
(1)测验内部的方法,如测验内容效度、内部一致性等指标;
(2)测验间的方法,如相容效度、因素分析、会聚效度和区分效度等指标;
(3)效标效度的研究,如发展变化等指标;
(4)实验和观察方法,检验是否有构想效度。
常用的指标有:
(1)发展变化。
(2)与其他测验的相关。
(3)因素分析。因素分析是分析行为资料内部关系、结构特性的一种统计技术,比较适合于对构想效度的研究。
(4)内部一致性。
用来考验内部一致性的方法主要有三种:
1)考察总分数较高和较低两类人在各题目上通过率的大小。
2)计算题目与总分的相关,如未达显著水准,应予以淘汰。
3)求分测验与总分的相关。
(5)会聚效度和区分效度。
1)1960年坎贝尔指出,要确定一个测验的构想效度,则该测验不仅应与测量相同特质或构想等理论上有关的变量有高的相关,也应与测量不同特质或构想等理论上不同的变量有低的相关,前者称为会聚效度,后者和为区分效度。
三、影响效度的因素
影响效度的因素有很多,分别由测验本身、样本团体、效标、信度带来的各种影响因素。
(一)测验的因素。由测验本身带来的影响因素有:
1、测验题目的质量
2、实施测验时的干扰因素
3、被试的影响因素
4、测验的长度
(二)样本团体的性质对测验的效度产生影响体现在三个方面:
1、同一测验对不同的团体所测量的功能可能是不同的;
2、对于同一个测验,效度团体的性质不同,效度也会有较大的差别
3、样本团体的异质性对效度也会有影响
(三)效标的性质
1、如果其他条件相同,所测量的行为或心理特质与效标行为特质越相似,效度系数就越高。
2、另外,效标与测验分数之间的关系是否线性也是一个很重要的影响因素。