第5章 信度
1、 信度是指:测量结果的可靠性和一致性。因为心理测验通常测量人的行为,行为会由于各种各样的原因,因时、因事、因地而产生变动,这些因素有些是偶然的,有些是固有的,人在完成心理测验时的行为也会受上述因素的影响,从而使测验结果与真实结果不完全一致,所以我们要用信度来衡量测验的可靠性和一致性。
2、 信度的操作化定义:
(1) 误差理论认为:一个人的测验分数X是由真实分数(T)和误差(E)两部分构成的,公式是X = T + E.
(2) 因此信度就被定义为:一组测量分数的真实方差与实得方差的比,或者是指真实方差占总方差的百分比。公式为:rxx = 1-SE 2/SX 2
(3) 根据统计学理论,真实方差与实得方差的比是一个相关系数的平方,所以我们把这种相关系数的平方叫做信度系数。
(4)计算公式为:rxx = ST2/SX2
3、 由于误差的来源信度的可分为:这种分类是基于信度的传统定义-真分数理论。
(1) 重测信度:考虑的误差来源是时间取样。
(2) 复本信度:考虑的误差来源是内容取样。
(3) 分半信度:它考虑的误差来源也是内容取样,它与复本信度的差别是:分半信度考查一个测验内容的两半题目测量的是否是同一个心理特点行为。
(4) 同质性信度(内部一致性系数):考虑的是测验内容是否异质。
(5)评分者信度:考虑的误差来源是评分者间的差别。
4、 信度的表示方法:
(1) 信度系数和信度指数:
1 信度系数:rxx = rx2T = S2T/S2
2 信度指数:rXT = ST/SX
(2) 测量标准误:SE = SX 1-rxx
5、 信度的意义:
(1) 信度系数可以解释为样本测验分数的总方差中有多少比例是真分数方差,也就是测验的总变异中真分数造成的变异占百分之几。它直接告诉我们测量的误差有多大。
(2) 测量的标准误可以告诉我们有多大可能性真实分数在某一分数范围内,并且可以预测实得分数再测时可能的变化情况。
6、 信度的作用:
(1) 解释预测个人分数的意义。
(2) 解释真实分数与实得分数间的关系,明确告诉我们测验误差大小。
(3) 新编的测验信度应高于原有的同类测验或相似测验。
(4)下结论说某测验比较可靠,必须是依据情境的,经多次证实的。
(5) 它是确定测验好坏的一个指标。一般的原则是:
1 当rxx< 0.70时,测验不能用于对个人作出评价或预测,而且不能做团体间比较。
2 当0.70≤rxx<0.85时,可用于团体比较。
3 当rxx ≥0.85时,才可以用来鉴别或预测个人成绩或作用
7、 重测信度:有时也叫稳定性,主要针对时间变量。
(1) 重测信度采集数据得方法是:对同一组被试间隔一定的时间重复测试一次。
(4) 重测信度的计算方法是积差相关法,因而rxx就是皮尔逊的积差相关系数。
(7) 重测信度的时间间隔选择依测验性质和目的而定,如果测验是用于长期预测,则测量间隔长一些。对儿童的智力测验一般是两周到四周为宜。对成年人,间隔可到半年,很少超过6个月。
(13)使用重测信度应注意:不是所有测验都可以计算重测信度。并且重测信度只是反映了随机误差的影响,而不是反映被试心理特点的长期变化。
8、 复本信度:又叫等值性系数。
(1) 数据采集方法是:给被试施测两个内容等值但题目不同的测验,求两组数值的相关。计算方法常见的也是积差相关法。
(2) 复本信度的高低反映了两个互为复本的测验等价的程度,而不是反映一个测验本身受随机误差影响的大小。复本信度的高低关键取决于复本测验的选择,因而施题目取样问题,或者说是测验的内容取样问题。
(3)复本信度优于重测信度的地方是:避免了重测带来的记忆效应和练习效应;可用于长期追踪研究前后测量;减少了作弊的可能性。
(4)复本信度的缺点:有些测验的复本很难找到;有些测验因正迁移效应使测验性质改变;如测量的内容很容易受练习的影响,复本信度也无法清除这种练习效应。
(5)重测复本信度,即再不同的时间里施测两个等值的测验(复本),得到的相关就是重测复本信度,也叫稳定等值系数。它比单一的重测信度或复本信度都要严格、全面一些。
9、 斯皮尔曼-布朗公式:rnn = nrtt/1 +(n-13、 1)rtt,14、 rnn是校正以后的相关系数,15、 rtt是实得的相关系数,16、 n为rnn对应的测验长度与rtt 对应的测验长度之比。分半时,17、 n = N/(N/2)= 2(N为测验全长),18、 所以分半法信度的校正公式是:rxx = 2 rnn/1 + rhh 其中rhh为两半测验的相关系数。
(1) 卢伦公式:rxx = 1-Sd2/Sx2 其中Sd2是两半测验分数之差的方差,Sx2为总方差。
(2) 从理论上分析,分半信度反映的实际上是两半测验能够测量相同内容或心理特点的程度。
10、 内部一致性信度(同质性信度):同质性是指测验的所有题目间性质的一致性,即测的是同一种心理特质或行为。同质性是测量单一特质的必要条件。这里讲的同质性是指测验题目得分反映的心理特质一致,同质性的判别标准是:题目间呈高正相关,如果相关很低或是呈负相关,则题目为异质。
(1) 库德和里查德森提出的K-R20公式只适合预测题目是二分法计分的。克伦巴赫α系数适合于非二分法计分的测验的内部一致性信度估计法。
(2) 从同质性信度的含义我们不难看出,分半信度是求测验两半之间的一致性或同质性,而同质性是求所有题目间的一致性。因此分半信度实际上是同质性信度的一种,可以作为测验同质性评价的粗略估计指标。因为可以根据测验得分来推论或验证某种概念或理论构思,因此同质性信度也是一种构思效度,或叫结构效度,它实际上介于信度与效度之间。
11、 评分者信度:有些心理测验的得分不是根据客观的计分系统计分的,是由评分者来给被试打分,因此,这样的测验的可靠性如何取决于评分者评分的一致性和稳定性如何。
评分者信度因评分者人数不同而估计方法不一样。如果是两个评分者,独立对被试的反应评分,则可以用积差相关来计算,或用斯皮尔曼等级相关法计算。如果评分者在三人以上,而且是等级评分,则可以用“肯德尔和谐系数”(W)来求评分者信度。
12、 以测量标准误表示信度的好处是:
(1) 信度的单位与测验分数的单位相同,因此解释个人分数时非常直接,能直接指出允许测验分数变化的范围。
(2) 测验同质与否并不影响测量标准误的大小。测量标准误的不足之处时:无法比较不同测验间的信度高低。比较不同测验的信度用信度系数(rxx)解释个人分数时用测量标准误(SE)。
13、 常见的影响信度的因素有:样本特征、测验的长度、测验的难度、测量的时间间隔等。
14、 我们做信度考验时,常常选取一个与常模样本性质相同的样本施测,根据被试得分求出信度系数。
(1) 样本团体得分分布的影响:求信度的样本团体得分分布如果比较窄小的话信度就低。
(2) 样本团体异质性的影响:样本团体异质的话,测验分数的分布就比同质样本的要广,分数的离差就大,样本的方差就大,信度就高。实际上,高信度可能是假性高信度,是由样本团体的异质造成的。但如果常模总体要求各种各样的人,则异质的信度样本求得的信度就是真信度。这时,相反的情况就需要校正信度。
(3)样本团体平均能力水平的影响。由于信度也会因样本间团体平均能力水平的不同而不同,因此在求信度时,一定要注意信度样本与常模总体间是否一致。
15、 测验的长度:在其他条件均等的情况下,测验越长,信度越高。原因在于:
(1) 测验越长,即题目越多,测验的内容取样就越有可能有代表性。
(2) 测验越长,被试的猜测因素影响就越小。
16、 测验的难度:难度对信度的影响之存在于某些测验中,如智力测验、成就测验、能力倾向测验、教育测验等。测验的难度对信度有间接影响,因为如果测验过难,被试的得分会集中在低分区。过于容易,分数则集中在高分区。两种情况都使信度样本的得分范围变窄,变异量降低,从而低估测验信度。
17、 测验的时间间隔:这一因素之对重测信度和不同时测量时的复本信度有影响,对其余的信度来说不存在时间间隔问题。
第6章 效度
1、 效度是指:测验能测量到所要测量的对象的程度。这一定义包含着两层含义:测验测量什么?测验对测量目标的测量精确度和真实性是多少?
2、 效度的公式为:rxy = SV2/SX2它是与测量目标有关的真实分数方差与总方差的比率。其中rxy是常用的效度表示法;SV2是“有关的真实方差”,也就是由测验所要测量的心理变量引起的方差,也叫有效方差;SX2是总方差。
3、 信度和效度的差别是:两者所涉及的误差不同:信度仅考虑偶然的随机误差占测验总变异的比例,效度则还包括与测验无关的但稳定的测量误差。
(1) 信度是效度的必要而非充分条件。
(2) 效度是受信度制约的。
4、 效度的性质:效度的真实含义是指测验结果的效度,也就是测验结果的准确程度。
(1) 效度具有相对性。
(2) 效度具有连续性。测验的有效性只有程度上的差别。
(3) 效度也不是直接就可以测量到的,它是从已有的证据推理而来的。
5、 效度的种类:内容效度、构思效度和效标关联效度。
6、 效标关联效度是指:测验总分数与外在标20、 准(效标)之间的相关程度,反映的是用测验预测个体在某种情境下行为的表现如何的有效性程度。由于外在标准成了考察测验有效性的参照标准,因此简称为效标。
7、 阿斯丁把效标分为两个层次:一是理论描述水平的“观念效标”,二是操作定义水平的“效标测量”。
(1) 观念效标是效标的理论定义,效标测量是效标的操作定义,效标测量必须能真正反映观念效标。
(2)效标测量的一个重要特征是客观性。为此因做到:
1 避免偏见影响效标测量,特别是以等级评定为效标4 测量时,评分者的主观偏见会有很大影响。
2 防止效标污染,即指个人的效标因评定者知道个体的测验分数(也叫预测源分数)而受到影响。
8、 常用的效标:学业成就、临床诊断、实际工作表现、特殊训练成绩、效标团体比较、先前有效的测验、等级评定。
9、 同时效度:它的效标资料是和测验分数差不多同时搜集的。一般情况下,它可以代替预测效度。
10、 预测效度的效标是经过一段时间以后才获得的,预测效度反映的是从测验分数预测任何效标情境或一段时间后被试的行为表现的程度。
11、 构思效度就是:心理测验对某一理论概念或特质测量的程度。因此,研究构思效度就是要搞清楚:测验测量的是什么构思(概念或特质)?测验分数的变异中有多少来自于测验的理论构思?构思效度是没有单一指标的,它是由各方面证据累积起来作出评价的。
12、 确定构思效度的基本步骤:建立理论框架、根据理论框架推演出有关测验成绩的假设、用逻辑或实证的方法来证明假设。
13、 确定构思效度的方法:测验内部的方法、测验间的方法、效标效度的研究、实验和观察法验证。
(1) 测验内方法:这类方法是通过研究测验内部结构来界定理论构思,从而为构思效度提供证据。
(2) 确定方法是:分析测验的内容效度和测验的内部一致性分析。测验的内部一致性可以由分半信度、α系数、KR20或KR21等指标来衡量,它们考察的是测验题目是否同质,分测验与总测验是否一致或同质,这些都可以证明测验所测量的构思是否合理,因而构成了证实构思效度高低的证据。
(3) 有时分析被试对题目的反应特点也可以作为构思效度的证据。
(4) 测验间的方法:通过分析几个测验间的相关关系,找出其共同之处,进行推断这些测验测量的特质是什么,也可以确定这些测验构思效度如何。最简单的方法是计算两种测验之间得分的相关。区分效度是构思效度的又一个证据。因素分析法也是建立构思效度的常用方法。
(5)实验法和观察法证实:观察实验前和实验后分数的差异也是验证构思效度的方法之一。
14、 内容效度是指:测验题目对有关内容或行为总体取样的适当性程度。因为这种效度主要是考察测验的内容,因此叫内容效度。
(1) 要想使测验的内容效度高,必须又两个条件:内容的范围或行为总体必须界定名确;测验题目应该是所界定的内容范围的代表性样本。
(2) 内容效度的确定方法:专家判断、经验判断、统计分析法。
15、 表面效度是指:一个测验看起来好象是测量所要测的东西的程度。换句话说,当那些未经过训练的被试或测验应用者认为某测验是有效的测验时,该测验就有表面效度。
16、 效度的指标是指:效标关联效度和构思效度的的指标。效度指标一般有:效度系数、统计推断参数、预期表等。
17、 效度系数:它是最常用的效度指标,尤其是效标关联效度。它是以皮尔逊积差相关系数来表示的。效度系数的实际意义常以决定性系数来表示,表达式是rx2y,效度系数的平方就是决定性系数,测验正确预测或解释的效标的方差占总方差的比例。
18、 效度的其他指标:一些描述不同团体的差异的统计指标(参数)也可以作为效度的指标,比如:t考验、F考验、重叠百分比等。
19、 效度的影响因素:测验本身的因素、测验施测的样本的性质、效标的性质等。
(1) 对于测验本身因素又可分为:测验题目的质量、测验的长度、测验实施中的干扰、被试的因素等。
(2) 样本的性质:
1 影响之一是:不同的团体对同一测验的反应可能会不一样,因被试的背景不同,对测验的题目可能采取完全不同的方法来回答。
2、响之二是:同一个测验,效度团体的性质不同,效度也会有很大差别。效度团体的性质包括年龄、性别、教育程度、智力水平、动机、职业等有关的特点,1这些性质特点使测验对不同的团体具有不同的预测能力。故称为干涉变量。
3 影响之三是:样本团体的异质性。其他条件相同的时候,样本同质性越高,效度越低。