第四章 如何建立人事测量工具
要建立一项完善的人事测量工具,目标设定是第一步。如何根据测量目标确定合适的测量工具是决定测量效果的关键因素。
一、针对不同目的的测量工具的设计
1、测量目标的分析
(1)测量目标是指测量工具作什么用。
(2)显示性测量反映被测者具有什么知识和特点,能完成什么任务。例如,成就测验、态度测验就是显示性测量。观察法、调查法都是显示性测量工具。
(3)预测性测量工具帮助预测一个人在不同情境下的行为。部分人格测验可以预测个体将来的工作风格。而角色扮演、公文筐测验能够直接预测个体将来在同样的工作情境中的工作表现。
(4)测量工具有编制者还必须把测量目标转换成可操作的测量指标,这种转换过程称之为操作化或目标分析过程。
(5)目标分析与测量目标是密切相关的。
根据测量目的的不同,我们区别以下三种情况来具体分析:
1)对于有选拔和预测功用的预测性测量工具,它的主要任务是要对所预测的行为活动做具体分析,故称之为任务分析或工作分析。
首先要确定,为了使所预测的活动达到成功,需要哪些心理特质和行为。
其次,还要建立衡量被试成功与否的标准这个标准称为为效标。效标可以作为鉴别测量工具有预测是否有效的重要指标。
2)如果测量工具用于测量一种特殊的心理品质或特质,那么首先就必须给所要测量的心理和行为特质下定义,然后找出该物质往往通过什么行为表现出来。
3)如果测量工具是描述性的显示测验,它的目标分析的主要任务则是确定所要显示的内容和技能,从中取样。
(6)双向细目表是一个由测量的内容材料维度和行为技能维度所构成的表格,它能帮助成就测量工具的编制者决定应该选择哪些方面的题目以及各类题目应占的比例。
2、根据测量目标确定测量的内容和形式
确定测量内容和形式是决定性的关键,它决定测量有效与否。下面列举一个针对测量目标进行具体测量内容和测量形式设计的实例:例:某商场需要招聘一批具有一定工作能力、有敬业精神并且掌握一定专业知识的摄像设备的销售人员。
第一步——确定测量目标:对应聘者将来的工作能力、工作动机进行预测,并且对应聘者现有的专业知识进行了解。
第二步——设计测量内容:根据销售员任职资格的要求,其工作能力可以分解为以下内容:言语交流能力、说服能力、推销技巧。
第三步——设计测量形式:根据测量内容建议采用情境模拟测验形式对工作能力进行测量,用自陈量表形式对动机进行测量,并设计一项标准化的摄像知识的纸笔考试。
3、根据测量的对象确定题目的形式
在编制测量工具时,还应该考虑使用测量工具的团体的组成和特点,如被试的年龄、智力水平、受教育程度、社会经济地位、文化背景、阅读水平等因素。测量工具针对的对象不同,测量工具采取的形式、题目的编写、测量题目的难度、取样的范围都可能有所不同。
二、题目的设计和测量的编制
编写出的题目应比实际需要多20%以上,如果考虑到以后还要不断筛选和修改,初次编写的题目量可以比实际需要的多出一倍到几倍。
1、测验题目的来源
收集题目的方法有很我,包括从现成的测验中选取、按照现有理论设计、请专家设计等。
(1)最简单、最直接的方法,是从已经出版的各种标准的测量工具中选择合适的题目。
(2)现成的理论从来都是设计测验题目的重要参考。
(3)专家无疑是设计测验的重要资源。
2、在收集题目时应注意几个问题:
(1)题目的来源要尽可能地丰富,这样测量内容不至于偏颇,并能提高行为样本的代表性;
(2)题目要有普遍性,尤其是成就测验,要保证所有施测对象都学过该测验中题目所包含的内容;
(3)在编制智力或能力等本身不应体现文化影响的内容的测量题目时,要尽量避免文化背景差异的影响。
3、题目编写的原则
对测量工具题目进行编写要遵从某些一般原则,这些原则可以归纳为内容、语言、表达与理解这四个方面。
(1)针对题目内容的原则
1)要求题目的内容符合测量工具的目的,避免贪多而乱出题目;
2)内容取样要有代表性,符合测量工具计划的内容;
3)各个试题必须彼此独立,不可互相重复或牵连,切忌一个题目的答案影响对另一个题目的回答。
(2)针对题目语言的原则
1)使用准确的当代语言,不要使用古僻艰深的词句;
2)文句须简明扼要,既排除与解题无关的陈述,又不要遗漏解题的必要条件;
3)最好一句话说明一个概念,不要使用两个或两个以上的观念;
4)意义必须明确,不得暧昧或含糊,尽量少使用双重否定句。
(3)针对题目表达的原则
1)尽量避免主观性和情绪化的字句;
2)不要伤害被试感情,避免涉及社会禁忌或隐私;
3)避免诱导和暗示答案;
4)避免令被试为难的问题(被试没有明确结论或羞于启齿的问题)。
(4)针对题目理解的原则
1)题目应有确切答案,不应具有引起争议的可能(创造力测验、人格类测验例外);
2)题目内容不要超出受测团体的知识和能力范围;
3)题目的格式不要引起误解。
4、题目的分类
根据被试所作出的反应方式进行分类,可以分为提供型和选择型题目。
(1)提供型题目要求被试提供答案,如问答题、填充题。另外,各种操作性题目,如画图、表演、完成某项任务、回答问题等,都可以算做提供型题目;
(2)选择型题目则要求被试在提供的备选答案中选择正确答案,如是非题、匹配题、选择题。
5、常用题目类型与编制要领
(1)问答题
问答题的主要优点在于它能够测量被试组织材料的能力、综合能力和文字表达能力,有的甚至可以测量评价能力和创造能力,而这些能力是其他客观题难以测量的。相对来说,问答题有几大优势:
1)较好编制题目无需要太多;
2)不需准备备选答案,答案是由被试自己生成;
3)可以避免被试随机猜测答案的可能。
问答题的问题(缺点)也很突出:
首先,问答题一般回答时间长,占分数大,因此题量不宜太大,所以能测量到的内容也有限,对行为的取样受到局限。
其次,问答题的评分标准也不容易标准化。不同评分者对同一答案的评分一致性相关系数仅在0.62~0.72之间。同一主分者对两份等值的答案的评分信度更低,仅在0.42~0.43之间。
再次,问答题的评分容易受书写的整洁程度、个人成见等无关因素的影响。
编制问答题时应注意以下几点:
1)问题应清楚而且明确,使被试了解答题要求;
2)题目的数量不要太多,以免变成速度测验;
3)在编制题目时应该有一个理想答案或一系列答题标准,同时对另外一些可接受的答案应有所规定和说明。
(2)选择题
选择题通常包括两个部分:
一是题干,即呈现一个问题的情境,由直接问句或不完全的陈述句构成;
另一部分为选项,即对问题的几种可能的回答,包括正确答案及若干错误答案,这些错误答案叫做诱答。
选择题的主要优点包括:
1)适用范围广,从一般知识到复杂能力的测量均可使用;
2)题意明确,被试的反应简单,容易计分;
3)与其他形式的客观题相比,更少受猜测和反应定势的影响,评分较为客观;
4)选择题的题量可以较大,考察的范围更广,取样代表性较高。
选择题的缺点:
首先,在于诱答题难以编制,诱答的数量要求多,而且还要似是而非,让哪些不知道正确答案的被试感到无从选择,这相对来说较为困难。
另外,通过选择题较难测出个体组织能力、表达能力和创造性等特点。
(3)是非题
是非题的共同特征是只有两种可能的反应,其中一种是肯定的(同意,正确,是),另一种是否定的(不同意,错误,否)。
反应定势就是指部分被试在回答问题时,其答案的选择建立在题目的形式或位置上,而不是建立在题目内容的基础之上。
是非题的优点:是非题也有其长处。它能很快书写和阅读,因此题量可以较大,便于广泛取样;记分也比较客观。
(4)匹配题
匹配题可以说是选择题的一种变式。
1)匹配题的优点:匹配题容易编制,而且可以在短时间内测量大量相关联的材料,覆盖面较广。
2)匹配题的缺点:它一般只能测量简单记忆的事实材料或概念关系,并且要求编制的选项必须是同质的。
(5)填充题
填充题是提供型的题目,它要求受测者用一个正确的词或句子来完成或填充一个未完成句子的空白,或者是提供一个正确的答案。
(6)操作性测量形式
在很多情况下,操作的应考过程是重要的测量目标,而这是纸笔测验无法测量的,这时可以采用担任性测量形式。
操作性测试题通常分为着重过程和着重结果两种形式。考察仪器操作、演讲、演奏乐器和其他各种技艺。例如文章、图画等。当然,也有的需要同时考察过程和结果,如工作样本测验。
按测试情境的真实性程度可以分为:
1)纸笔的操作性测试:虽用纸笔但偏重于模拟情境下知识的应用。如公文筐测验。
2)模拟操作测试:强调正确的程序,被试需要在模拟情境下完成与真实活动相同的动作,如驾驶员的考核等。
3)工作样本操作测试:其真实性最高,包括了真实作业的全部要素,但是是在有控制的条件下去完成的。如司机在标准场地内的考核,师范学生的教学实习等。
作品量表一般包括一系列按顺序排列的不同作业程度、水平、质量的标准样本,评分时参照这些标准样本对被试结果进行评分。
(7)面试
面试是目前在企业及各类组织中最流行的考察手段。但是面试的考核缺乏心理测量学的严格性,易受考官的个人偏见或歧视的影响。
三、题目的编排
选择和编排过程包括定性的逻辑分析和根据预测的结果进行的定量分析。
1、对题目进行初步选择的主要依据是:题目本身的性质、对预期测量目标的可测量程度。
这一步可以细分为如下几个步骤:
(1)检查题目是否符合细目表中某一单元格内容的要求。
(2)根据细目表对各部分所要求的比例选择适当数量的测试题,使测量工具尽量覆盖整个细目表的内容。
(3)检查题目是否叙述明确清楚,是否提供了额外线索。
(4)检查题目十分适合将要施测的对象和施测的条件。
(5)检查题目的难度是否恰当,一般来说,难度定为0.5较为合适。
(6)检查所选择的题目是否彼此独立,没有重叠。
(7)在选择题目时还要注意测量工具的长度。
2、题目编排的一般原则:
(1)将测量相同因素的测试题排列在一起。
(2)尽可能地将同一类型的测试题组合在一起。
(3)难度测验的题目应按由易到难排列。
(4)对于人格测验,应尽量避免将测量同一特质的题目编排在一起,防止被试猜测出题目所要测查的因素。
3、测试题的预测试和分析
(1)必须将预备测试题对一定规模的小样本进行施测,获得数据以进行校验、修订。这一过程称为测试题的预测试。
(2)数据收集上来之后,就应该利用这些数据对题目进行了分析,删除不好的题目或对题目进行修改,这个过程称为题目分析。
(3)对测试题的预测试应注意以下问题:
1)预测试对象必须和将来正式测试的对象相似,取样应注意其代表性,人数不必太多,但不能太少,一般不应少于三十人。
2)预测试的实施过程与情境应力求与将来正式测量工具实施时的情况相似。
3)预测试的时限可稍宽些,最好使每个被试都能将题目答完,以便搜集充分的反应资料,使统计分析的结果更为可靠。
4)在预测试过程中,应将被试的各种反映情况随时加以记录。
(4)预测试完成后,可以根据预测结果进行题目分析,对每个题目的具体分析称为项目分析。
4、测验手册的内容一般包括:
(1)测验的一般信息:标题名称、作者、施测形式、记录形式。
(2)测验目的和作用。通常手册应指出测验可作何种用途,如选拔、指导、评价,适用对象,以及所测量的内容,如测量何种能力、特质等。
(3)测验编制的理论背景和题目的来源。
(4)测验的实施方法、时间要求及注意事项,包括对施测现场环境的要求、指示语和对主试的训练要求。
(5)测验的标准答案和记分方法。
(6)常模表、常模知县团体及测验计分系统、解释系统,以及样本的选择方法。
(7)测验的信度资料和效度资料,以及这些资料取得的条件和情境,包括调查的样本和时间。
测验使用手册可以说是测验的“门面”,其编写的好坏、形式十分重要。