演讲

停止测量:使用响应时间识别受试者脱离测试

2020年9月

由:史蒂文明智梅根Kuhfeld

描述

在2020年全国教育测量委员会虚拟会议的本次会议上(视频1:06:40),Wise博士分享了关于考试脱离以及如何在评分中管理脱离的研究见解。

使用成绩测试来评估一个人的知识、技能和能力是一个悠久的传统。在这样的测试中,将一系列的题目管理给考生,对每一个题目的回答将提供信息,这些信息被汇总起来生成考试分数。基于结果得分的推论的有效性部分取决于每个条目的反应反映了兴趣的结构或领域的假设。然而,现实情况是,考生有时确实会从考试中脱离出来,给出的回答并不能反映他们的知识、技能和能力。当使用基于计算机的测试时,这样的项目反应可以被识别为快速猜测行为。

测试数据中出现的快速猜测引发了一个问题,即如何处理它们。在本演示文稿中,我们主张,由于快速猜测不能反映考生知道和能做的事情,因此它们对测量没有帮助,因此应排除在评分之外。这一论断基于这样一种信念,即快速猜测某个项目代表了考生选择“退出”测量过程。我们通过数据分析和以前的研究结果提供了支持这一主张的证据。总的来说,这一证据表明,快速猜测反映了一个明显不同的、构建不相关的反应过程。此外,如果评分中包含快速猜测,则会引入系统的测量误差,从而严重扭曲分数。

查看更多

看到报告

相关话题