演讲

停止测量:使用响应时间识别受试者脱离测试

2020年9月

由:史蒂文明智，梅根Kuhfeld

描述

在2020年全国教育测量委员会虚拟会议的本次会议上(视频1:06:40)，Wise博士分享了关于考试脱离以及如何在评分中管理脱离的研究见解。

使用成绩测试来评估一个人的知识、技能和能力是一个悠久的传统。在这样的测试中，将一系列的题目管理给考生，对每一个题目的回答将提供信息，这些信息被汇总起来生成考试分数。基于结果得分的推论的有效性部分取决于每个条目的反应反映了兴趣的结构或领域的假设。然而，现实情况是，考生有时确实会从考试中脱离出来，给出的回答并不能反映他们的知识、技能和能力。当使用基于计算机的测试时，这样的项目反应可以被识别为快速猜测行为。

测试数据中快速猜测的存在引出了一个问题:如何处理这些猜测?在这次演讲中，我们认为，由于快速猜测不能反映考生知道什么和能做什么，它们对测量没有贡献，因此应该被排除在评分之外。这种论断是基于这样一种信念:对一个题目的快速猜测代表着测试者选择“退出”测量过程。我们通过数据分析和之前的研究发现提供证据支持这一论断。总的来说，这些证据表明，快速猜测反映了一个截然不同的、与建构无关的反应过程。此外，如果在评分中包含快速猜测，它们会引入系统性的测量误差，从而严重扭曲评分。

 查看更多

看到报告

相关的话题