演讲

使用重新测试数据来评估和提高努力调节评分

2020年9月

由:史蒂文明智梅根Kuhfeld

描述

本次会议来自2020年教育测评全国委员会虚拟会议,介绍了关于理解和管理考试脱离的新研究成果(报告22:55开始)。

Wise, S.和Kuhfeld, M.(2020年,9月)。使用重新测试数据来评估和提高努力调节评分。全国教育测量委员会虚拟会议。

有越来越多的研究是关于如何管理考试脱离。一些研究集中在快速猜测效果的分数调整方法上,快速猜测是一个有效的脱离项目反应指标。一个例子是努力调节(E-M)模型(Wise & DeMars, 2006),在该模型中,快速猜测在评分过程中被识别和排除。E-M评分的目的是估计一个没有参与考试的人在全身心投入的情况下会得到的分数。尽管评估E-M评分调整的准确性具有挑战性,但我们开发了一个独特的数据集,允许这样的评估。

研究1分析了一个数据集,该数据集基于MAP在数学和阅读方面的成长评估中存档的ritt分数数据,这些数据来自短期内重新接受测试的学生。这使得我们能够研究E-M评分的准确性。在两个测试学期中,发现了学生在一天内被重新测试的实例。在这一组中,超过5000个案例中,学生在第一次测试中表现出心不在焉(10%+快速猜测),而在再次测试中,快速猜测为零。表1显示E-M分数部分解释了观察到的RIT分数差异。

研究2将使用相同的数据集,研究一种提高E-M评分准确性的净化方法。具体地说,将调查使用各种二次时间阈值来识别E-M评分中排除的反应。该方法有望提高我们对考试脱离引起的分数失真的估计能力,从而提高E-M评分的价值。

查看更多

看到报告

相关的话题