论文部分内容阅读
等级评分项目一直是大规模教育考试中的重要题型。即使一些针对多级评分项目的IRT(Item Response Theory, IRT)模型通过估计被试能力水平来评估其表现，却不能给出蕴含在被试作答过程中的认知结构，给测验分数的解释与应用带来了一些限制。等级评分项目除了考察学生的知识与技能外，着重考察的是思维的连贯性与灵活性，学生可以使用不同思维策略解决问题，因此相同测验分数也可能反映着不同的认知结构，仅用统计意义上的能力水平对被试的表现进行解释与评估就缺乏科学性与针对性。若能将心理计量模型与认知心理学结合对能力背后的心理实质进行认知诊断评估，则对理论研究与实践应用都具有重要意义。认知诊断评估可以提供学生思维过程的剖面诊断，能为效度研究提供证据，为补救教学提供参考。本研究以0-1评分项目的规则空间方法为基础，结合IRT中的等级反应模型(Graded Response Model， GRM， Samejima，1969)，依据类比思想对个人适合指标(Person Fit Index)进行了扩展，并对其性质进行了证明，建立了等级评分项目的规则空间方法。
模拟研究采用蒙特卡洛试验，首先根据Leighton等人(2004)的四种属性层级结构生成了相应的Q矩阵，然后结合四种随机失误作答概率(2％、5%、10%与15%)，在理想反应模式的基础上模拟得到了被试的实际反应模式。研究采用MULTILOG软件估计被试的能力水平与项目参数，然后将理想反应模式与实际反应模式映射到规则空间中进行分类诊断，以30次重复试验的属性掌握模式归准率、被试属性归准率、敏感性与特异性的均值为指标检验基于等级反应模型的规则空间方法的分类准确性。结果表明：(1)在四种属性层级结构中，线型和收敛型的分类准确性明显好于发散型与无结构型的分类准确性；(2)随着随机作答失误概率增加，四种属性层级结构的分类准确性都在下降。