论文部分内容阅读
众所周知,计算机自适应测验(CAT)需要优质的题库作为支撑。为了指导人们开发优质题库,研究者们提出了CAT题库优化设计法,期望设计出的题库能保障CAT的高质量,同时题库开发成本也不致过高。p-优化法(Reckase,2003)是其中一种简单、有效的设计法,该方法在应用过程中需要设定题目参数确定法、参数区间划分和考生能力分布等因素,明确这些因素对p-优化法的影响将有助于在实践中更有效、合理地应用该法。本研究采用模拟方法,基于三参数 logistic模型(3PLM),应用p-优化法设计CAT题库,考察以上因素对p-优化法的影响。 模拟研究包括两个阶段:首先,设定5种难度分区(b-bin)的宽度大小、2种考生能力的先验分布(正态,偏态),采用2种p-优化的题目参数确定法(PM法,MTI法),在这20个条件下设计优化题库,比较不同优化题库的题量与题目参数分布特征;然后,选取满足不同分布的模拟考生群体(正态,偏态)和一些特定能力值的考生,在不同优化题库中进行CAT测试,通过考生能力估计的准确性、题库的利用情况评价优化题库。 结果发现:(1)所有p-优化题库的a参数都较高,b参数接近均匀分布,但难度量表两端的题目略少;p-优化题库有助于保障CAT测试提供均衡的测量准确性、均衡的题库利用。(2)PM法设计的题库容量较大,a参数较高,对大部分考生测量更准确;MTI法的优化题库对低能力考生的测量准确性更高,对不同能力考生的测量准确性更均衡,题库的利用情况也更好。(3)随难度分区(b-bin)的宽度增大,PM法与MTI法设计的优化题库容量都减少,测量准确性有所下降,题库利用的均衡度提高;但当b-bin的宽度在0.2~0.8范围内变化时,考生能力测量准确性的下降幅度较小。(4)考生先验能力分布与实际测验时能力分布的匹配性影响PM法生成的优化题库,当b-bin的宽度较大时(等于1.0),能力分布的匹配可以有效地节约题量,并减少题目过度曝光量。