论文部分内容阅读
和传统计算机化自适应测验(CAT)一样,认知诊断CAT(CD-CAT)中的项目过度曝光、项目曝光不足以及项目曝光不均匀等问题不仅会影响测验安全,而且会导致测验项目维护与开发费用的浪费。到目前为止,还没有关于CD-CAT项目曝光控制的方法研究。另外,项目增补对CD-CAT题库的维护与开发至关重要。一方面,CD-CAT项目增补需要估计新题的项目参数并将它们置于旧题的参数量尺上。在传统CAT中,在线校准技术经常用于估计新题的项目参数。然而直到现在,在CD-CAT领域还没有任何关于在线校准的论文发表。于是很有必要开发适用于CD-CAT的在线校准方法；另一方面,CD-CAT项目增补需要专家标识每个新题所测量的属性。因此,如果能够提供这样一种算法,它仅基于被试在项目上的作答反应就能够准确地、联合地估计新题的属性向量和项目参数,意义将不言而喻。另外,观察在线自适应校准设计较在线随机校准设计是否可以提高项目参数的返真性也是一个很有意义的研究问题。本文采用蒙特卡洛(Monte Carlo)模拟方法并以DINA模型为例展开一系列的研究。
预研究在新的题库设计下(相对于Cheng(2009)的题库设计)比较CD-CAT中5种选题策略的优劣,它们分别是:随机化选题策略(RAND)、KL信息量选题策略(KL)、香农熵方法(SHE)、后验加权的KL信息量方法(PWKL)以及综合后验加权和距离加权的混合KL信息量方法(HKL),着重从项目曝光控制方面对它们的表现进行评价,并采用题库使用均匀性指标x2和测验重叠率等多个指标进行衡量。结果发现：⑴四种非随机化选题策略的题库使用均匀性较差、测验重叠率高,从而导致测验安全性较差；(2)SHE方法的判准率最高,但倾向于使用猜测参数和失误参数的和值较小的项目；基于预研究结果,研究一基于DINA模型提出3种项目曝光控制方案并将它们融入到SHE选题策略中,3种方法分别是:(1)按猜测参数和失误参数的和值分层的方法(SHE(Stra))；⑵修改的最大优先指标方法(SHE(MMPI))；⑶将SHE(Stra)和SHE(MMPI)两者结合的方法(SHE(Stra_MMPI)),并将传统SHE方法和随机方法作为比较基准。结果发现：相对于传统SHE方法,3种项目曝光控制方法能够提高题库使用均匀性、降低测验重叠率。特别地,SHE(MMPI)和SHE(Stra_MMPI)两种方法还能够大幅降低最大项目曝光率、提高最小项目曝光率。但是这些方法在提高题库使用质量的同时都是以稍微降低知识状态的估计精度为代价；研究二为将传统CAT中3种有代表的在线校准方法(Method A、OEM和MEM)推广到CD-CAT情境(分别记为CD-Method A、CD-OEM和CD-MEM)建立分析基础,并对这3种方法的项目参数返真性进行比较。在研究二中,新题是随机分配给被试作答,然后再估计新题的项目参数。研究表明：CD-Method A方法在项目参数的返真性方面优于其它两种方法；研究三在CD-CAT在线校准过程中考虑在线自适应校准设计：首先将新题随机分配给被试的子样本作答,通过使用CD-Method A等在线校准方法对新题的项目参数进行预校准；然后对于剩下的被试,CD-CAT测验基于新题的项目参数初始估计值自适应地选择新题给被试作答；最后,基于剩余被试在新题上的作答反应依次重新校准新题的项目参数,并将在线自适应校准设计与在线随机校准设计进行比较。结果表明:对于3种CD-CAT在线校准方法,自适应校准设计都可以提高项目参数的返真质量；研究四借鉴项目反应理论(IRT)中联合极大似然估计(JMLE)方法的思路,提出联合估计算法(JEA)。JEA仅仅基于被试在旧题和新题上的作答反应数据就能够联合地、自动地估计新题的属性向量和新题的项目参数。模拟结果表明:当项目参数相对较小(项目参数范围是(0.05,0.25))且样本量相对较大(如样本量是1000或有250名被试作答每个新题)时,JEA算法在新题属性向量和项目参数估计精度方面表现不错,而且样本大小、项目参数大小以及项目参数初始值都影响着JEA算法的表现。综合上述结果,本文发现：3种项目曝光控制方案都能够有效地提高题库使用质量；3种CD-CAT在线校准方法在项目参数返真性方面都有不错表现；对3种CD-CAT在线校准方法而言,自适应校准设计较随机(非自适应)的在线校准设计都可以提高项目参数返真质量；而且JEA算法仅基于被试在项目上的作答反应能够联合地、准确地估计新题的属性向量和项目参数,这样不仅可以减轻专家标识属性的任务,而且还可以将属性自动标识结果作为参考信息融入到专家的判断当中。