普通高考语文作文题评分员效应分析

• 作 者: 夏静
• 机 构: 北京师范大学
• 出 处: 北京师范大学
• 发表日期: 2011年期
• 关键词: 普通高考 评分员效应 项目反应理论 多面Rasch模型 语文作文题

本文采用现代项目反应理论(Item Response Theory,IRT)的多面Rasch模型来研究四种评分员效应:评分严厉度、评分员自身一致性、“趋中现象”以及评分偏差现象。研究从中东部某省(A省)2010年普通高考语文科目随机抽出的试卷中抽取由50位评分员的作文评分数据。评分采用的量表为4级分项评分量表,从“内容”、“表达”、“特征”三个评分维度对考生的写作水平进行考察。评分数据通过多面Rasch模型的FACETS软件包进行分析。通过分析得出以下结论:　　
1)评分员严厉度水平总体上比较一致,存在个别评分员评分过于严格和过于宽松的现象。　　
2)评分员评分存在着一定的集中趋势；　　
3)评分员在不同的评分维度上的评分存在偏差；　　
4)评分员在评分量表上的某个分数段上表现出偏颇现象。　　
本文对如何避免出现评分员效应,改善和提高作文题评分的一致性提供如下建议和参考:　　
1)对于评分不一致的评分员,可以做进一步的培训或者将其更换；　　
2)评分员效应分析可以为评分员的甄选提供参考；　　
3)改善评分量表,对评分量表解释有歧义或者不够详细的部分进行修改；　　
4)对于大规模考试,可以对某些存在严重偏差的评分进行修正。　　
通过研究也表明,多面Rasch模型可以较好的考察单个评分员在评分中的表现,因而是作文评卷质量监控的一种强有力的工具,对保证写作测试的信度和科学性有着极为重要的意义。