《左传》《史记》同事异文自动发现及分析

• 作 者: 李越
• 出 处: 南京师范大学
• 发表日期: 2014年01期
• 关键词: 句子相似度 同事异文识别 编辑距离 改进操作权重 事件信息标注

古籍中存在着十分丰富的异文现象,异文的存在对于校勘学、文字学、词汇学、语法学、训诂学等方面的研究都有重要作用。其中,同事异文是异文的一个特例,指描述同样历史事件的不同文字。然而,由于古籍文本数据的浩繁,传统的使用人力手工查找异文(包括同事异文)的办法在数量和质量上都已无法满足进一步研究的需要,因此亟待借助计算语言学方法解决这一问题。基于此,本文以《左传》和《史记》为实验语料,利用并改进编辑距离句子相似度计算算法,进行同事异文的自动识别及分析,其具体内容包括：1.在古籍异文研究方面,对非版本异文的研究现状做了介绍,并指出人工查找同事异文的繁杂困难之处,因而提出利用计算语言学方法中的句子相似度计算算法,对同事异文进行自动发现。2.在汉语句子相似度计算方面,总结了国内外不同种句子相似度计算方法,并指出古汉语句子相似度计算的难点所在,同时重点介绍了编辑距离方法的计算原理,研究现状和算法本身存在的主要问题。3.在同事异文自动发现方面,本文首先基于经典编辑距离算法对实验语料进行了同事异文自动发现,实验结果并不理想。由此,本文设计了一种结合改进编辑距离以及事件信息标注的计算算法,对实验语料进行了再次实验,实验结果大幅改善。其中,实验的主要改进是,在编辑距离算法内部改进了编辑操作、字词操作的权重设置,在编辑距离算法外部,利用人名、地名及年份数据库对语料进行了人物、地点、时间的事件信息标注,并加权结合两方面结果进行最终的句子相似度计算。最后,本文对《左传》《史记》同事异文自动发现结果进行了分类整理和简要分析,并以此为依据,考察了两部文献的语言特色及同事异文自动识别的主要缺陷,为今后更大规模的古汉语文献深度处理和自动挖掘进行了初步尝试。