面向领域中文文本信息处理的术语语义关联挖掘研究

• 作 者: 季培培
• 机 构: 中国科学院大学
• 出 处: 中国科学院研究生院 中国科学院大学
• 发表日期: 2010年期
• 关键词: 术语自动抽取 术语语义 关联挖掘 中文文本信息处理

术语集中承载特定领域的核心知识,术语的自动抽取及语义关联挖掘能够辅助人们便捷地获得和积累该领域知识,是信息检索、信息抽取、数据挖掘、机器翻译、建立领域概念体系等自然语言处理技术的重要基础。本论文的研究目的就是从理论与实践两个方面对术语自动抽取及语义关联进行分析、讨论,以便构建专门的术语语义关联挖掘系统,提升中文信息处理水平。本文的研究工作主要包括以下几个方面:　　
首先,本论文充分调研国内外研究现状,分析研究了术语的语言结构特征和领域特征,重点比较分析了术语抽取及语义层次关联的流程、方法以及面临的挑战。　　
其次,从条件随机场方法的内在原理、优势及研究成果出发,对选取条件随机场方法进行术语抽取的依据进行了分析,基于此研究并设计了中文术语自动识别与抽取模型,包括预处理及特征赋值、特征函数构建、模型训练和应用模型对术语进行边界标注。　　
第三,针对抽取出来的中文领域术语,首先基于领域文档构建术语向量空间,然后采用自顶向下的多重聚类方法获取层次关联。在此本文选取了改进的K-means和确定性退火两种聚类算法获取层次关系。在每一层聚类结束之后,本文提出一种综合相似度计算方法解决了层次内部类标签提取的问题。　　
最后,研究并实现了术语自动抽取和语义层次关联的原型系统,并选取了部分中文专利文本摘要数据集对系统的效果进行测试与评估。在术语抽取评估部分,本文设计了三种特征模板,实验结果显示融入更多有意义的复合特征模板效果最好,F值为0.9386。有关术语语义层次关系的评估,本文提出一种求层次树的邻接矩阵相似度的方法,将两种聚类方法得到的结果分别与专家建立的标准层次树求相似度,相似度值越大效果越好。在语料规模为1000篇文档时,基于确定性退火聚类算法得到的相似度最大值为0.65。