基于语义的中文文本预处理研究

• 作 者: 张宁
• 机 构: 西安电子科技大学
• 出 处: 西安电子科技大学
• 发表日期: 2011年期
• 关键词: 文本分类 中文文本预处理 语义知识库 语义分词 语义特征

中文文本分类处理的对象是汉语文本，汉语自然语言复杂灵活，文本中存在近义、多义等多种复杂语义关系，相对于英文文本而言，中文文本的构成特点与特征提取机制部存在特殊性，但现有的分类对于中文文本语义方面的研究仍缺乏完善的机制。因此，基于语义层次对中文文本分类进行研究必将成为中文文本分类的研究趋势。论文针对中文文本语义信息丰富的特点，对预处理过程中的分词、词性标注及特征提取等进行了语义研究。首先分析了中文文本的特点和处理难点及文本分类和预处理的国内外研究现状；然后提出使用语义知识库消除分词过程中的切分歧义的算法，并利用分词的语义标注信息结合词性词典进行词性标注。在特征提取过程中提出利用语义知识库所提供的语义概念进行概念聚类，降低特征项的空间维度。最后，根据所提出的语义处理算法设计了基于语义的分词及词性标注系统，对结果进行实验分析，并验证语义特征提取方法的有效性。实验表明本文所提出的基于语义的中文文本预处理方法能够解决大部分切分歧义问题，并且能够有效提高分词及词性标注性能，降低特征空间维度，从整体上提高分类性能。文本预处理是文本分类的基础环节，对于分类性能具有较大的影响，基于语义对中文文本预处理过程进行研究，对于更好的表示文本，改善文本预处理结果，提高分类的精度和效率，具有重要的研究意义。