基于词语分类和排序的最大匹配中文分词技术

• 作 者: 赵悦
• 出 处: 沈阳师范大学
• 发表日期: 2020年01期
• 关键词: 自然语言处理 中文分词 最大匹配 词语分类和排序

随着科技的快速发展,自然语言处理技术已经广泛深入到每个人的工作、学习当中。中文分词技术作为自然语言处理的基础,广泛应用于各种自然语言处理领域,如智能问答系统、搜索引擎、文本检索、机器翻译、语音识别系统等。在大多数自然语言处理应用系统中,第一步都是中文分词过程,对文本切分的准确率和效率会直接影响到后续应用的效果,高效又准确的中文分词是各个应用系统的基础环节。只有更好的解决中文分词问题,才能更好的理解句子和文章层面的问题。所以成熟完善的中文分词技术是自然语言处理技术得到更广泛应用的重要前提和保障,对中文分词技术进行深入研究,具有重要的科学意义和实际应用价值。通过分析现有中文分词方法的研究现状,总结了各种分词方法的优缺点以及目前中文分词方法中存在的问题,为提升中文分词的准确性和效率,提出了基于词语分类和排序的最大匹配中文分词方法。首先,为提升分词效率,设计了新的分词词典结构,新的分词词典采用分组的思想,将首字相同、词长相同的词分为一组,并且每个组中的词进行排序。采用该词典进行分词,在每一次匹配过程中,只需要在对应的组中进行查找即可,这样大大缩小了搜索范围,可以在很大程度上提升搜索效率。其次,针对最大匹配算法在分词过程中存在的缺点,利用新设计的中文分词词典,对最大匹配算法进行改进,改进后的最大匹配算法无需预先设置最大长度,可以根据词典中的词长种类跳跃的减少每次匹配的字数,并在每次词语匹配过程减小搜索范围,该方法可在多个方面提升分词效率。另外,为提升分词准确性,对分词过程中出现的歧义切分和未登录词进行处理。对于歧义的处理,采用建立歧义处理规则和词语统计相结合的方法;对于未登录词的处理,采用命名实体识别的方法,并将识别出的新词补充进词典。然后整合分词中的所有步骤,设计了新的中文分词流程。最后,设计了对比实验对分词准确率和分词效率进行测试,通过实验验证了算法的有效性,从实验结果中可知,改进的最大匹配算法在分词速度上有明显提升,并且改进的最大匹配算法和命名实体识别方法相结合,在分词准确率上也取得较好效果。另外,还设计并实现了中文分词系统,并对外提供接口供其他系统调用,可作为其他高级自然语言处理系统的一个支撑系统。