论文部分内容阅读
分词错误会对未登录词识别产生严重干扰.为解决该问题,本文提出一种对分词结果中的未登录词进行分类,获取分词结果中未登录词的可信度,并将结果反馈至分词程序的算法。分词程序可以据此判断是否应当重新进行分词.实验结果表明算法作为分词程序的辅助,有效的避免了分词错误对未登录词识别的影响,提高了分词算法的整体性能,同时可以从文本中抽取出大量的高可信度的未登录词进行后续处理或研究。