论文部分内容阅读
蒙古语是黏着性语言,其构词和构形是通过词根、词干上连接不同的词缀来实现的,从理论上讲蒙古语词汇是无限的,因此词典中不可能包罗所有的单词和其诸多的形态变化。研制一套独立、高效的词法分析软件来识别和生成词语以及其形态变化是非常有必要的。我们在本文中介绍了一种蒙古语词法分析器,该分析器采用了基于有限状态自动机的分析算法解决了未登录词识别、非词检查、复合词识别等问题,并大大提高了分析速度,在现代蒙古语句法分析软件中试用后发现与单纯的基于词典或规则的算法相比在速度上提高了将近两个数量级。