任意类型的未登录词的识别研究

• 作 者: 何燕
• 出 处: 北京语言文化大学
• 发表日期: 2000年01期
• 关键词: 未登录词 单字词

我们利用机器自动分词并经人工校对后的350万字语料，采用统计的方法，对出现在分词碎片中的未登录词进行识别。本文报告了我的实验情况：处理训练语料，从中获得有用的资源；对生语料文本进行两趟分词，第二趟分词是从分词碎片中识别未登录词；进行封闭测试和开放测试，测试的结果及其分析。 未登录词是指词表未收，因而机器不认识的词。机器自动分词一般会把未登录词切成一个一个单字，也就是说现有的一般自动分词方法对未登录词所做的“功”为零。分词碎片是指用这样的方法分词后形成的若干个连续单字。这些单字或者是单字词，或者是未登录词的一部分。所以，要识别出分词碎片中的未登录词，实际上是要区分哪些字形成单字词，哪些字组合起来形成未登录词。如果能首先确定分词碎片中哪些是单字词，那么剩下的相邻的字组合起来就形成了未登录词。如：“已请台湾的”这一分词碎片中，如能确定“已”、“请”、“的”是单字词，剩下的“台湾”就被归为未登录词了。这就是本文识别未登录词的基本思想。以往的未登录词的识别往往需要搜集特定资源，只对某一类型的未登录词进行识别，例如建立中文姓名资料库，进行中文姓名的识别。本文未利用任何有关未登录词的资源，如人名、地名资源，只采用简单的统计单字词共现概率的方法来识别任意类型的未登录词，这是本文最大的特点。 实验结果，开放测试分词碎片中的词的正确率为81.16％，，召回率为81.67％，足以表明这种方法作为一种新思路，是有效的。识别错误和识别难点的分析表明，有效地解决数据稀疏问题是最重要的，而如何制定有明确有效的优先级的规则是最困难的。如果能很好地解决上述问题，未登录词的识别效率就可以满足实用。