论文部分内容阅读
文字输入作为人机交互中一个相当重要的环节,对于计算机的使用几乎是不可或缺的。高效快捷的汉语文字输入一直是使用汉语的人们使用计算机的最基本的需求,而且这个需求越来越紧迫。深度学习技术自出现以来已经在机器视觉、语音识别、自动问答、机器翻译等领域取得了非常大进步,本文研究基于深度学习的输入法,希望通过深度学习技术使汉语文字输入变得更准确更高效。本文研究内容可以归纳为以下几点:(1)传统的输入法模型研究以及改进。几乎现在所有流行的输入法都使用隐马尔科夫模型(HMM)进行音字转换。本文实现了使用HMM进行音字转换,并且使用RNNs改进了HMM模型的状态转移过程。在音字转换试验中转换的准确率提高了5个百分点。(2)基于深度学习模型的输入法。音字转换过程可以看成是一个序列标注的过程,输入序列为拼音串,标注的标签为汉字字符。本文研究了使用双向LSTM模型,从序列标注的角度实现了音字转换系统。如果将汉语拼音和汉字看成两种独立的语言,音字转换过程又可以看作是一个机器翻译的过程,本文使用机器翻译领域使用的Seq2Seq模型实现了音字转换。(3)对Seq2Seq模型的研究。本文研究了Attention机制对于Seq2Seq模型的影响,分别研究了两种Attention机制分别是Global Attention和Local Attention对于Seq2Seq模型在音字转换任务上的影响。除此之外本文提出了使用CNNs作为编码器LSTMs作为解码器的Seq2Seq模型。这个模型在结合了Local Attention和position embedding技术后在音字转换实验上相对于没有使用Attention机制的baseline模型准确率提高了3个百分点。(4)本文在研究音字转换的基础上,完成了一个完整的输入法内核系统。系统包括拼音串的切,整句转换、候选字、候选词、候选短语的生成和界面展示部分。除此之外本文实现的输入法系统通过24小时不间断爬取互联网上的新数据,具备了新词挖掘功能和输入法模型不断自动更新的功能。通过不断的新词发现和模型的不断自动迭代更新,能不断学习互联网上新的词新用法和汉语语言不断衍化出来的新特点,使用户能够通过拼音输入具有最新特点的汉语语句。与哈工大网络智能实验室目前的WI输入法相比,本文最新的输入法模型在全拼整句输入上比WI输入法准确率高将近5个百分点;在九宫格整句输入上提升了将近4个百分点。