论文部分内容阅读
语义分析是自然语言处理领域多年来研究的热点和难点问题,也是当前机器翻译、信息检索、搜索引擎等应用系统面临的主要技术瓶颈。汉语框架语义角色识别是面向汉语的框架语义分析中一个重要环节。目前,基于双向长短期记忆的神经网络(BiLSTM)在语义角色识别与标注任务上使用较多,并且取得了很好的效果。但该类模型也存在着一些问题,如模型的预测结果并不稳定,可复现性较差;在大的语料上训练模型需要很大的计算开销;模型的性能也和输入端特征的设置紧密相关等。为此,本文研究基于BiLSTM模型进行汉语框架语义角色识别任务的建模方法,重点研究建模中的超参数调优和模型输入端特征的表示学习的改进方法。本文将当前词、当前词的词性、目标词和当前词相对目标词的位置信息4个输入端特征,以及BiLSTM层次数目、模型顶层是否添加CRF分类器2个模型架构的设计选项,统一做为模型的超参数。传统的超参数调优方法,一般都将完整语料按照所谓标准的8:1:1比例切分,采用超参数逐个加入模型的贪心策略来选到最优的超参数组合,但该方法计算开销大,结果依赖超参数进入模型的顺序,稳定性较差。为此,本文提出了一种基于稳健设计的模型超参数调优方法,该方法只需要在较小的语料上以3×2交叉验证方法来安排实验,在每组超参数配置下,可同时获得模型性能评价指标估计的均值和方差,再采用稳健设计的思想,以模型性能指标的信噪比为优化目标来选择模型的超参数的最优配置组合。对比实验结果表明,本文的小语料上的调优方法优于传统的在完整语料上8:1:1切分的基于贪心策略的调优方法,且本文的调优方法还可以使用方差分析方法(ANOVA)定量分析得到哪些超参数对模型性能指标有显著影响,使得选出的最优超参数配置模型具有一定的可解释性。本文对模型输入端特征的表示学习,提出了三种改进方法。其一是对当前词特征的GloVe表示学习方法进行了改进,提出了一种校正GloVe的词表示学习方法,基于Zip’f分布对GloVe的共现矩阵中的共现频次进行校正从而学习到更高精度的词向量。其二是给出了一种能区分左、右上下文信息的GloVe的词表示学习方法,分别基于左、右窗口内的上下文信息统计得到两个共现矩阵,然后基于这两个共现矩阵使用GloVe模型学习得到蕴含左侧和右侧上下文信息的的词向量,该词向量可有效融入当前词相对于句中目标词的左右位置信息。其三是提出了一种基于框架排歧任务的框架表示学习方法,该方法学习到的框架表示能最大化区分同一个词元激起的不同框架,有效地将目标词的框架表示信息融入到模型中。实验结果表明,这三种改进方法,都不同程度地提升了语义角色识别模型的性能。本文方法为基于深度神经网络模型的其他自然语言处理任务建模中的超参数调优和输入端特征的表示学习问题提供了新的解决思路。