自然语言文法分析与学习

• 作 者: 赵彦鹏
• 机 构: 中国科学院大学
• 出 处: 中国科学院大学
• 发表日期: 2018年期
• 关键词: 自然语言处理 文法分析 句法类别 隐变量

成分文法学习与分析是自然语言处理领域重要的一个任务，因为其能够表示语言的结构化信息以及表达语言的含义。成分文法分析使用语法树表示语言的结构化信息和生成过程。很多工作已经证明这种结构化信息有助于自然语言理解和生成的任务。为了得到更好的文法分析结果，研究者通常使用机器学习的方法自动扩展并细化一个基础的概率上下文无关文法。其中一个有效的方式是细化概率上下文无关文法中的句法类别。这种方法为每个句法类别关联一个隐变量，用来表示该句法类别在特定语法树中所呈现的子类别。本文主要探究这种包含隐变量的上下文无关文法模型。本文的主要贡献可分为如下三部分:　　本文提出隐向量文法框架，这种创新的文法框架是对之前隐变量文法模型的一种扩展。在这个文法框架中，每个非终止符关联一个连续的隐向量空间，用来表示该非终止符子类型的集合。对于每个文法规则，隐向量文法在其非终止符子类型上定义一个权重函数，以此来建模文法规则的子类型空间。本文证明现有的隐变量文法和组合向量文法是隐向量文法的一种特例。　　本文提出混合高斯隐向量文法作为隐向量文法的一种特例。混合高斯隐向量文法使用混合高斯函数在非终止符子类型空间上定义文法规则的权重函数。得益于混合高斯函数在加法，乘法，边缘化操作上的闭合属性，配分函数和文法规则子类型的期望值可以通过动态规划算法高效求解，进而能够应用混合高斯隐向量文法进行文法学习与分析。　　本文实现混合高斯隐向量文法并将其应用到词性标注和成分文法分析中。词性标注实验显示混合高斯隐向量模型始终优于隐变量模型，混合高斯隐向量文法在成分文法分析的实验中同样优于隐变量模型，在测试数据集上的F1分值比Berkeley Parser高0.92％。