基于LDA和潜在特征向量的文本表示模型研究

• 作 者: 彭怀瑾
• 出 处: 北京邮电大学
• 发表日期: 2019年01期
• 关键词: LDA 特征向量 主题模型 文本表示 文本分类

文本分类作为处理非结构化信息的一种有效手段,在自然语言处理领域得到了广泛研究和应用。然而由于文本数据具有非结构化、高维性、高稀疏性等特征,因此能否有效地表示文本信息是影响后续文本处理效果的关键因素,文本分类的效果也高度依赖于文本表示模型的效果。常用的文本表示方法是基于文本主题的文本表示,因此主题模型的准确度直接影响文本表示的精度。本文主要从文本主题模型和文本表示模型两个方面展开研究。LDA模型是以全局的观念预测文档中的每个词,但它不包含文本特征词的上下文关系,缺失了文章的局部语义信息。目前基于LDA和潜在特征的模型改进方法分为两类,一类针对短文本,通过在大语料集上扩展词向量库改善模型效果;另一类通过词向量加和直接计算主题向量,此类方法词向量与主题向量分属不同语义空间,表示并不准确。考虑到LDA与现有改进模型的优缺点,本文将包含了文本语义特征的潜在特征向量引入模型,提出了基于LDA和潜在特征向量的文本主题表示模型LFV-LDA,在同一语义向量空间训练词向量、主题向量以及文档-主题-词的层次分布,改进后的模型可以直接输出文本主题向量。在新闻语料上对LFV-LDA模型进行训练和测试的实验结果表明,基于LDA和潜在特征向量的文本主题表示效果相对于传统的主题模型以及同类的LDA改进模型有了一定程度的改善。获得在文本分类中表现良好的文本主题向量后,本文在此基础上提出了两种文本表示方法。第一种是基于主题向量的概率分布关系的文本表示方法,该方法通过归一化加权统计主题向量的方式进行文本表示。第二种是基于Doc2Vec和主题向量的文本表示模型,该模型通过度量模型训练出的文档向量与主题向量的距离来将主题信息融入文本表示。最后在新闻语料上对模型进行训练和测试,实验结果表明,两个模型相较于传统模型都获得了更好的文本分类效果,且第二种文本表示模型效果优于第一种。