论文部分内容阅读
随着互联网的快速发展，海量、分布、异构、动态变化的各类信息不断涌现。如何从这些海量信息中挖掘出用户感兴趣的知识，成为当前研究的重点之一。主题模型做为一种近些年兴起的工具，能够捕获潜在的语义结构信息，在自然语言处理领域受到了越来越多的关注。本论文主要研究主题模型及其应用，重点研究了基于MapReduce的概率潜在语义分析(Probabilistic LatentSemantic Analysis，PLSA)模型、加权增量主题模型、基于频繁词的主题模型及在文本聚类中的应用、基于语义相似度的主题模型。取得的主要创新成果包括以下四个方面: 1.提出了一种基于MapReduce的并行PLSA算法，将MapReduce的并行机制运用到PLSA算法的求解过程，对算法思想、并行化策略、以及实现方法进行了详细的分析与介绍，通过对经典数据集上的实验分析，表明所提出的基于MapReduce的并行PLSA算法获得了良好的加速比，具有良好的伸缩和扩展性能，能够有效提高算法的执行效率，从而更加适合于处理规模较大的主题建模问题。 2.传统的主题模型存在两方面问题:其一计算复杂，对于动态变化的文本，需要重新训练模型，计算量比较大。其二，难以处理海量文本信息。针对这两个问题，提出了加权增量的PLSA算法，用增量的方式对带有时间标签的文档进行建模，在训练过程中考虑先验和当前文本的统计信息，并在二者之间加入了权重用以调节比例，权重用新旧文档之间的相似度进行度量，无需人工干预。在网易新闻数据上的实验表明，所提算法能够增量地学习出随时间变化的主题。 3.针对从海量文本中发现主题的任务，传统的VSM(Vector Space Model)模型在表示文本时，会出现数据稀疏(Data Sparseness)现象，导致现有信息的信息量不足，影响主题建模的效果。而对于文本信息而言，相同领域或主题内的词汇共同出现在同一篇文档中的概率相对较高。基于这样的前提，我们将文本中的频繁词信息作为一种补充知识加入到词空间中，并将其用于文本聚类中。实验表明所提算法在经典的文本数据集上表现出了较好的聚类效果。另外，为了提高寻找频繁词的效率，本文提出了基于MapReduce的并行Apriori算法，具有良好的加速比性能。 4.主题模型主要利用词语的共现信息来进行建模，对于给定的词，可以根据建模结果找到与其主题相近的词。对于在训练文本中未出现过的词，为找到其主题，我们引入词语相似度的思想，用旧词在主题上的概率值和旧词与新词之间的相似度共同决定新词在主题上的概率。在Twitter数据上的实验表明，对于未在训练文本中出现的新词，所提算法可以找到合适的主题与之对应。