论文部分内容阅读
摘 要：传统的动态话题模型在高维、稀疏的微博数据上进行话题演化分析时，存在话题数无法确定与结果可解释性差的问题，为此文章提出了一种结合动态话题模型与社区发现技术的话题演化方法，即DTM-LPA方法，即首先利用动态话题模型选取不同时间窗口中具有较高价值的演化词；然后根据各个时间窗口上的微博构造演化词共现网络；再借用标签传播算法找到演化词之间的社区，并根据演化词社区来追踪各个时间窗口上的话题。最后，文章以新浪微博上H7N9禽流感事件为例进行了实证研究，实验结果表明文章所提出的方法能真实地实现微博话题演化分析。
关键词：话题演化；动态话题模型；标签传播算法；社区发现；突发事件
中图分类号： G252 文献标识码： A DOI： 10.11968/tsygb.1003-6938.2015056
Abstract For the topic uncertainty and topic poor interpretabilityof topic model applied on high dimensional and sparse Weibo Dataset， this paper proposes a topic evolution method by combining dynamic topic model and community detection，named DTM-LPA . Firstly， we get the words which have a high evolution value on each time sliceby using dynamic topic model. Then， we build the co-occurrence network of these words according to the microblog on each time slice. Finally， we find the communities by Label propagation algorithm， and track topics of each time slice according to the communities. At last， we do experiment on the Sina Weibo dataset about H7N9 Avian Influenza ，the results showed that our method can analyze the weibo topic evolution .
Key words Topic Evolution； Dynamic Topic Model； Label Propagation Algorithm；Community Detection；Unexpected Event
1 引言
截止2015年3月，新浪微博月均活跃用户数（Mau’s）为1.98亿[1]。尽管每个用户允许发布的微博文本通常受限制于140字以内，但规模如此庞大的微博群体所发布的言论在引发公共议题和公众情绪等方面体现出了强大的舆论引导作用和传播效果。有时微博上一些过激的言论被盲目地操纵或利用，如果不能积极控制与回应，可能小的负面情绪会滚雪球式地被放大，将政府、企业或其他机构推向风口浪尖，因此，研究微博平台上民众对公共突发事件的讨论、跟踪突发事件的事态发展等工作变得尤为重要。
话题演化的首先任务是话题发现，有研究中有专门针对微博上话题识别的研究，如文献[2-4]，也有专门研究话题演化的，如文献[5-6]，但这些方法主要针对的是新闻类或科技文献类的数据上，并不一定适合于微博这样的短文本。为此，本文提出了一种结合动态话题模型与社区发现技术的DTM-LPA话题演化方法。而自2013年3月4日上海第一例人感染禽流感病毒患者死亡开始，H7N9禽流感疫情长时间处于网络舆论的核心，也成为我国微博广泛使用后遇到的第一个全国性突发公共卫生事件，因此本文采用所提出的DTM-LPA方法，以新浪微博（Sina Weibo）上H7N9禽流感事件为例进行研究，重点关注H7N9中民众所关心的话题与话题的演化。
2 话题演化相关研究概述
话题演化衡量的是同一话题随时间推移表现出的动态性、发展性和差异性[7]。在话题检测与跟踪（ Topic Detect ion and Tracking， 简称TDT）中， 话题被定义为一个种子事件或活动以及与之相关的所有事件或活动[8]。但是TDT并没有有效利用语料中的时间信息，随着话题模型[9-11]的兴起，借助话题模型，引入语料中的时间信息，研究话题随时间的演化，逐渐成为在机器学习领域、文本挖掘领域研究的热点。
根据文献[7]的总结，现有以下三类基于话题模型的话题演化方法：（1）将时间信息融入LDA（Latent Dirichlet Allocation）模型中的方法；（2）后离散分析（Post-discretized Analysis） 的方法；（3）按时间先离散（Pre-discretized） 方法。其中，第一类方法是将文本的时间信息作为可观测变量结合到LDA 话题模型中去训练文本集合上话题的分布，如Topic Over Time（TOT） 模型[12]；第二类方法先忽略时间，再在整个文本集合上运用LDA或者LDA的改进模型获取话题，最后利用文本的时间信息检查话题在离散时间上的分布来衡量演化，如2004 年Griffiths 等人[13]提出的方法、2008年Hall 等人[14]提出的方法等；第三类方法先根据其时间信息将文本离散到时间序列上对应的时间窗口内，然后依次地处理每个时间窗口上的文本集合，最终形成话题随时间的演化，如动态话题模型（Dynamic Topic Mo del，DTM）[15]、连续时间的动态话题模型（ Continuous Time Dynamic Topic Model，CT-DT M） [16]、动态混合模型（Dynamic Mixture Model，DMM）[17]、Multiscale Topic Tomography 模型（MTTM）[18]、增量LDA （ Incremental Latent Dirichlet Allocation，ILDA ） [19]等。 上述话题模型中，除了ILDA外，其余方法都假设话题数目是固定不变的，显然这不符合现实。在现实中，随着时间的推移，会产生新话题，也会有旧话题的消亡和分裂。除此之外，利用LDA模型时，话题的表示和话题可解释性也存在比较大的争议。为了提升LDA建模时话题的表示，文献[20]中通过对表示话题的词语进行分析组合，用更有意义的词组（ n-gram） 代替单个词语来表示话题。因此本文也利用话题模型进行话题演化分析，但是本文利用话题模型的主要目的不是得到各个话题内容，而是得到各个时间窗口上有价值的演化词，因此本文可以不受话题模型话题数目不变的限制。另外，在得到有价值的演化词后，本文从词语的关系特性（即语义特征）入手去挖掘各个话题和解释各个话题，并根据不同时间窗口的对比来追踪各个话题的演化。
3 基于DTM-LPA的微博话题演化分析方法
3.1 基本框架
微博具有与传统长文本不同的特点，即内容短小、格式杂乱等，这使得话题演化模型DTM在微博上的运用很不理想，得到的话题很难解释和被理解，为此，本文在不固定话题数目时利用DTM获得高价值的演化词，然后结合这些高价值演化词的共现关系来表征词之间的语义关系，并借用社区发现技术挖掘出的词之间语义关系来解释话题模型结果。在词的语义关系挖掘方面，史剑虹等使用了频繁项集算法FP-growth来挖掘词之间语义关系[2]，但由于FP-growth算法时间复杂度过高，因此该方法不适用于大量微博数据集上使用，本文使用了具有线性时间复杂度算法的标签传播算法（Label Propagation Algorithm，LPA）[21]来实现。本文将基于动态话题模型与社区发现技术想结合的话题演化方法，简称为DTM-LPA微博话题演化分析（基本框架见图1）。
话题演化部分主要利用DTM生成各个时间窗口中高价值的演化词。首先进行数据采集及数据处理，这里的数据处理主要包括数据噪声处理等清洗工作、中文分词、停用词过滤、词大小写的预处理（如“H7N9禽流感”处理成“h7n9禽流感”）；然后根据微博发布的月份划分微博，形成各个月份的微博数据集，处理成DTM所需的格式，利用DTM进行话题演化建模；本文演化结果解释部分主要利用社区发现技术LPA挖掘DTM演化词中隐含的社区。为此，文文先根据DTM得到的结果，抽取每个时间窗口中高价值的演化词，同时根据这些词在各个时间片上的微博原文生成词共现网络；然后利用LPA发现演化词的之间社区，并根据各个社区话题追踪各个时间片上的话题给出演化分析。
3.2 关键技术描述
3.2.1 各个时间窗口中演化词生成及其关键技术
根据文献[22]的分析，从较短时间周期上来看，所有以网络为载体的内容存在着积累性和变革性，存在一个主题内容的“产生”、“生长”、“成熟”、“分化”、“消退”等阶段，同样承载着这些主题内容的这些词也会出现一个“生长”、“爆发”、“流行”、“消退”、“再增长”等不同的阶段。因此，本文使用这类具有生命特征的演化词（见定义1）来进行话题演化分析。
定义1： 演化词是指具备自然衰减特征能代表话题内容的重要词。所谓自然衰减特征是指词在第一次出现后可能在后续文档中不再出现、再次出现、多次出现或一段时间内的频繁出现。
为了生成各个时间窗口中高价值的演化词，本文首先收集了事件生后一年（2013.3-2014.2）的所有相关微博言语文本，并以月为时间粒度划分数据集，借用DTM获取话题在各个时间窗口上的分布强度和话题的内容演化。在DTM模型中，文本先根据其时间信息离散到时间序列上对应的时间窗口内，然后依次地处理每个时间窗口上的文本集合，最终形成话题随时间的演化。DTM模型中下一时刻模型参数往往依赖于当前时刻模型参数的后验（模型见图2），且前后事件参数之间存在以下关联[15]：（1）βt， k| βt-1， k～N（βt-1 k，σ2I）；（2）αt|αt-1～N（t-1，δ2I。
3.2.2 演化词词网络构建及其社区发现关键技术
在利用DTM生成各个时间窗口的演化词后，本文利用各个时间窗口上的微博来构建词网络。本文主要用共现性方式来构建演化词网络。本文定义演化词的共现为：若演化词Termi和Termj同时出现在某一条微博中，则称Termi和Termj共现。这样，演化词共现关系网可以使用一个无向带权图（见定义2）来表示。
定义2： 演化词关系网络是由演化词及演化词共现关系构成的无向带权图，表示为Gr=（Gr，Er，Wr），其中Gr为演化词集，Er为演化词共现关系集，Wr为演化词共现次数集。如果两个演化词出现在一条微博中，则它们之间存在一条边，边的权值也增加1。
在演化词共现关系网构建完成后，由于微博条数较多，构建出的演化词网络规模将很大，本文将使用具有线性时间复杂度的LPA算法找出演化词的社区。LPA（Label Propagation Algorithm，标签传播算法）[23]是 Zhu等人于2002年提出的一种基于图的半监督学习方法，其基本思想是用已标记节点的标签信息去预测未标记节点的标签信息。2007年，Raghavan 等[21]首次将LPA应用于社区发现，并在Zachary Karate网络[24]、College Football网络[25]等真实基准网上进行了测试，结果表明LPA的社区结构检测效果良好。LPA应用于社区发现的步骤为：（1）初始化网络中所有节点的标签，依次为每个节点分配唯一的标签；（2）令迭代次数t=1；（3）随机排列网络中的节点，生成序列X；（4）按照序列X中的顺序，对X中的每个节点 v，使用来更新自身的标签，其中是拥有l标签的v的邻居节点集。如果存在多个标签数量最多时，则随机选择其中一个；（5）如果每个节点具有的标签都是其邻居节点中出现次数最多的标签，那么算法停止，否则令t=t+1，转到步骤（3）。 在衡量社区划分质量时，通常使用的一个指标是模块度（modularity）[26]，其计算公式是：
其中，Aij是网络图的邻接矩阵，m是网络图的边数，Pij表示空模型中节点i和j之间边的期望值，如果节点i和j在同一个社区，δ（Ci，Cj）=1，否则为0。
4 实验与结果分析
4.1 数据集概述
H7N9禽流感疫情属于突发公共卫生事件，在社交媒体上有大量的相关用户生成内容产生和传播。文本使用新浪微博上有关H7N9的微博作为本文实验的数据集。自2013年3月开始，项目组采集集了随后1年时间内有关H7N9的微博数据（使用结巴分词包分词、停用词过滤后得到的各个月份的微博数见表1）。
4.2 结果分析
4.2.1 基于DTM的演化词抽取与演化词共现网络构建
本文仅仅是为了获得各个时间窗口上高价值的演化词，在利用DTM建模时不需要关心文本内的话题数目，为此本文将话题数目设置为1进行DTM建模。
DTM建模过程如下：①编译Blei的DTM①模型；②自编程序将预处理后的微博文档处理成ldac格式，ldac格式要求按时间先后顺序排列各个时段微博，一行一条微博，每一行形式为“词数 词1编号：词1频次 词2编号：词2频次……词n编号：词n频数”（词数只指该微博内不同词的个数，词的编号指该词在整个微博语料集中的编号；③生成微博时间信息文档，文档里包括总的时间窗口数和各个时间窗口上对应的微博数；④设置主题数及最大EM迭代次数进行模型训练。
在利用DTM将训练模型后，最初本文选取了各个时间窗口中前1000个作为有价值的演化词，并根据这些演化词在各个时间窗口的共现关系去了解这些词之间的关系。但是发现每个时间窗口若只根据当前窗口上DTM得到的前1000个词构造出的网络非常稀疏，如根据2013年4月份336177条微博利用DTM上前1000个词构造的加权网络的边数为2815，节点数仅为217，利用其他微博数规模小的月份甚至都难以得到一个完整的网络。上述问题极有可能是由于以下原因导致的：①微博短文本本身就稀疏；②DTM模型中下一时间窗口的模型参数依赖于前一时间窗口的结果，因此不能仅仅根据当前时间窗口中的价值较高的演化词来构造词网络。所以，本文采用了增量式的方法构造重要演化词：当前一个时间窗口的演化词由该时间窗口DTM的前1000个演化词与前面所有时间窗口的所有演化词共同构成。根据增量式的方法得到每个时间窗口的重要演化词后，我们根据在各个时间窗口上的微博文本中的共现构造出了这些演化词的共现网络（结果见表2）。
从结果中可以看出，尽管随着时间的推移，重要演化词的数目在逐渐增加，但是最终得到的共现网络规模并不一直逐渐增大，这主要是因为各时间窗口上微博条数不一样所导致的。
4，2，2 共现网络上的社区发现与微博话题演化结果生成
在得到重要演化词的共现网络后，本文利用LPA算法进行了社区发现，并选取LPA多次执行中模块度最大的结果作为社区划分结果，直到舍弃到在规模小于6的无意义社区后，并按照节点度数从大到小的顺序给出了得到的各个时间窗口中前三个规模大的社区的结果（见图3），基中在2013.04这个月份仅仅得到一个社区，所以只给出了一个社区的结果。
从演化结果可以看出：（1）在这1年的有关H7N9的微博上，H7N9相关的话题还是占主要部分，在每个时间窗口上最大的社区总是“H7N9 禽流感”。但对比各个时间窗口“H7N9 禽流感”这个话题其结果，可以看出还是存在一个大致演化，尤其是在2013.07月，其最大社区内容演化为“新闻通报”与“北京患者研究”相关的2个主要社区，这个“北京”出现与高频词统计结果（见下图4）极为相似；（2）在2013.04月所有的节点都被划分进一个社区，这说明在这个月大家的注意力都集中在“H7N9”方面，讨论的其他话题相对减弱，这也可以从2013.04这一个月的微博数占据量（336177/446126=75%）能得到进一步的验证；（3）除了2013.04外，在其余各个窗口上用户也都会讨论一些日常讨论的内容，如2013.10月的“娱乐”、2013.11月的“金融”、2014.01月的“驱寒”、“过年”、2014.02月“腊味”（表明强烈过年的氛围）、2014.02月的“中国好声音”（“毕夏”为参加“中国好声音”的学员）；（4）从整体上来看，“H7N9禽流感”话题的讨论也引发了大家对“养鸭”等家禽业、“个人卫生”、 “医药产业”、“非典”等话题的讨论。
4.2.3 结果比较分析
最后，在实验中本文使用了基于DTM方法和常用的词频统计方法作为Baseline，得到基于DTM的徽博演化结果（见图4），其中，话题数设置为3，第1、2、3列分别对应图3第一、二、三个话题）可以发现这种DTM结果不太理想：2013.07窗口上有2个话题基本相近，2013.08窗口上也有2个话题基本一样，2013.11窗口上甚至3个话题都是一样。除此之外，整体上各个窗口的差异性很小，微博都在讨论“禽流感”、“死亡”等相关话题，很难细辨出各个窗口讨论的差异。经过多次设置不同的主题数进行DTM建模，其结果可读性均不强。
通过高频词演化结果，直观上每个时间窗口得到的结果极为相似，各个时间窗口的差异性不明显，除了一些“上海”、“北京”、“广东”、“浙江”、“疫苗”词存在差异外，其余高频词都大致一样。可见，在这种只涉及H7N9一个事件的微博文本上，词频统计方法得到的话题可区分性较差，很难识别出各个阶段的话题。
对比三种方法得到的演化结果，可以发现本文提出的基于DTM-LPA方法相对来说更适合分析H7N9事件的演化：能清晰地看出各个时段文本内容演化，更能区分出文本内容演化中词的出现、发展、流行、成熟、消退等阶段（例如，2014.01月“驱寒”、“过年”、2014.02月“腊味”等词的出现）。分析其中的原因，主要在于：本文所用的突发事件语料比较单一（仅仅只选用H7N9这一个突发事件的微博），这样各个时间窗口话题差异性不大，话题太接近，导致DTM和基于词频方法效果差。这也进一步说明DTM方法和基于词频统计方法可能更适合处理话题差异性大的语料上。 5 结语
突发事件话题追踪研究对我国经济、军事和政府部门都有着极大的现实意义和应用需求，因此本文提出了一种结合动态话题模型与社区发现方法的话题追踪分析的方法，并以微博上H7N9禽流感事件为例进行了分析。结果显示本文提出的方法较词频统计法与单纯的动态话题模型方法要好，也能基本呈现出各个时段民众在H7N9禽流感事件期间所讨论的话题。但是，本文同样会存在一个比较大众的问题，即无法给出一个话题演化的评判标准。
尽管本文所提方法能对微博话题进行演化分析，但是对不同时间窗口上的各个话题所处的生命周期（如“新生”、“生长”、“分化”、“消退”）并没有进行深入研究，这将是未来下一步的一个研究工作。除此之外，利用规模更大的其他突发事件语料库进行测试及探索更加合理的话题演化分析评估方法也是本文后续的研究工作。
参考文献：
[1] 2015年第一季度财务报告：微博Q1净营收达9630万美元[EB/OL].[2015-06-18].http：//www.chinabgao.com/stat/stats/42373.html.
[2] 史剑虹， 陈兴蜀， 王文贤. 基于隐主题分析的中文微博话题发现[J]. 计算机应用研究，2014，31（3）：700-704.
[3] 米文丽， 孙曰昕. 利用概率主题模型的微博热点话题发现方法 [J]. 计算机系统应用，2014，23（8）：163 -167.
[4] 郑斐然， 苗夺谦， 张志飞. 一种中文微博新闻话题检测的方法[J]. 计算机科学，2012，39（1）：138-141.
[5] 楚克明， 李芳. 基于 LDA 话题关联的话题演化[J]. 上海交通大学学报，2010，44（11）：1496-1500.
[6] 赵旭剑. 中文新闻话题动态演化及其关键技术研究 [D]. 合肥： 中国科学技术大学， 2012.
[7] 单斌， 李芳. 基于 LDA 话题演化研究方法综述[J]. 中文信息学报，2010，24（6）：43-49.
[8] 洪宇， 张宇， 刘挺， 等. 话题检测与跟踪的评测及研究综述[J]. 中文信息学报，2007，21（6）：71-87.
[9] Hofmann T， editor Probabilistic latent semantic indexing[C]. Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval， 1999： 50-57.
[10] Griffiths T， Steyvers M. A probabilistic approach to semantic representation[C]. Proceedings of the 24th annual conference of the cognitive science society， 2002： 381-386.
[11] Blei DM， Ng AY， Jordan MI. Latent dirichlet allocation[J]. the Journal of machine Learning research，2003（3）：993-1022.
[12] Wang X， McCallum A， editors. Topics over time： a non-Markov continuous-time model of topical trends[C]. Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining， 2006： 424-433.
[13] Griffiths TL， Steyvers M. Finding scientific topics[J]. Proceedings of the National Academy of Sciences.2004，101（suppl 1）： 5228-5235.
[14] Hall D， Jurafsky D， Manning CD. Studying the history of ideas using topic models[C].Proceedings of the conference on empirical methods in natural language processing， 2008： 363-371.
[15] Blei DM， Lafferty JD. Dynamic topic models[C].Proceedings of the 23rd international conference on Machine learning， 2006： 113-120.
[16] Wang C， Blei D， Heckerman D. Continuous time dynamic topic models[J]. arXiv preprint arXiv：12063298.2012.
[17] Wei X， Sun J， Wang X. Dynamic Mixture Models for Multiple Time-Series[C].Proceedings of the International Joint Conference on Artificial Intelligence （IJCAI）， 2007：2909-2914. [18] Nallapati RM， Ditmore S， Lafferty JD， etal. Multiscale topic tomography[C]. In： Proceedings of the 13th ACM SIGKDD international conference on Knowledge discovery and data mining， 2007： 520-529.
[19] Song X， Lin C-Y， Tseng BL， etal. Modeling and predicting personal information dissemination behavior[C]. Proceedings of the eleventh ACM SIGKDD international conference on Knowledge discovery in data mining， 2005： 479-488.
[20] Blei DM， Lafferty JD. Visualizing topics with multi-word expressions[J]. arXiv preprint arXiv：09071013.2009.
[21] Raghavan UN， Albert R， Kumara S. Near linear time algorithm to detect community structures in large-scale networks[J]. Physical Review E.2007，76（3）： 036106.
[22] 洪娜， 钱庆， 李亚子， 等. 网络内容演化趋势影响因素分析——从词的生命周期和背景词簇环境中挖掘演化线索[J]. 情报理论与实践，2012，35（6）：44-48.
[23] Zhu X， Ghahramani Z. Learning from labeled and unlabeled data with label propagation[R]. Technical Report CMU-CALD-02-107， Carnegie Mellon University， 2002.
[24] Zachary WW. An information flow model for conflict and fission in small groups[J]. Journal of anthropological research.1977（33）：452-473.
[25] Girvan M， Newman ME. Community structure in social and biological networks[C]. Proceedings of the National Academy of Sciences，2002： 821–7826.
[26] Newman ME， Girvan M. Finding and evaluating community structure in networks[J]. Physical review E.2004，69（2）： 026113.
作者简介：吴小兰（1982-），女，南京理工大学信息管理系博士研究生，研究方向：信息检索与社区发现；章成志（1977-），男，博士，教授，南京理工大学信息管理系博士生导师，研究方向：信息组织、信息检索、数据挖掘及自然语言处理。
关键词：话题演化；动态话题模型；标签传播算法；社区发现；突发事件
中图分类号： G252 文献标识码： A DOI： 10.11968/tsygb.1003-6938.2015056
Abstract For the topic uncertainty and topic poor interpretabilityof topic model applied on high dimensional and sparse Weibo Dataset， this paper proposes a topic evolution method by combining dynamic topic model and community detection，named DTM-LPA . Firstly， we get the words which have a high evolution value on each time sliceby using dynamic topic model. Then， we build the co-occurrence network of these words according to the microblog on each time slice. Finally， we find the communities by Label propagation algorithm， and track topics of each time slice according to the communities. At last， we do experiment on the Sina Weibo dataset about H7N9 Avian Influenza ，the results showed that our method can analyze the weibo topic evolution .
Key words Topic Evolution； Dynamic Topic Model； Label Propagation Algorithm；Community Detection；Unexpected Event
1 引言
截止2015年3月，新浪微博月均活跃用户数（Mau’s）为1.98亿[1]。尽管每个用户允许发布的微博文本通常受限制于140字以内，但规模如此庞大的微博群体所发布的言论在引发公共议题和公众情绪等方面体现出了强大的舆论引导作用和传播效果。有时微博上一些过激的言论被盲目地操纵或利用，如果不能积极控制与回应，可能小的负面情绪会滚雪球式地被放大，将政府、企业或其他机构推向风口浪尖，因此，研究微博平台上民众对公共突发事件的讨论、跟踪突发事件的事态发展等工作变得尤为重要。
话题演化的首先任务是话题发现，有研究中有专门针对微博上话题识别的研究，如文献[2-4]，也有专门研究话题演化的，如文献[5-6]，但这些方法主要针对的是新闻类或科技文献类的数据上，并不一定适合于微博这样的短文本。为此，本文提出了一种结合动态话题模型与社区发现技术的DTM-LPA话题演化方法。而自2013年3月4日上海第一例人感染禽流感病毒患者死亡开始，H7N9禽流感疫情长时间处于网络舆论的核心，也成为我国微博广泛使用后遇到的第一个全国性突发公共卫生事件，因此本文采用所提出的DTM-LPA方法，以新浪微博（Sina Weibo）上H7N9禽流感事件为例进行研究，重点关注H7N9中民众所关心的话题与话题的演化。
2 话题演化相关研究概述
话题演化衡量的是同一话题随时间推移表现出的动态性、发展性和差异性[7]。在话题检测与跟踪（ Topic Detect ion and Tracking， 简称TDT）中， 话题被定义为一个种子事件或活动以及与之相关的所有事件或活动[8]。但是TDT并没有有效利用语料中的时间信息，随着话题模型[9-11]的兴起，借助话题模型，引入语料中的时间信息，研究话题随时间的演化，逐渐成为在机器学习领域、文本挖掘领域研究的热点。
根据文献[7]的总结，现有以下三类基于话题模型的话题演化方法：（1）将时间信息融入LDA（Latent Dirichlet Allocation）模型中的方法；（2）后离散分析（Post-discretized Analysis） 的方法；（3）按时间先离散（Pre-discretized） 方法。其中，第一类方法是将文本的时间信息作为可观测变量结合到LDA 话题模型中去训练文本集合上话题的分布，如Topic Over Time（TOT） 模型[12]；第二类方法先忽略时间，再在整个文本集合上运用LDA或者LDA的改进模型获取话题，最后利用文本的时间信息检查话题在离散时间上的分布来衡量演化，如2004 年Griffiths 等人[13]提出的方法、2008年Hall 等人[14]提出的方法等；第三类方法先根据其时间信息将文本离散到时间序列上对应的时间窗口内，然后依次地处理每个时间窗口上的文本集合，最终形成话题随时间的演化，如动态话题模型（Dynamic Topic Mo del，DTM）[15]、连续时间的动态话题模型（ Continuous Time Dynamic Topic Model，CT-DT M） [16]、动态混合模型（Dynamic Mixture Model，DMM）[17]、Multiscale Topic Tomography 模型（MTTM）[18]、增量LDA （ Incremental Latent Dirichlet Allocation，ILDA ） [19]等。 上述话题模型中，除了ILDA外，其余方法都假设话题数目是固定不变的，显然这不符合现实。在现实中，随着时间的推移，会产生新话题，也会有旧话题的消亡和分裂。除此之外，利用LDA模型时，话题的表示和话题可解释性也存在比较大的争议。为了提升LDA建模时话题的表示，文献[20]中通过对表示话题的词语进行分析组合，用更有意义的词组（ n-gram） 代替单个词语来表示话题。因此本文也利用话题模型进行话题演化分析，但是本文利用话题模型的主要目的不是得到各个话题内容，而是得到各个时间窗口上有价值的演化词，因此本文可以不受话题模型话题数目不变的限制。另外，在得到有价值的演化词后，本文从词语的关系特性（即语义特征）入手去挖掘各个话题和解释各个话题，并根据不同时间窗口的对比来追踪各个话题的演化。
3 基于DTM-LPA的微博话题演化分析方法
3.1 基本框架
微博具有与传统长文本不同的特点，即内容短小、格式杂乱等，这使得话题演化模型DTM在微博上的运用很不理想，得到的话题很难解释和被理解，为此，本文在不固定话题数目时利用DTM获得高价值的演化词，然后结合这些高价值演化词的共现关系来表征词之间的语义关系，并借用社区发现技术挖掘出的词之间语义关系来解释话题模型结果。在词的语义关系挖掘方面，史剑虹等使用了频繁项集算法FP-growth来挖掘词之间语义关系[2]，但由于FP-growth算法时间复杂度过高，因此该方法不适用于大量微博数据集上使用，本文使用了具有线性时间复杂度算法的标签传播算法（Label Propagation Algorithm，LPA）[21]来实现。本文将基于动态话题模型与社区发现技术想结合的话题演化方法，简称为DTM-LPA微博话题演化分析（基本框架见图1）。
话题演化部分主要利用DTM生成各个时间窗口中高价值的演化词。首先进行数据采集及数据处理，这里的数据处理主要包括数据噪声处理等清洗工作、中文分词、停用词过滤、词大小写的预处理（如“H7N9禽流感”处理成“h7n9禽流感”）；然后根据微博发布的月份划分微博，形成各个月份的微博数据集，处理成DTM所需的格式，利用DTM进行话题演化建模；本文演化结果解释部分主要利用社区发现技术LPA挖掘DTM演化词中隐含的社区。为此，文文先根据DTM得到的结果，抽取每个时间窗口中高价值的演化词，同时根据这些词在各个时间片上的微博原文生成词共现网络；然后利用LPA发现演化词的之间社区，并根据各个社区话题追踪各个时间片上的话题给出演化分析。
3.2 关键技术描述
3.2.1 各个时间窗口中演化词生成及其关键技术
根据文献[22]的分析，从较短时间周期上来看，所有以网络为载体的内容存在着积累性和变革性，存在一个主题内容的“产生”、“生长”、“成熟”、“分化”、“消退”等阶段，同样承载着这些主题内容的这些词也会出现一个“生长”、“爆发”、“流行”、“消退”、“再增长”等不同的阶段。因此，本文使用这类具有生命特征的演化词（见定义1）来进行话题演化分析。
定义1： 演化词是指具备自然衰减特征能代表话题内容的重要词。所谓自然衰减特征是指词在第一次出现后可能在后续文档中不再出现、再次出现、多次出现或一段时间内的频繁出现。
为了生成各个时间窗口中高价值的演化词，本文首先收集了事件生后一年（2013.3-2014.2）的所有相关微博言语文本，并以月为时间粒度划分数据集，借用DTM获取话题在各个时间窗口上的分布强度和话题的内容演化。在DTM模型中，文本先根据其时间信息离散到时间序列上对应的时间窗口内，然后依次地处理每个时间窗口上的文本集合，最终形成话题随时间的演化。DTM模型中下一时刻模型参数往往依赖于当前时刻模型参数的后验（模型见图2），且前后事件参数之间存在以下关联[15]：（1）βt， k| βt-1， k～N（βt-1 k，σ2I）；（2）αt|αt-1～N（t-1，δ2I。
3.2.2 演化词词网络构建及其社区发现关键技术
在利用DTM生成各个时间窗口的演化词后，本文利用各个时间窗口上的微博来构建词网络。本文主要用共现性方式来构建演化词网络。本文定义演化词的共现为：若演化词Termi和Termj同时出现在某一条微博中，则称Termi和Termj共现。这样，演化词共现关系网可以使用一个无向带权图（见定义2）来表示。
定义2： 演化词关系网络是由演化词及演化词共现关系构成的无向带权图，表示为Gr=（Gr，Er，Wr），其中Gr为演化词集，Er为演化词共现关系集，Wr为演化词共现次数集。如果两个演化词出现在一条微博中，则它们之间存在一条边，边的权值也增加1。
在演化词共现关系网构建完成后，由于微博条数较多，构建出的演化词网络规模将很大，本文将使用具有线性时间复杂度的LPA算法找出演化词的社区。LPA（Label Propagation Algorithm，标签传播算法）[23]是 Zhu等人于2002年提出的一种基于图的半监督学习方法，其基本思想是用已标记节点的标签信息去预测未标记节点的标签信息。2007年，Raghavan 等[21]首次将LPA应用于社区发现，并在Zachary Karate网络[24]、College Football网络[25]等真实基准网上进行了测试，结果表明LPA的社区结构检测效果良好。LPA应用于社区发现的步骤为：（1）初始化网络中所有节点的标签，依次为每个节点分配唯一的标签；（2）令迭代次数t=1；（3）随机排列网络中的节点，生成序列X；（4）按照序列X中的顺序，对X中的每个节点 v，使用来更新自身的标签，其中是拥有l标签的v的邻居节点集。如果存在多个标签数量最多时，则随机选择其中一个；（5）如果每个节点具有的标签都是其邻居节点中出现次数最多的标签，那么算法停止，否则令t=t+1，转到步骤（3）。 在衡量社区划分质量时，通常使用的一个指标是模块度（modularity）[26]，其计算公式是：
其中，Aij是网络图的邻接矩阵，m是网络图的边数，Pij表示空模型中节点i和j之间边的期望值，如果节点i和j在同一个社区，δ（Ci，Cj）=1，否则为0。
4 实验与结果分析
4.1 数据集概述
H7N9禽流感疫情属于突发公共卫生事件，在社交媒体上有大量的相关用户生成内容产生和传播。文本使用新浪微博上有关H7N9的微博作为本文实验的数据集。自2013年3月开始，项目组采集集了随后1年时间内有关H7N9的微博数据（使用结巴分词包分词、停用词过滤后得到的各个月份的微博数见表1）。
4.2 结果分析
4.2.1 基于DTM的演化词抽取与演化词共现网络构建
本文仅仅是为了获得各个时间窗口上高价值的演化词，在利用DTM建模时不需要关心文本内的话题数目，为此本文将话题数目设置为1进行DTM建模。
DTM建模过程如下：①编译Blei的DTM①模型；②自编程序将预处理后的微博文档处理成ldac格式，ldac格式要求按时间先后顺序排列各个时段微博，一行一条微博，每一行形式为“词数 词1编号：词1频次 词2编号：词2频次……词n编号：词n频数”（词数只指该微博内不同词的个数，词的编号指该词在整个微博语料集中的编号；③生成微博时间信息文档，文档里包括总的时间窗口数和各个时间窗口上对应的微博数；④设置主题数及最大EM迭代次数进行模型训练。
在利用DTM将训练模型后，最初本文选取了各个时间窗口中前1000个作为有价值的演化词，并根据这些演化词在各个时间窗口的共现关系去了解这些词之间的关系。但是发现每个时间窗口若只根据当前窗口上DTM得到的前1000个词构造出的网络非常稀疏，如根据2013年4月份336177条微博利用DTM上前1000个词构造的加权网络的边数为2815，节点数仅为217，利用其他微博数规模小的月份甚至都难以得到一个完整的网络。上述问题极有可能是由于以下原因导致的：①微博短文本本身就稀疏；②DTM模型中下一时间窗口的模型参数依赖于前一时间窗口的结果，因此不能仅仅根据当前时间窗口中的价值较高的演化词来构造词网络。所以，本文采用了增量式的方法构造重要演化词：当前一个时间窗口的演化词由该时间窗口DTM的前1000个演化词与前面所有时间窗口的所有演化词共同构成。根据增量式的方法得到每个时间窗口的重要演化词后，我们根据在各个时间窗口上的微博文本中的共现构造出了这些演化词的共现网络（结果见表2）。
从结果中可以看出，尽管随着时间的推移，重要演化词的数目在逐渐增加，但是最终得到的共现网络规模并不一直逐渐增大，这主要是因为各时间窗口上微博条数不一样所导致的。
4，2，2 共现网络上的社区发现与微博话题演化结果生成
在得到重要演化词的共现网络后，本文利用LPA算法进行了社区发现，并选取LPA多次执行中模块度最大的结果作为社区划分结果，直到舍弃到在规模小于6的无意义社区后，并按照节点度数从大到小的顺序给出了得到的各个时间窗口中前三个规模大的社区的结果（见图3），基中在2013.04这个月份仅仅得到一个社区，所以只给出了一个社区的结果。
从演化结果可以看出：（1）在这1年的有关H7N9的微博上，H7N9相关的话题还是占主要部分，在每个时间窗口上最大的社区总是“H7N9 禽流感”。但对比各个时间窗口“H7N9 禽流感”这个话题其结果，可以看出还是存在一个大致演化，尤其是在2013.07月，其最大社区内容演化为“新闻通报”与“北京患者研究”相关的2个主要社区，这个“北京”出现与高频词统计结果（见下图4）极为相似；（2）在2013.04月所有的节点都被划分进一个社区，这说明在这个月大家的注意力都集中在“H7N9”方面，讨论的其他话题相对减弱，这也可以从2013.04这一个月的微博数占据量（336177/446126=75%）能得到进一步的验证；（3）除了2013.04外，在其余各个窗口上用户也都会讨论一些日常讨论的内容，如2013.10月的“娱乐”、2013.11月的“金融”、2014.01月的“驱寒”、“过年”、2014.02月“腊味”（表明强烈过年的氛围）、2014.02月的“中国好声音”（“毕夏”为参加“中国好声音”的学员）；（4）从整体上来看，“H7N9禽流感”话题的讨论也引发了大家对“养鸭”等家禽业、“个人卫生”、 “医药产业”、“非典”等话题的讨论。
4.2.3 结果比较分析
最后，在实验中本文使用了基于DTM方法和常用的词频统计方法作为Baseline，得到基于DTM的徽博演化结果（见图4），其中，话题数设置为3，第1、2、3列分别对应图3第一、二、三个话题）可以发现这种DTM结果不太理想：2013.07窗口上有2个话题基本相近，2013.08窗口上也有2个话题基本一样，2013.11窗口上甚至3个话题都是一样。除此之外，整体上各个窗口的差异性很小，微博都在讨论“禽流感”、“死亡”等相关话题，很难细辨出各个窗口讨论的差异。经过多次设置不同的主题数进行DTM建模，其结果可读性均不强。
通过高频词演化结果，直观上每个时间窗口得到的结果极为相似，各个时间窗口的差异性不明显，除了一些“上海”、“北京”、“广东”、“浙江”、“疫苗”词存在差异外，其余高频词都大致一样。可见，在这种只涉及H7N9一个事件的微博文本上，词频统计方法得到的话题可区分性较差，很难识别出各个阶段的话题。
对比三种方法得到的演化结果，可以发现本文提出的基于DTM-LPA方法相对来说更适合分析H7N9事件的演化：能清晰地看出各个时段文本内容演化，更能区分出文本内容演化中词的出现、发展、流行、成熟、消退等阶段（例如，2014.01月“驱寒”、“过年”、2014.02月“腊味”等词的出现）。分析其中的原因，主要在于：本文所用的突发事件语料比较单一（仅仅只选用H7N9这一个突发事件的微博），这样各个时间窗口话题差异性不大，话题太接近，导致DTM和基于词频方法效果差。这也进一步说明DTM方法和基于词频统计方法可能更适合处理话题差异性大的语料上。 5 结语
突发事件话题追踪研究对我国经济、军事和政府部门都有着极大的现实意义和应用需求，因此本文提出了一种结合动态话题模型与社区发现方法的话题追踪分析的方法，并以微博上H7N9禽流感事件为例进行了分析。结果显示本文提出的方法较词频统计法与单纯的动态话题模型方法要好，也能基本呈现出各个时段民众在H7N9禽流感事件期间所讨论的话题。但是，本文同样会存在一个比较大众的问题，即无法给出一个话题演化的评判标准。
尽管本文所提方法能对微博话题进行演化分析，但是对不同时间窗口上的各个话题所处的生命周期（如“新生”、“生长”、“分化”、“消退”）并没有进行深入研究，这将是未来下一步的一个研究工作。除此之外，利用规模更大的其他突发事件语料库进行测试及探索更加合理的话题演化分析评估方法也是本文后续的研究工作。
参考文献：
[1] 2015年第一季度财务报告：微博Q1净营收达9630万美元[EB/OL].[2015-06-18].http：//www.chinabgao.com/stat/stats/42373.html.
[2] 史剑虹， 陈兴蜀， 王文贤. 基于隐主题分析的中文微博话题发现[J]. 计算机应用研究，2014，31（3）：700-704.
[3] 米文丽， 孙曰昕. 利用概率主题模型的微博热点话题发现方法 [J]. 计算机系统应用，2014，23（8）：163 -167.
[4] 郑斐然， 苗夺谦， 张志飞. 一种中文微博新闻话题检测的方法[J]. 计算机科学，2012，39（1）：138-141.
[5] 楚克明， 李芳. 基于 LDA 话题关联的话题演化[J]. 上海交通大学学报，2010，44（11）：1496-1500.
[6] 赵旭剑. 中文新闻话题动态演化及其关键技术研究 [D]. 合肥： 中国科学技术大学， 2012.
[7] 单斌， 李芳. 基于 LDA 话题演化研究方法综述[J]. 中文信息学报，2010，24（6）：43-49.
[8] 洪宇， 张宇， 刘挺， 等. 话题检测与跟踪的评测及研究综述[J]. 中文信息学报，2007，21（6）：71-87.
[9] Hofmann T， editor Probabilistic latent semantic indexing[C]. Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval， 1999： 50-57.
[10] Griffiths T， Steyvers M. A probabilistic approach to semantic representation[C]. Proceedings of the 24th annual conference of the cognitive science society， 2002： 381-386.
[11] Blei DM， Ng AY， Jordan MI. Latent dirichlet allocation[J]. the Journal of machine Learning research，2003（3）：993-1022.
[12] Wang X， McCallum A， editors. Topics over time： a non-Markov continuous-time model of topical trends[C]. Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining， 2006： 424-433.
[13] Griffiths TL， Steyvers M. Finding scientific topics[J]. Proceedings of the National Academy of Sciences.2004，101（suppl 1）： 5228-5235.
[14] Hall D， Jurafsky D， Manning CD. Studying the history of ideas using topic models[C].Proceedings of the conference on empirical methods in natural language processing， 2008： 363-371.
[15] Blei DM， Lafferty JD. Dynamic topic models[C].Proceedings of the 23rd international conference on Machine learning， 2006： 113-120.
[16] Wang C， Blei D， Heckerman D. Continuous time dynamic topic models[J]. arXiv preprint arXiv：12063298.2012.
[17] Wei X， Sun J， Wang X. Dynamic Mixture Models for Multiple Time-Series[C].Proceedings of the International Joint Conference on Artificial Intelligence （IJCAI）， 2007：2909-2914. [18] Nallapati RM， Ditmore S， Lafferty JD， etal. Multiscale topic tomography[C]. In： Proceedings of the 13th ACM SIGKDD international conference on Knowledge discovery and data mining， 2007： 520-529.
[19] Song X， Lin C-Y， Tseng BL， etal. Modeling and predicting personal information dissemination behavior[C]. Proceedings of the eleventh ACM SIGKDD international conference on Knowledge discovery in data mining， 2005： 479-488.
[20] Blei DM， Lafferty JD. Visualizing topics with multi-word expressions[J]. arXiv preprint arXiv：09071013.2009.
[21] Raghavan UN， Albert R， Kumara S. Near linear time algorithm to detect community structures in large-scale networks[J]. Physical Review E.2007，76（3）： 036106.
[22] 洪娜， 钱庆， 李亚子， 等. 网络内容演化趋势影响因素分析——从词的生命周期和背景词簇环境中挖掘演化线索[J]. 情报理论与实践，2012，35（6）：44-48.
[23] Zhu X， Ghahramani Z. Learning from labeled and unlabeled data with label propagation[R]. Technical Report CMU-CALD-02-107， Carnegie Mellon University， 2002.
[24] Zachary WW. An information flow model for conflict and fission in small groups[J]. Journal of anthropological research.1977（33）：452-473.
[25] Girvan M， Newman ME. Community structure in social and biological networks[C]. Proceedings of the National Academy of Sciences，2002： 821–7826.
[26] Newman ME， Girvan M. Finding and evaluating community structure in networks[J]. Physical review E.2004，69（2）： 026113.
作者简介：吴小兰（1982-），女，南京理工大学信息管理系博士研究生，研究方向：信息检索与社区发现；章成志（1977-），男，博士，教授，南京理工大学信息管理系博士生导师，研究方向：信息组织、信息检索、数据挖掘及自然语言处理。