论文部分内容阅读
随着网民规模的持续扩增和互联网模式的不断创新,非结构化网络评论文本数据与日俱增,这些数据蕴含着丰富的信息,能够产生巨大的价值空间,但是面对体量庞大的非结构化数据资源,传统的过于依赖人工处理的分析方法在数据的利用上显示出一定的局限性,海量非结构化文本数据的存储、处理、分析和利用对于情报学者而言既是机遇也是挑战。情感分析是一种从非结构化数据中抽取有价值的信息,并利用这些信息解决实际问题的有效方法。深度学习是一系列模拟人脑处理信息的复杂算法,能够通过多层非线性变换将原始数据自动映射到更高级、更抽象的特征空间。基于深度学习的情感分析方法只需要很少的人工干预就能处理大规模文本数据,实现海量非结构化数据资源的揭示、描述和知识发现。本文的研究重点是采用基于深度学习的情感分析方法进行大规模网络股评文本的情感分析,从对分析结果的解读中发现股评师的情感倾向与股市走势的关系,进而为投资者或相关监管部门提供有价值的情报服务。本文重点研究的问题有两个:第一,基于深度学习的方法是否适用于微博股评文本的情感分类;第二,微博大V股评师对未来股市的情感倾向与真实股市走势之间有什么关系。针对第一个问题,本文在梳理了深度学习、自然语言处理和情感分析的相关理论和方法的基础上,将股评文本的情感分类划分为三个子任务,分别是(1)抽取预测型微博;(2)训练词向量;(3)训练分类模型,然后分析比较各子任务可采用的模型,最终确定适合本文研究的模型。针对第二个问题,本文提出采用相关分析和格兰杰因果检验的方法进行研究。本文的研究成果之一是将各部分所使用的模型进行了融合,提出了基于word2vec和LSTM的微博股评文本情感分析的融合模型,该融合模型分为6个步骤:(1)数据采集。以网络爬虫作为数据采集工具,采集微博大V股评师发表的含有“大盘”这一关键词的股评微博;(2)数据预处理。剔除非股评内容;(3)抽取预测型微博。预先标注一部分预测型微博,并采用计算句子相似度的方法抽取其他预测型微博;(4)采用word2vec工具训练词向量;(5)采用LSTM模型训练分类器,并将分类器应用在全部微博股评文本上;(6)构建情感指数时间序列和走势指数时间序列,然后采用相关分析和格兰杰因果检验量化在不同行情区间内情感指数与走势指数的统计关系。本文对基于word2vec和LSTM的微博股评文本情感分析融合模型进行了实证研究,结合实证结果分析,本文发现:(1)基于word2vec和LSTM的微博股评文本情感分类的准确率为75.2%,显著优于基于情感词典的方法和基于经典机器学习的方法,这说明基于深度学习的方法适用于微博股评文本的情感分类任务;(2)微博大V股评师更倾向于发表看涨、看平的微博,在发表负面情感倾向的微博时比较谨慎;(3)当大盘波动剧烈时,微博大V股评师的情感倾向与真实大盘走势之间不存在关联,但在大盘走势平稳期间,微博大V股评师对于未来大盘行情的情感态度对大盘走势有一定的预测作用。