论文部分内容阅读
大数据时代不仅数据量巨大，更新迅速，使用更具随机性，而且数据结构异常复杂，80% 以上都是诸如文本、视频、音频、邮件、图片等非结构化数据。并且数据格式之间互不兼容，这给数据的提取、分析、应用带来了很大困难。多音字、多义词，中文的博大精深更是给文本数据分析带来了难点。
而深圳市颖源科技有限公司开发的股市情绪分析系统正是利用这些难以分析的文本数据，分析出投资者的情绪变化，从而洞察股市行情。
情绪分析洞悉股市变化
实时抓取互联网中的财经数据，找出每篇博客、微博、新闻中关于每支股票的观点和情绪，汇总数据并告诉用户此时的看涨看跌比例，这就是股市情绪分析系统。
早在2010年10月，国际知名学术网站arXiv. org刊登的一篇研究报告称，Twitter中的“镇定度”水平能够提前2至6天预测道琼斯工业平均指数的走向，并且准确度可达到87.6%。
投资者行为不像传统金融学认为的那样具有理性化，由于投资者的情绪和偏见经常剧烈影响着价格波动，金融行为学对这些现象提供了一些很好的诠释。股市情绪分析系统是基于金融行为学理论和客观的机器学习算法，对股市涨跌数据、社会化媒体言论数据进行采集和挖掘。该系统计算出来的结果能够帮助投资者洞察股市的情绪，从而进行市场预测。
当忧虑指数达到最高点的时候，往往股市是比较低迷的时候，忧虑指数处于低点的时候往往预示着股市处于高涨期。
股市情绪分析在国外已有人尝试，MarketPsych是股市情绪分析的先驱，由心理学家创立的这家公司从事股市形势分析已有七八年的时间。MarketPsych投资公司每天会对全球200万篇文章进行抽取和采集，然后进行分析，分析6000多家公司投资者的情绪，为投资者提供参考。
而成立于1995年的颖源科技是伴随着互联网的发展而迅速发展起来的一家公司。如今，颖源科技将注意力集中到大数据上，计划未来致力于大数据的投资和发展。
深圳市颖源科技CEO时俊杰介绍说，股市情绪分析系统是在IBM BigInsights平台上开发的系统架构，目前主要和新浪与腾讯微博进行合作，通过开放接口采集投资者对于股市的评价或对市场涨跌情绪的表达，通过情绪分析引擎进行分析。
采集到的微博要先经过预处理，去掉重复话语和广告成分，再进行分类。经过预处理后还要进行断句才能进入半监督的机器训练（半监督机器训练是最近几年提出来的机器学习算法）。
时俊杰说，半监督机器训练先要设定算法，需要将微博样本通过人工进行标注，建立规则库后交给计算机自动进行训练，分析出来该条微博所表达的情绪值，然后将它放到模式匹配库里存放。新采集到的微博先跟模式匹配库进行比对，如果在模式匹配库里已经存在了这样的句子，就可以计算出它的情绪值。如果在模式匹配库里没有，则需要再根据规则库进行计算。这是一个不断迭代和优化的过程。
增加多情绪维度
时俊杰表示，在股市情绪分析系统的研发过程中IBM BigInsights提供了非常可靠、高效的大数据处理平台，不仅加强了开源的Hadoop系统，搭建了能够支持企业级大数据的分析平台，且平台易用性和可视化管理等工具使得颖源科技在情绪分析系统研发过程中不是把精力花在平台适应上，而是花在应用研发上。
同时，由于IBM BigInsights设计了企业级节点冗余，减少了宕机概率，通过PC Server经过节点扩展的分布式并行计算架构降低了成本，提高了运行速度。
“Hadoop本身是一个并行架构，可以充分发挥并行架构的优势。举例来说，之前开放网站流量分析软件时我们采用的是传统架构数据库，多个进程需要用几台服务器计算一晚上才可以得出计算结果。而现在使用大数据解决方案后一个小时就可以得出计算结果。”时俊杰说。
由于金融监管机构更为关注整个证券市场的舆情分析与监测，股市情绪分析系统分为B2B与B2C两种，未来可以和金融机构等合作伙伴一起运营。对于基金公司和证券公司等可以利用该系统为自己的客户提供增值服务，为短线投资者提供投资参考。而对于金融监管机构来说，颖源科技未来研发的舆情分析系统可以对异动股票进行监测，为监管机构提供参考。
经过一段时间的测试，颖源科技股市情绪分析软件的预测结果与实际走势基本一致，近期将正式推出。未来，颖源科技会对数据源进行进一步扩展，将股票论坛、门户文章等纳入分析数据源中。并在功能方面为现在简单的行情分析增加更多情绪维度。
“我们的股市情绪分析系统之所以能够成功，有两方面的原因。一是我们通过IBM的产品培训很快就掌握了BigInsights的使用，它是非常容易学习、非常容易掌握的企业级产品。二是我们自己也很坚定地看好大数据的市场前景，所以我们在大数据领域不吝投入，深圳市政府也专门拨专款支持我们进行大数据创新。未来我们对大数据还会有长期的投资策略。”时俊杰说。
而深圳市颖源科技有限公司开发的股市情绪分析系统正是利用这些难以分析的文本数据，分析出投资者的情绪变化，从而洞察股市行情。
情绪分析洞悉股市变化
实时抓取互联网中的财经数据，找出每篇博客、微博、新闻中关于每支股票的观点和情绪，汇总数据并告诉用户此时的看涨看跌比例，这就是股市情绪分析系统。
早在2010年10月，国际知名学术网站arXiv. org刊登的一篇研究报告称，Twitter中的“镇定度”水平能够提前2至6天预测道琼斯工业平均指数的走向，并且准确度可达到87.6%。
投资者行为不像传统金融学认为的那样具有理性化，由于投资者的情绪和偏见经常剧烈影响着价格波动，金融行为学对这些现象提供了一些很好的诠释。股市情绪分析系统是基于金融行为学理论和客观的机器学习算法，对股市涨跌数据、社会化媒体言论数据进行采集和挖掘。该系统计算出来的结果能够帮助投资者洞察股市的情绪，从而进行市场预测。
当忧虑指数达到最高点的时候，往往股市是比较低迷的时候，忧虑指数处于低点的时候往往预示着股市处于高涨期。
股市情绪分析在国外已有人尝试，MarketPsych是股市情绪分析的先驱，由心理学家创立的这家公司从事股市形势分析已有七八年的时间。MarketPsych投资公司每天会对全球200万篇文章进行抽取和采集，然后进行分析，分析6000多家公司投资者的情绪，为投资者提供参考。
而成立于1995年的颖源科技是伴随着互联网的发展而迅速发展起来的一家公司。如今，颖源科技将注意力集中到大数据上，计划未来致力于大数据的投资和发展。
深圳市颖源科技CEO时俊杰介绍说，股市情绪分析系统是在IBM BigInsights平台上开发的系统架构，目前主要和新浪与腾讯微博进行合作，通过开放接口采集投资者对于股市的评价或对市场涨跌情绪的表达，通过情绪分析引擎进行分析。
采集到的微博要先经过预处理，去掉重复话语和广告成分，再进行分类。经过预处理后还要进行断句才能进入半监督的机器训练（半监督机器训练是最近几年提出来的机器学习算法）。
时俊杰说，半监督机器训练先要设定算法，需要将微博样本通过人工进行标注，建立规则库后交给计算机自动进行训练，分析出来该条微博所表达的情绪值，然后将它放到模式匹配库里存放。新采集到的微博先跟模式匹配库进行比对，如果在模式匹配库里已经存在了这样的句子，就可以计算出它的情绪值。如果在模式匹配库里没有，则需要再根据规则库进行计算。这是一个不断迭代和优化的过程。
增加多情绪维度
时俊杰表示，在股市情绪分析系统的研发过程中IBM BigInsights提供了非常可靠、高效的大数据处理平台，不仅加强了开源的Hadoop系统，搭建了能够支持企业级大数据的分析平台，且平台易用性和可视化管理等工具使得颖源科技在情绪分析系统研发过程中不是把精力花在平台适应上，而是花在应用研发上。
同时，由于IBM BigInsights设计了企业级节点冗余，减少了宕机概率，通过PC Server经过节点扩展的分布式并行计算架构降低了成本，提高了运行速度。
“Hadoop本身是一个并行架构，可以充分发挥并行架构的优势。举例来说，之前开放网站流量分析软件时我们采用的是传统架构数据库，多个进程需要用几台服务器计算一晚上才可以得出计算结果。而现在使用大数据解决方案后一个小时就可以得出计算结果。”时俊杰说。
由于金融监管机构更为关注整个证券市场的舆情分析与监测，股市情绪分析系统分为B2B与B2C两种，未来可以和金融机构等合作伙伴一起运营。对于基金公司和证券公司等可以利用该系统为自己的客户提供增值服务，为短线投资者提供投资参考。而对于金融监管机构来说，颖源科技未来研发的舆情分析系统可以对异动股票进行监测，为监管机构提供参考。
经过一段时间的测试，颖源科技股市情绪分析软件的预测结果与实际走势基本一致，近期将正式推出。未来，颖源科技会对数据源进行进一步扩展，将股票论坛、门户文章等纳入分析数据源中。并在功能方面为现在简单的行情分析增加更多情绪维度。
“我们的股市情绪分析系统之所以能够成功，有两方面的原因。一是我们通过IBM的产品培训很快就掌握了BigInsights的使用，它是非常容易学习、非常容易掌握的企业级产品。二是我们自己也很坚定地看好大数据的市场前景，所以我们在大数据领域不吝投入，深圳市政府也专门拨专款支持我们进行大数据创新。未来我们对大数据还会有长期的投资策略。”时俊杰说。