基于数据挖掘的金融开放平台的设计与实现

• 作 者: 乔帅
• 出 处: 北京交通大学
• 发表日期: 2016年01期
• 关键词: 网站 数据 金融 数据挖掘 算法 Hadoop

随着互联网金融的发展,消费者对于数据有更多的需求,投资人除基础数据以外,还希望能看到更多的趋势和内部分析。本项目旨在将数据和信息可视化,项目首先从金融行业的基金经理和分析师获取最新情报,之后将得到的研究报告和公司公告、股票的公告进行文本处理分析,最终得出分析数据,之后向投资者提供投资决策。与此同时,平台还将分析数据共享给合作公司,对数据进行进一步统计分析,令数据具有更好的可靠性和可用性。本文涵盖两方面内容,一方面是如何通过大数据技术对信息进行挖掘,另一方面则是在数据挖掘后如何对信息进行展示。将系统处理后的信息作为金融投资的参考标准,当信息的规模和准确性得到市场验证后,项目将运用数学模型对投资做出决策,提供金融投资推荐。同时为基金经理和分析师建立权威社区,形成金融行业影响力。该项目从金融市场的不确定性出发,以数据为基础,根据市场变化优化方案,以此来满足对趋势预测的需求。平台主要分为信息获取、信息处理、预测决策、社区和信息展示五个模块。信息处理又分为文件分词、关联信息挖掘和股票分类三项功能。预测决策分为预测和决策两项功能。本人负责这五个模块的全部或部分功能的分析、设计、实现和测试工作。论文阐述了基于web的应用程序的开发实例。该实例运用大数据技术Hadoop的MapReduce进行数据计算,使用基于MapReduce实现的数据挖掘算法并完成对股票数据潜在信息的分析,通过Node.js的Express框架实现信息及时展示。本项目目前已正式上线运行,获得了积极的用户反馈,达到了预期的设计效果。项目的一期工程实现了信息获取、社区、信息展示模块的全部功能以及预测决策模块的部分功能。在未来,项目将不断优化现有功能,并逐步完善信息处理和预测决策模块。随后正式向市场进行商业推广。