论文部分内容阅读
该项目来自于本人实习期间所在的公司汤森路透(北京)。作为一家信息提供商,汤森路透所提供的信息质量和信息服务是至关重要的。在如今的信息时代,人们已经被信息的洪流所包围。数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。数据化信息资源已经成为推动社会进步和经济增长得战略性资源。汤森路透金融交易业务部的数据分析师们每天都需要面对来自全球250多家证券交易所、几百个场外交易市场的实时数据和历史数据。如果仅依靠数据分析师们手工去收集和分析这些数据是不现实的。将这一过程实现自动化,开发了这套基于Web的金融数据收集与智能分析系统ACE (Accelerated Content Engine)。ACE系统后台可以帮助分析师全自动化采集实时交易数据,然后将采集到的数据进行自动分析处理或者分发处理。ACE系统前台为数据分析团队提供了自动化的数据检查和半自动化数据分析功能。本人结合汤森路透数据分析师的业务流程开发了该系统,具体工作如下：(1)完成了该系统的需求分析,本人在学习软件工程相关课程基础上,通过与ETI (Exchange Trade Instrument)和Corax团队的分析师进行需求调研后,完成了该系统的需求分析工作。(2)完成了该系统的设计与实现,包括ControllingMaster采集子系统、DataDistribution分发处理子系统和数据库的设计。(3)采集子系统的设计和实现,包括AppEngines爬虫引擎模块、AppEngine Wrapper调度模块、AppHost (SlaveHost)爬虫引擎工厂模块。(4)分发处理子系统的设计和实现。包括ACE Web UI (User Interface)半自动化数据处理界面模块、ACE Fully Automation全自动化数据处理模块。(5)进行了系统测试,系统功能调试通过后,还分别执行了白盒测试和黑盒测试。该系统已经完成,并在汤森路透数据分析师团队投入使用,运行期间一切正常,未出现大的问题。从功能上基本实现了数据采集和数据智能分析的需求,具有一定的实用性。