论文部分内容阅读
随着大数据技术的高速发展,与之结合的领域亦是越来越多,商业网购的用户数据分析、生物信息学的基因比对、关于系统运维的日志分析等等,大数据技术的应用价值在众多方面得到了体现。而校园一卡通管理系统,在大学信息化管理方面,做出了十分重要的贡献,但对于校园一卡通系统里存储的大量数据及这数据里边蕴含着的大量的商业信息与管理信息,现有的分析研究却是较为缓慢的。大数据技术的到来,无疑给了研究人员研究校园一卡通里的这些数据带来了全新的技术支持,用大数据技术去分析这些数据,并在其中找出潜在的联系和规律,对于校园建设与管理工作,有着难以估量的决策参考作用。所以,建立一个基于大数据平台的校园一卡通消费分析系统具有现实意义。把校园一卡通系统里的交易数据作为分析研究对象,运用Hadoop生态系统的大数据相关技术对其展开分析研究,建立起辅助于校园一卡通管理系统的消费分析系统。首先阐述了 Hadoop平台的核心应用HDFS分布式存储系统和MapReduce分布式并行计算处理机制、Hive数据仓库工具和Sqoop数据传递工具。然后对学校决策层和工作人员的探索消费分析的实际工作需求进行了解和分解,得到该消费分析系统的需求分析。并运用常用的Hadoop业务处理框架对需求分析进行设计与实现,使用Sqoop工具将一卡通交易数据从关系型数据库中导入HDFS存储系统,运用MapReduce技术对数据进行预处理,再运用Hive工具对数据进行统计分析并再次导入MySQL数据库进行web展示。论文还使用MapReduce技术对交易数据进行了另外的分析技术尝试和探索。最后初步得到了可提供于学校决策层和工作人员的关于消费信息的建设性建议。论文的工作表明基于Hadoop的校园一卡通消费分析系统的设计与实现是非常有意义的,同时,现在的工作也为明天的学校综合信息分析和数据挖掘工作奠定了基础,为下一步构造完整的分析平台和提供更深远的决策建议进行了有效的探索。