基于Hadoop的个人综合积分数据处理系统设计与应用

来源 :中国科学院大学(中国科学院工程管理与信息技术学院) | 被引量 : 0次 | 上传用户:zxi666
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年,个人客户综合积分兑换功能在各大商业银行悄然兴起。相比信用卡积分,开展个人客户综合积分服务的银行客户可以享受到范围更广、品种更多的服务,使客户享受到更多实惠。为加快某银行个人金融业务营销步伐,引导和鼓励客户使用某银行金融产品和金融服务,需要建设个人客户综合积分系统。然而商业银行综合积分系统需要考虑海量数据处理的压力、未来业务的发展和管理的变化,新业务开展的灵活性和快速性,积分采集和积分应用分布于不同渠道等问题。传统IT技术在当前银行业务快速发展的状况下难以解决海量数据的存储和处理、系统的可扩展性和系统建设成本高的问题。结合商业银行个人综合积分管理的需求,我们首先对业务和技术分别进行了分析调研,考虑未来积分业务的发展和管理的变化、系统的可扩展性和数据处理系统的压力,系统的构建将借助于分布式数据库、关系型数据库和分布式计算相结合的技术手段。本文基于对个人综合积分需求深入分析和相关技术深入研究的基础上完成了个人综合积分数据处理系统设计,按照系统需要完成的功能将系统划分了对应的系统模块,设计了与其他相关系统的通信或接口,构建了系统的平台组件,以期达到较高的处理效率。论文重点研究了个人综合积分系统海量数据的存储和处理,也考虑到联机交易的需求,因此利用HBa se分布式数据库、HDFS分布式文件系统和Pos tgreSQL关系型数据库设计构建了个人综合积分数据处理系统的存储模型。对于海量数据的处理是利用MapReduce分布式计算框架进行计算,对于需要处理的和处理完成的数据与关系型数据库PostgreSQL数据库进行同步。基于个人综合积分数据处理系统的详细设计,本文探讨了系统的设计与实现,针对系统的设计和实现过程中的关键性技术、问题及解决方案也做了深入的讨论,实现了具有可扩展性、高效率的个人综合积分数据处理系统。在本篇论文最后,对本次课题的研究工作进行了全面的总结、并给出了系统测试和运行的相关情况,也对系统未来的可能扩展、待优化的功能和运行维护提出了相关建议。
其他文献
本文详细介绍了辽宁社会科学院信息化建设与发展的整个过程,以及信息化建设的设计原则和设计目标。特别阐述了辽宁社会科学院信息化建设的新途径、新方式、新方法和创新点,以
鸭肉品质性状已成为育种者研究的重要内容,影响鸭肉品质的因素较多,如遗传、营养、环境、疾病等。本文综述了品种、年龄、性别、营养水平、饲养模式、运输、肌肉部位及储藏条
对学术论文的撰写进行了较深人的探讨,并证明了选题和论据之间的逻辑关系,优化选题,合理选材,使学术论文在学术价值、理论活力、指导功能以及社会效益方面得到充分体现。
药历是临床药师开展临床药学监护工作的主要工具,其可以及时的发现和解决患者在治疗过程中与药物有关的问题,可以很好的体现患者的合理用药的状况,并保留完整的记录资料。我院药
广西某锰矿石锰品位只有8.12%,锰矿物主要以硬锰矿和软锰矿的形式存在,矿石含铁4.67%,锰铁比只有1.74,属中铁贫锰矿石。通过磨矿细度试验、重磁联合试验、洗矿分级干式磁选和
随着云计算技术的成熟,我国最终会实现数据大集中的云审计模式。本文在分析云模型与政府投资审计业务结合的技术场景和云模式下政府投资审计业务的实现模块的基础上,提出政府
高校思想政治理论课是培养合格的中国特色社会主义事业的建设者和接班人的主渠道、主阵地,为此,必须增强思想政治理论课的实效性。从思想政治理论课教学的角度来看,主要可以通过