基于Hadoop平台的银行反洗钱系统

• 作 者: 易华杰
• 发表日期: 2015年期
• 关键词: 大数据 银行 Hadoop 反洗钱

信息化系统在银行业中经过多年的发展,已经逐步成熟完善,并且积累了大量的数据资源,是非常宝贵的客户资源。随着数据多样性化,数据量急剧增长,不仅对非结构化数据提出了需求,而且对银行系统的运行效率也是一个新挑战。Hadoop提供分布式存储、并行计算等技术,提高了优秀的解决方案。不仅有效解决非机构化数据的存储问题,而且通过大数据平台从海量数据中提取出有用的信息,将数据分析和挖掘技术应用于银行领域。正文重点介绍了如何运用基于Hadoop平台关键技术HDFS和Map Reduce实现的银行反洗钱系统。Hadoop平台采用了线性扩展、服务器集群、并行计算、压缩以及调度等关键技术,通过非功能性测试可以看出,Hadoop体现了性能的优越性。在此基础上,本文构建的银行反洗钱主要分为数据基础层、数据处理层、规则处理层、数据应用层四层,主要实现模块包括HDFS文件系统存储模块、Map Reduce开发环境模块、Hive语言模块、Oozie调度模块。在理论创新方面,本课题还实现了数据关联挖掘算法Apriori在Hadoop平台上的移植,详细介绍了基于Map Reduce的并行关联数据挖掘算法设计的流程和编程实现。通过并行关联数据挖掘算法,挖掘了可疑交易的规则,为反洗钱系统识别洗钱行为提供了判断依据。银行业之间的竞争不断激化,信息技术的应用成了银行之间确立自身优势的一个重要途径,在未来,数据挖掘技术将会不断彰显其重要性。通过对本论题的分析和研究,作者结合工作需要,期望以此使得银行能获取其必要的信息和知识,不仅可以有效地避免金融风险,完成金融机构监管义务,而且不久的将来引导银行未来业务市场。最后,论文对全文的观点和实践进行了总结,并对数据分析与挖掘技术在银行业中的发展作出展望。