基于Spark的AIS大数据挖掘平台设计与搭建

• 作 者: 曹磊
• 出 处: 大连海事大学
• 发表日期: 2019年01期
• 关键词: Spark 数据挖掘 AIS 数据预处理

随着水上交通数字化与智能化的不断深入,船舶数据已成井喷式增长,对传统的数据处理挖掘平台造成了不小的负担;同时,海量的船舶数据又为船舶领域的智能化提供了基石。如何正确地处理应用这些数据成为了船舶领域的研究热点之一。2016年3月17日,《中华人民共和国国民经济和社会发展第十三个五年规划纲要》发布,其中第二十七章“实施国家大数据战略”提出:把大数据作为基础性战略资源,全面实施促进大数据发展行动,加快推动数据资源共享开放和开发应用,助力产业转型升级和社会治理创新。从中不难看出,大数据技术将是船舶数据处理挖掘领域的研究热点之一。现阶段,船舶领域相关数据种类众多、来源广泛,没有一个统一的数据处理挖掘平台进行数据的交互。“各自为政”的情况仍然广泛存在。因为数据的种类来源众多,传统的数据处理挖掘平台那种单一的处理模式已经不能满足航运业的实际需要。为了提高对于船舶领域数据的处理挖掘能力,本文提出了搭建基于Spark的通用型数据处理挖掘平台,并针对船舶AIS数据进行了较为具体的处理挖掘。主要工作如下:(1)首先进行了基于Spark的通用型数据处理挖掘平台设计,将整个平台主要分成了三大模块:数据库模块、Spark数据挖掘模块以及可视化模块;其次进行了基于Ubuntu系统的平台运行环境搭建以及JDK、Spark和HBASE等软件配置。(2)通过具体的AIS数据对搭建好的平台进行了模块测试和整体测试,包括较小数据量的数据库模块测试以及大数据量的平台整体测试,配合前端的实际显示效果,不断调整平台的参数以使挖掘结果达到最佳展示效果。(3)数据库接收AIS数据后,首先统一存储,并进行基本地预处理,将可用和不可用数据分离,保证后期的数据处理挖掘使用的数据为可用数据,再根据相应的需求调用所需的数据进行处理挖掘,链接可视化模块进行结构展示。(4)选取了我国沿海12个主要煤炭港口的船舶数据和全球交通流最大海峡之一的巽他海峡的交通流数据进行了具体的数据处理挖掘,以实际应用检验平台的实际通用性、高效性。结果表明平台的运行效果良好,达到了预期的目标。