论文部分内容阅读
随着国际交流的增多,世界航海事业也蓬勃发展,加上我国经济的腾飞,港口现代化程度越来越高,而且我国海岸线绵长,海况复杂,所以系泊作业安全尤为重要。码头系泊监控系统监控系泊作业安全,保证码头作业正常运作,但是开敞式码头系泊监控系统产生的监测数据量非常庞大,海量监控数据存储难以实现,并且各个码头的监控数据格式不统一,海量监控数据没有得到充分共享和挖掘。随着云计算的飞速发展,为上述问题提供了有效的解决方案。学位论文围绕如何设计开敞式码头系泊监控系统数据处理云平台解决方案做了如下工作：首先对开敞式码头系泊监控系统数据处理云平台的可行性做了深入研究,分析海量监控数据存储、海量监控数据挖掘的需求,并且分析了Hadoop、HBase、Hive架构原理,包括HDFS架构、MapReduce分布式计算方法、HBase的API、Hive的HQL语法等,在了解云计算原理的基础上搭建性能优良的云平台。然后在分析了码头监控系统的业务流程和掌握Hadoop云计算原理的基础上,针对监控数据量庞大的特点,设计将海量监控数据存入分布式数据库HBase中,HBase搭建在Hadoop集群之上,这种架构不仅提高了数据存储能力,而且保障了数据的安全。针对频繁与分布式数据库交互效率低下的问题,采用memcache数据缓存技术,设计数据上传进程,分时上传数据,解决频繁交互效率低下的问题。针对Hive和HBase表结构异构的问题,创建了Hive和HBase同时识别的表结构,实现Hive兼容HBase数据格式。在云平台成功搭建基础上,开发基于J2EE的Web系统与云平台交互,作为云平台的接口,提供了海量历史监控数据查询,监控数据分析、挖掘等功能。最后应用Apache Ambari框架监控云平台运行状态,并且提出了调优方案。学位论文设计的开敞式码头系泊监控系统数据处理云平台是解决大规模监控数据存储、监控数抓信息孤立问题的可行方案,经过模拟测试证明开敝式码头系泊监控系统数据处理云平台有着较好的应用价值和经济价值。