论文部分内容阅读
随着数据库技术和计算机网络的高速发展，气象部门在日常科研和管理活动中收集积累了海量的气象信息资料。利用数据挖掘技术，分析观测到的气象信息资料，发现潜在其中的特点和规律，对于提高气象数据利用率，进一步完善气象预测有重要意义。传统的数据存储与挖掘方法在处理海量气象数据时，在性能与准确率方面均无法获得令人满意的效果。云计算带来了更高效的分布式计算与存储，它的出现为解决这一问题提供了可能。本文在分析了当下气象数据存储与挖掘存在的问题，发掘海量气象数据实际存储的需求，给出了云计算环境下的海量气象数据存储与挖掘方案。针对传统数据库存储海量气象数据能力不足的问题，研究与设计基于Hadoop分布式文件存储系统与数据仓库工具Hive的气象数据中心，并通过实验验证了本文数据中心在处理海量气象数据方面存在明显的优势，能够满足业务部门的查询统计需求。在此数据中心的基础上，本文给出了Hadoop平台下基于贝叶斯分类的海量气象数据挖掘方案。整个挖掘过程主要分为数据离散化、数据约减、数据分类三个步骤，论文在分析了MapReduce计算模型与粗糙集、贝叶斯分类的基础上，结合气象数据特点，给出了基于MapReduce的计算等价类的数据约简算法与朴素贝叶斯分类算法，最后利用气象日值数据以降雨量为决策属性进行了实验，实验从分类准确率与算法加速比两个方面对分类器的精度与效率进行了测试，通过实验可以证明本文的分布式海量气象数据挖掘方案在分类精度与效率方面较传统朴素贝叶斯分类均有一定提高。本课题所研究的基于Hadoop平台的海量气象数据存储与挖掘方案，在一定程度上解决了传统的数据存储与挖掘方法在处理海量气象数据时能力不足的问题，并且成本较低，易于扩展，可以作为一种辅助性手段应用于日常的气象数据分析的工作中。