论文部分内容阅读
如何提高处理大规模空间信息的计算能力,解决空间数据计算密集型难题是地学研究面临的一大难题。尽管分布式计算技术近年取得很大进展,但并不能直接适应地理空间数据的复杂性和独特性,用于空间信息处理方面仍不成熟。如何充分利用分布式技术的优势,提升空间数据处理的计算能力,是地学研究中需要解决的关键问题。
本研究依托中国科学院信息化专项“地学研究信息化应用示范研究”课题,重点围绕空间数据分布式处理的体系框架及互操作问题、大规模空间数据分布式存储管理、空间数据分治规约处理模型、空间服务协同计算等一系列关键技术进行深入研究,并实际搭建空间数据集群计算平台及开发典型应用,主要研究内容包括:
1)空间数据分布式计算服务体系研究
提出空间数据分布式计算服务体系的逻辑结构,包括门户服务、注册及CSW服务、数据服务、模型服务、分布式存储服务、分布式计算服务、服务客户端、信息编码8类分层服务组成；在此基础上,选择SOA作为基本技术体系,提出空间信息分布式计算的体系框架,包括基础网络层、资源层、服务层、门户层和用户层。
2)适合大规模空间数据的分布式存储、管理方案研究
针对大规模空间数据管理的实际难题,在分析集群分布式存储体系的基础上,提出矢量数据NOSQL,数据库及栅格数据分布式文件系统存储的具体实现方法。
3)适合空间数据的分布式计算模型研究
针对MapReduce在处理空间数据时存在的不足,结合空间数据的特点,提出空间数据分块、分布式计算过程中Map与Reduce的实现过程,构建适合空间数据分布式处理的MapReduce计算模型。并对计算过程的调度机制和容错机制进行优化。
4)基于科学工作流的分布式空间服务协同计算模型研究
在分析Petri网服务组合模型特点的基础上,对其进行扩展,构建分布式空间服务协同计算工作流模型DWFM,对DWFM代数定义及运行规则进行界定,并引入Map与Reduce工作流控制模式,使得DWFM模型能够支撑MapReduce并行结构。同时,在Kepler工作流管理系统中设计与实现MRActor及Map、Reduce控制组件,详细讨论其使用规则和并行执行过程。
5)分布式空间数据计算平台及典型应用设计与开发
以地学研究信息化应用示范为背景,基于开源Hadoop项目,建立分布式计算平台实验环境,以DEM(Digital elevation model,数字高程模型)栅格数据的山体阴影模型分布式计算为例进行了应用测试。结果表明分布式计算能够有效地提升空间数据的计算效率。