论文部分内容阅读
随着遥感产业的快速发展，遥感数据带来了人类对空间系统认知方式的改变。越来越多的遥感数据被广泛应用到气象、海洋、陆地和环境等系列的、行业性的科学研究领域，对科学创新性研究起到了基础性支撑作用。但是，相比于遥感数据采集平台的日趋成熟，受制于计算机内存和存储资源的限制，目前存在的遥感数据服务模式已经无法满足大规模数据的存储处理需求以及大规模用户访问。面对海量的遥感影像数据，如何高效的对其进行检索、获取、存储和分析计算已经成为相关技术人员需要面临的重大挑战。 本文主要基于中国科学院计算机网络信息中心长期积累的各类遥感影像数据及相关产品，研究设计一种可满足大规模遥感数据存储和处理、大规模用户访问的遥感大数据服务平台，以满足遥感应用人员的数据需求，降低遥感数据的应用门槛和提高应用效率。本文的主要研究内容有: 遥感大数据的高效存储和访问。虽然蓬勃发展的遥感产业带来了遥感数据的爆炸式增长，但用户获取遥感数据资源的渠道却很少，大部分遥感数据资源分散在不同的科研院所或政府机构中。本文基于中科院现有的各类遥感影像数据及相关产品，结合遥感数据的特点和应用类型，设计了遥感大数据的分布式存储架构，通过大文件分块、分布式存储及冗余备份等为遥感数据存储和访问提供统一的可动态扩展的服务; 遥感大数据的快速处理和计算。随着遥感影像数据采集规模和分辨率的增长，由于需要处理的数据量太大、相关算法比较复杂，现有的单机模式和遥感处理软件已经无法满足需求。本文基于MPI并行计算模型和GDAL/OGR库设计了基于MPI的GDAL/OGR库遥感大数据并行处理方法，整合平台的计算资源，为用户提供完善的数据划分、串行算法实现、任务分配和结果回收的遥感大数据并行处理服务; 遥感大数据的大规模用户访问。目前，现有的单机或遥感服务平台均通过物理机或基于虚拟机的方式提供服务，在同一时刻只能满足少量的用户访问。并且不同用户的资源得不到有效隔离，用户的管理成本较高。本文基于容器虚拟化技术设计实现了遥感数据处理标准化环境的快速部署，用户资源的有效管理并基于web交互式访问处理方式满足了大规模用户的同时访问。 在完成遥感大数据处理与服务平台的设计后，本文实现了遥感大数据处理与服务平台的原型系统。通过实验验证了平台的可用性并结合必要的性能测试验证了整个系统设计在性能上的稳定性。