论文部分内容阅读
随着现代遥感技术的发展,产生了大量的多源异构遥感数据。因此,遥感大数据的存储和挖掘成为遥感应用程序的重点,这导致越来越多的遥感数据处理系统被迁移到大数据和云计算环境,例如Google的GEE和ARCGIS ONLINE。基于强大计算能力和出色可扩展性能的大数据系统,我们可以深入研究遥感数据,充分发挥资源价值,并实现对地面环境灾难的实时预测和监视。遥感大数据的存储主要用于原始数据的存储,元数据的存储和索引系统。系统将元数据存储在PostgreSQL中,将原始数据存储在HDFS中,然后在原始数据存储上建立索引系统以加快数据查询。但是,由于查询操作中涉及的数据不同,因此当查询数据量不同时,单个索引系统通常具有不同的查询效率。在大多数遥感系统中,索引系统的设计和实现并未考虑系统本身的机制或组件的使用,这进一步影响了查询和资源使用的效率。本文提出了一种新型的存储系统MIGIS。MIGIS通过在数据查询中使用HDFS的多副本机制集成了多种索引算法,包括四叉树,GeoHash和十字链表。并优化了各种索引数据结构和查询算法,以提高其查询速度。并在不同的查询数据量下选择了相应的查询算法,有效克服了不同查询数量的单个索引的查询效率低下的问题。该系统不仅具有更快的查询速度,而且可以通过索引系统确保数据的完整性,通过统一的接口连接到计算系统和外界,并与Kafka建立消息队列以减轻服务器服务压力。本文基于三个由HDFS,Spark,Kafka,Yarn,Zookeeper,PostgreSQL,Redis组成的Spark集群实现了MIGIS的遥感处理系统的原型,并利用了来自中国科学院中亚生态和环境研究中心的遥感数据评估其性能。本文的实验研究表明,在不同查询条件下的查询速度可以达到传统索引技术的两倍。而且,与单索引技术相比,计算时间仅依靠索引技术可以减少大约2%。