论文部分内容阅读
当前,多种传感平台与多源、多角度、多分辨率传感器的结合构成了空天地一体化对地观测网络;每时每刻不停地获取对地观测数据,记录了丰富的地球表层信息,极大地拓展了遥感应用领域。而遥感应用主要是通过数据处理、信息提取以及模型反演的方法,从遥感数据中提取反映地表信息的物理量,获得地学相关的专题信息和领域知识,广泛使用支持向量机、神经网络等复杂的人工智能模型。海量的遥感数据和复杂的模型计算使得遥感地学计算同时具有计算密集和数据密集的特点,而数据密集必然会导致IO密集和内存密集。
一般地,遥感应用具有实时性和大尺度的特点。如自然灾害监测和预警等领域需要对灾情做出快速响应,以降低灾害所带来的损失;全球变化研究需要处理大量的遥感数据,应用效果不仅决定于计算所能达到的峰值速度,还取决于能够解决问题的规模。而以GoogleEarth为代表的新一代数字地球的出现,促使遥感在保留传统专业应用的同时,开始以影像地图的方式为大众提供直观理解地球信息的服务,这使得遥感计算必须解决高并发量的问题。
随着计算技术的发展,集群、多核以及GPU等硬件平台的计算能力得到了极大发展,但是任何单一的计算资源均难以满足遥感计算的需求。而不同计算资源具有不同的硬件架构,采用的并行模式和适应的计算问题也各不相同。鉴于此,本文针对当前遥感计算不能满足实时/准实时以及大规模数据处理的需要,以影像地图实现为应用背景,研究使用异构式计算资源,采用多层次并行计算方法,解决高性能遥感地学计算问题,具体研究内容包括:
(1)提出一套影像地图时代的遥感地学计算模型
在地学信息图谱以及遥感图谱认知理论的指导下,通过数据处理和信息提取实现由“谱相”为主的遥感影像向“图式”信息为主的GIS数据的转换;最后将多源的遥感影像与异构式、多主题的地理信息以一体化影像地图的形式进行表达,为用户提供直观的地理信息展示方式。在此基础上,探讨利用集群、多核以及GPU等不同架构的硬件资源,采用不同粒度的多层次并行的高性能计算实现方法,解决海量遥感数据的数据处理、信息提取和实时渲染等问题。
(2)发展“数据-计算”一体化遥感计算引擎
首先,构建“存储-计算”一体化以及“集群多核GPU”一体化的硬件环境;在此基础上,发展分布式存储环境下的数据模型,实现了并行读写和隐藏硬件细节;研究不同硬件架构所支持的有效并行化方法;研究相并行、主-从并行、流水线并行、工作池并行和分治并行等不同并行编程模式所适应的硬件架构及其所支持的算法并发性,实现多层次的并行编程模型。
(3)遥感有效数据产品生产工具多层次并行化实现
针对卫星遥感有效数据产品生产中的影像配准、影像合成云影去除和色彩一致性处理三个关键步骤,按照标准C接口进行开发;针对算法的不同并行性特点,采用相并行、主-从并行、流水线并行、工作池并行和分治并行等并行计算模式在多核、GPU等不同硬件环境进行实现,并与单机运行比较各个算法的并行实现效率。
(4)影像处理机IPM原型系统研发与大规模数据镶嵌实验
采用C/C++作为编程语言,开发高性能遥感计算的原型系统影像处理机(IPM),系统由客户端、服务端和计算节点三大模块组成。并综合利用上述开发的工具,采用集群流水线方法实现了并行计算,选取新疆地区115景LandsatTM进行试验,工作效率相对于串行方法以及传统的数据并行模式,效率均有较大提高,说明了异构式计算环境在大规模数据处理方面的能力。
文章最后总结了本论文研究创新点以及存在的不足之处,并进一步分析指出了今后研究的重点和方向。