论文部分内容阅读
遥感定量反演的对象为多源遥感数据,处理过程不可避免地涉及到海量数据处理、信息提取和分析。遥感反演既是计算密集型,同时又是数据密集型的科学应用。随着反演理论和技术的发展,地表遥感模型复杂化,数据量呈爆炸式增长,相应地对计算能力的要求也越来越高。网格(Grid),是由异构网络资源构成的大规模、分布式的软硬件基础设施,这些资源被协同起来为应用提供透明的、分布的、普适的、统一的计算支持。网格计算为遥感定量反演科学问题提供了新的解决方案。网格技术在遥感中的应用指的是:利用网格基础设施建设遥感应用环境,汇集和管理遥感资源,提供具有按需计算能力的遥感信息处理与分析服务。网格毕竟是一种新的计算技术,当前的网格还不能够完全适应遥感反演应用的特点。关于网格或高性能计算在遥感中的应用的研究目前还比较少,而且大多数工作局限于遥感图像处理和并行计算领域。因此,如何吸收和改进网格计算技术,用于实现高性能大气气溶胶遥感反演系统,成为了本文的主要研究目的。
本文以大气气溶胶遥感定量反演应用为背景,研究基于网格平台的高性能遥感应用系统关键技术。围绕这一目标,开展了以下研究工作:
(1)介绍了高性能遥感计算的发展与现状。回顾了高性能计算在遥感中的应用,总结了目前国内外有代表性的遥感或地学网格项目。从定义、分类、特征和体系结构等方面对现有系统进行了分析。在总结遥感网格的关键技术的基础上,较为全面地调研了相关研究工作。
(2)提出了适合遥感反演流程特点的数据和任务调度DCS算法。探讨了在网格环境中进行数据密集型遥感反演的调度策略,提出了数据任务与计算任务独立,网格分级等概念。算法把数据独立起来,看作是与计算等同的任务。在CondorDAGMan工作流管理功能的基础上,设计了遥感反演工作流。工作流优化了数据存放策略,实现了基于网格分级的任务调度。该方法的优点是:首先,它提出了一种简单的方法定位究竟数据传输还是计算任务将是工作流中的性能瓶颈,达到遥感工作流步骤间和步骤内的负载平衡,因而增加了吞吐量。其次,工作流调度对短执行任务有明显优先倾向,因而可以得到较快的响应时间。
(3)提出并实现了基于机群的遥感算法并行化方法。算法是在Condor调度系统上设计的更优调度法。基于可分载模型理论,确定一组动态分割点和对应的处理机的唯一标识号,目的是估算合理的负载量,实现负载平衡。详细描述了负载预测算法的两个子模块:动态分割点计算和任务划分。把静态任务划分和动态调度结合,在考虑了各种应用约束的情况下,静态决策的任务划分于调度之前分配好负载。针对动态调度很难分析和预测执行时间的问题,使用经验模型分析和预测处理机的执行时间特性。
(4)设计了遥感软件的网格化技术方法。对遥感软件资源的网格化问题进行了讨论,介绍了基本的网格化模式和实现方式。以遥感软件ENVI的网格化为例,实现了遥感图像处理功能的网格化。该方法基于分解一封装一提交的模式,包括模块的二次开发、注册和部署。通过对模块的封装描述,使软件资源具有统一的接口,能够在网格环境中被发现并实现对应功能的调用。
(5)设计并实现了网格平台支持的高性能气溶胶遥感反演软件。沿用软件重用的思路,松散集成了资源管理、任务调度、软件网格化和用户界面等技术。用HTC、网格中间件、遥感图像处理软件和自主开发模块来设计与构造高性能定量遥感反演软件,是高性能地学计算领域内的一个新的尝试。
(6)利用上述技术成果,设计大范围陆地气溶胶参数快速遥感定量反演的技术路线,并且制定数字制图规范。作为应用实例,完成了多次反演计算,成功制作了高质量的全国气溶胶光学厚度分布彩色镶嵌图序列。
网格平台的支持提高了定量反演的效率,实现了全国范围的卫星遥感气溶胶光学厚度和Angstrom系数分布的快速反演,为更好地研究大区域气溶胶的分布规律提供了技术基础。卫星遥感气溶胶数字图为监测气溶胶变化提供了新的手段,其结果可以直接应用于中国大气成分探测、大气污染监测及研究。