异构环境下的遥感多层次并行计算方法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:ZY5158598
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,多种传感平台与多源、多角度、多分辨率传感器的结合构成了空天地一体化对地观测网络;每时每刻不停地获取对地观测数据,记录了丰富的地球表层信息,极大地拓展了遥感应用领域。而遥感应用主要是通过数据处理、信息提取以及模型反演的方法,从遥感数据中提取反映地表信息的物理量,获得地学相关的专题信息和领域知识,广泛使用支持向量机、神经网络等复杂的人工智能模型。海量的遥感数据和复杂的模型计算使得遥感地学计算同时具有计算密集和数据密集的特点,而数据密集必然会导致IO密集和内存密集。   一般地,遥感应用具有实时性和大尺度的特点。如自然灾害监测和预警等领域需要对灾情做出快速响应,以降低灾害所带来的损失;全球变化研究需要处理大量的遥感数据,应用效果不仅决定于计算所能达到的峰值速度,还取决于能够解决问题的规模。而以GoogleEarth为代表的新一代数字地球的出现,促使遥感在保留传统专业应用的同时,开始以影像地图的方式为大众提供直观理解地球信息的服务,这使得遥感计算必须解决高并发量的问题。   随着计算技术的发展,集群、多核以及GPU等硬件平台的计算能力得到了极大发展,但是任何单一的计算资源均难以满足遥感计算的需求。而不同计算资源具有不同的硬件架构,采用的并行模式和适应的计算问题也各不相同。鉴于此,本文针对当前遥感计算不能满足实时/准实时以及大规模数据处理的需要,以影像地图实现为应用背景,研究使用异构式计算资源,采用多层次并行计算方法,解决高性能遥感地学计算问题,具体研究内容包括:   (1)提出一套影像地图时代的遥感地学计算模型   在地学信息图谱以及遥感图谱认知理论的指导下,通过数据处理和信息提取实现由“谱相”为主的遥感影像向“图式”信息为主的GIS数据的转换;最后将多源的遥感影像与异构式、多主题的地理信息以一体化影像地图的形式进行表达,为用户提供直观的地理信息展示方式。在此基础上,探讨利用集群、多核以及GPU等不同架构的硬件资源,采用不同粒度的多层次并行的高性能计算实现方法,解决海量遥感数据的数据处理、信息提取和实时渲染等问题。   (2)发展“数据-计算”一体化遥感计算引擎   首先,构建“存储-计算”一体化以及“集群多核GPU”一体化的硬件环境;在此基础上,发展分布式存储环境下的数据模型,实现了并行读写和隐藏硬件细节;研究不同硬件架构所支持的有效并行化方法;研究相并行、主-从并行、流水线并行、工作池并行和分治并行等不同并行编程模式所适应的硬件架构及其所支持的算法并发性,实现多层次的并行编程模型。   (3)遥感有效数据产品生产工具多层次并行化实现   针对卫星遥感有效数据产品生产中的影像配准、影像合成云影去除和色彩一致性处理三个关键步骤,按照标准C接口进行开发;针对算法的不同并行性特点,采用相并行、主-从并行、流水线并行、工作池并行和分治并行等并行计算模式在多核、GPU等不同硬件环境进行实现,并与单机运行比较各个算法的并行实现效率。   (4)影像处理机IPM原型系统研发与大规模数据镶嵌实验   采用C/C++作为编程语言,开发高性能遥感计算的原型系统影像处理机(IPM),系统由客户端、服务端和计算节点三大模块组成。并综合利用上述开发的工具,采用集群流水线方法实现了并行计算,选取新疆地区115景LandsatTM进行试验,工作效率相对于串行方法以及传统的数据并行模式,效率均有较大提高,说明了异构式计算环境在大规模数据处理方面的能力。   文章最后总结了本论文研究创新点以及存在的不足之处,并进一步分析指出了今后研究的重点和方向。
其他文献
中国的改革开放促进了市场的繁荣和经济的增长,特别是在中国加入WTO后,随着信息化技术在国内的普及应用,商务区建设进程加快。虽然商务区的话题引起了中西方经济学家和地理学家
改革开放以来,西部高原湖滨城市经历了快速的城镇化进程,城市周边大量优质耕地资源被蚕食,矿产、森林、水资源等自然资源普遍遭受掠夺式开发,给本已十分脆弱的西部湖泊流域带来了
贵州是典型的喀斯特山区,地形地貌复杂多样,地势起伏大,生态环境脆弱,水土流失和石漠化现象严重。作为地球的“皮肤”和“衣被”,草地是喀斯特山区生态系统的重要组成部分,在
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊
1998年以来,中国开始施行一系列积极的经济财政政策,以房地产市场作为新的经济增长点,鼓励房地产市场的持续健康发展。中国房地产市场由此进入快速发展阶段。至2005年,由于房
关于西湖的诗,最熟莫过于苏子那诗,“水光潋滟晴方好,山色空蒙雨亦奇。欲把西湖比西子,淡妆浓抹总相宜。”关于西湖之文,最美莫过于张宗子那文,“崇祯五年十二月,余住西湖。
代表和反映先进社会生产力发展要求的阶级和社会集团,才是推动社会历史发展的革命力量。中国共产党作为中国工人阶级的先锋队,始终把解放和发展社会生产力作为根本任务,为最
市场经济条件下国有企业如何开辟党建工作新天地、解决思政工作新课题?郑州卷烟厂摸索出了“党员佩带上岗证、支部建在市场上、开辟企业党校、推行末位淘汰制”等,充分发挥
本文认为,应以江泽民同志提出的“三个代表”的重要思想为指针,深化党校教育改革。作者提出:要把学习、研究和宣传“三个代表”的精神实质作为当前和今后一个时期的重要任务;
在当下的考场作文尤其是高考作文中,议论文为大部分考生所青睐,这已是不争的事实.考场作文因其是在特殊情境下的写作,而与较为宽松的平时作文有着本质性的区别.其中,考生的考
期刊