论文部分内容阅读
随着计算机和网络技术的发展,基于网格计算的工程动力灾变模拟系统的研究在学术和工程领域日受重视,我国在面向洪涝灾害和强台风等重大灾变模拟分析的软件开发理论和技术上已有一定研究,但目前其进展和成果仅是初步性的。注意到洪涝等灾变的分析、模拟与预测对社会和经济发展的重要性,本项研究将基于网格的中间件软件设计与开发理论与灾变模拟的需求相结合,以研究洪涝灾变异构数据源的处理、专用并行文件系统、并行分布式作业协同调度算法等关键理论和技术问题.首先,在深入分析原有并行文件系统和netCDF数据格式特点的基础上,为并行数据处理系统设计了一个基于netCDF的高效、高可靠的专用并行文件系统,重点研究了文件系统的文件分片算法,数据备份/恢复技术,并在Linux集群上实现该系统原型。实验表明,文件系统可以使数据处理最常见的简单并行达到很高的并行效率,且文件越大这种优势越明显。其次,设计并实现了网络化的并行灾变数据处理框架,框架为实验人员提供一个集成的实验环境,内容包括数据处理和数据显示分析。框架提供的流程构建器允许用户在客户端利用服务器上模块库中的模块来构建处理流程、提供交互式的模块参数设置界面,具有新建工程、模板保存等强大的编辑功能。平台同时为数据处理模块开发者提供一个集成的开发平台,利用该平台定义的具有较好容错能力的API接口,开发者不需要了解与平台相关的分布式计算相关知识,专注模块处理算法的开发。最后,为保障洪水灾变模拟系统各分布式计算资源的负载均衡,提高计算资源的利用效率,通过分析网格环境中实体之间的信任关系,本文对经典网格任务调度算法MCT和Min-min进行了重新设计,提出基于信任机制的Trust MCT和Trust Min-min算法。算法分别根据MCT和Min-min的不同特性,采用不同的划分机制划分信任值区间,对同一信任值区域的任务和资源进行匹配。实验结果表明:基于信任机制的任务调度算法可有效降低任务执行失败率,从而减少任务完成时间。