面向科学计算的用户级检查点系统设计与实现

• 作 者: 张福玺
• 机 构: 中国科学院大学
• 出 处: 中国科学院研究生院 中国科学院大学
• 发表日期: 2012年期
• 关键词: 科学计算 用户级检查点 系统开发 存储空间 故障处理 通信效率

随着科学研究的不断发展,科学计算越来越依赖于大规模的计算机系统。随着计算机系统规模的不断增大,整个系统的可靠性也随之下降。深入研究高性能计算机系统的容错技术,提高系统可靠性和可用性已成为当前重要的研究问题。检查点技术通过保存和恢复程序的运行状态来实现容错,是极为有效的机群容错策略之一,但检查点映像文件的保存已成为制约检查点使用的重要因素。现有的系统级检查点实现很难解决检查点技术给存储系统带来的巨大压力。　　
本文在分析检查点技术的现状和系统常见故障的基础上,针对大规模科学计算的特点,以检查点低开销以及适应大规模科学应用的可扩展性和易用性为目标,提出了一种针对大规模科学计算应用的全自动化的用户级检查点系统。本文详细描述该系统的关键技术原理,原型系统的设计、实现与评测。本文的主要贡献为:　　
1)提出了针对科学模拟应用的以数据为中心的检查点技术,改变了以往以进程执行状态为中心的检查点实现思路。该技术在不改变应用编程模式的前提下,仅保存与应用直接相关的数据,可大幅减少检查点数据量并降低检查点数据冗余,从而减少检查点开销与存储空间开销。在基于有限元方法的多尺度材料科学模拟程序上进行测试,结果表明,与系统级实现相比,该方法减少检查点开销、延迟和存储开销分别为85%、75%和70%。　　
2)设计并实现了一个自动化的检查点系统DCR3,提供包括定时检查点操作、应用重启时检查点数据的透明迁移、自动故障检测与应用恢复、节点替换、映像文件管理等功能在内的自动化处理流程。在无人值守的情况下,该检查点系统能够在失效发生的几秒钟之内检测到失效,分析失效类型并及时恢复任务。对自动化故障处理流程的验证表明DCR3系统的故障检测与应用恢复是有效的。　　
3)提高了DCR3系统可扩展性,使得可以支持曙光6000机群系统上千节点规模并使用模拟测试方法验证了DCR3系统在上千节点的情况的通信效率。