材料模拟在Kubernetes+Volcano容器批处理系统中的研究与实现

来源 :兰州大学 | 被引量 : 0次 | 上传用户:A88851258
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高性能计算为材料模拟领域中的新型应用提供批量作业的性能支持,随着它和人工智能技术的结合,还为材料模拟摆脱了精确与效率无法同时兼顾的困境。然而材料模拟应用环境依赖较多,编译安装过程相对复杂,尤其是在将深度学习框架引入到材料模拟领域后,其基础环境变得更加难以维护,即便在同一应用的不同版本之间也会存在数据不兼容等问题,实验结果往往难以复现。使用容器技术能够解决环境部署混乱、软件依赖冲突等诸多问题,但是目前材料模拟应用在多个容器间并行计算的案例较少,也缺乏针对计算效率的相关研究。另外,传统的作业调度器无法实现多容器调度,容器编排服务也不能以作业形式进行批量容器调度,并且对于多元异构计算资源的利用也不够充分。针对上述问题,本文研究了一种基于Docker容器的Kubernetes容器编排服务,并在此基础上结合Volcano批量容器调度器,以此来构建材料模拟容器批处理系统。该系统能够以作业的形式对容器进行批量调度,从而完成多容器环境下的材料模拟流程。首先,本文在Docker和Singularity两种容器化环境下进行基准性能分析,并且根据Docker Swarm和Kubernetes两种主流的容器编排服务在多容器环境下的CPU、网络I/O等性能测试和典型材料模拟应用VASP的实际模拟流程,梳理出容器编排服务在当前批量容器调度场景下存在的问题和缺陷;其次,针对以上问题和缺陷提出在Kubernetes上结合Volcano批量容器调度器的方案,实现基于经典势函数材料模拟的容器批处理系统,根据该系统中AIREBO、Reax FF等经典势函数对于碳材料的分子动力学模拟结果,分析该系统用于材料模拟的可行性和优势;最后,在上述系统中融合深度学习环境,实现基于深度势函数材料模拟的容器批处理系统,并在该系统中利用神经网络训练出能够应用于多种原子体系的深度势函数,分析该系统对于异构计算资源的利用能力,同时研究使用深度势函数进行材料模拟的效率和精度。从本文研究结果上看,Docker和Singularity两种容器技术在CPU性能和内存性能上都能够接近物理机性能,但是在容器批处理场景中,Docker Swarm和Kubernetes两种容器编排服务缺失作业管理能力,容器调度机制也不够完善。在基于经典势函数材料模拟的容器批处理系统中,Volcano能够弥补Kubernetes的问题和缺陷,多个容器化的LAMMPS计算环境在AIREBO、Reax FF等经典势函数下也能够很好地进行碳材料模拟,并且Reax FF势函数的模拟结果更优。最后在基于深度势函数材料模拟的容器批处理系统中,Volcano能够在深度学习训练势函数时更加充分地利用计算资源。同时在使用GPU设备对分子动力学模拟过程加速的实验中发现,在多种原子体系下,深度势函数在计算效率和模拟精度上都表现出巨大优势。材料领域的科研工作者可以直接在本文研究的容器批处理系统中进行材料模拟工作,也可以按照本文提供的Dockerfile自定义材料模拟环境,同时该系统也可供其它领域的科研工作者借鉴。
其他文献
聊城传统陶模玩具既是当地有着悠久传承历史的民间造型美术,也是当地百姓用于娱乐和教育儿童的一种重要手段。本研究基于田野调查的原始材料,从美术学和教育学角度切入聊城传统陶模玩具造型研究,分析其中所体现的社会化倾向或社会化教育内涵,揭示其在社会生活所发挥的寓教于乐的社会化教育作用。论文首先对社会化教育的内容、载体、目标以及聊城传统陶模玩具的产生与存续环境进行概要梳理,描述其作为当地传统教育载体的一般特征
随着化石燃料过度开采,CO_2为主的温室气体排放引发全球变暖,我国“碳中和”目标的提出对CO_2控制提出了更高的要求。化学吸收法作为最具大规模捕集二氧化碳潜力的技术路线之一,存在吸收剂(如有机胺)被夹带而消耗、吸收剂及降解产物以气溶胶等形式排出等一系列问题。不仅污染环境,还对人体健康产生威胁。因此,有效控制有机胺气溶胶排放具有重要意义。本文以惯性场耦合电场的方式,通过波纹板与电除雾器协同控制有机胺
上市公司大股东侵占投资者的财产,是上市公司在发展过程中影响资本市场健康的一个主要原因。近些年大股东的利益侵占行为具有多样化和复杂化的特点,在侵占的过程中具有极高的隐蔽性,个别大股东的资金占用行为,甚至影响了上市公司的正常信息披露。大股东违规侵吞资金的情况极大地损害了中小型股东的利益,也让企业蒙受巨大损失。所以如何采用有效的措施来整治当前上市公司大股东出现侵占的问题,对由此产生的财务风险管控,也是当
风机是当代最重要的动力装备之一,斜流风机因具有高流量、高效率等特点,已被广泛运用于化工、能源、建筑等领域。随着科学技术发展和人民生活水平的提升,能源资源短缺和噪声污染现象对斜流风机设计提出了更高要求,也标志着高性能、低噪声将成为斜流风机设计发展的重要方向。目前,斜流风机的气动性能优化研究已取得了较为丰富的成果,而气动噪声的研究内容仍不多见,如何降低气动噪声成为斜流风机的亟待解决的问题。其中单音噪声
航空运输业既是一个资本输入较多且技术应用较频繁的行业,同时也是成本投入较高的行业,每一家航空公司都要投入相当多的成本才能使公司持续运营下去,如果公司不能把成本支出管理到位,公司将不能保持稳定发展的态势。另外,这几年国家把政策逐渐向那些低成本民营航空公司倾斜,降低了它们进入航空市场的门槛,它们凭借其便宜的机票价格吸引客户,慢慢地稳定住了越来越多的忠实客户。在当前激烈的竞争状态下,国有航空公司当前阶段
我国日益严格的NO_x排放标准使得脱硝技术在燃煤电厂广泛使用,这导致我国每年都有大量的废SCR催化剂产生,对其进行合理的回收处置可以减少环境污染以及保护资源,从而带来良好的社会经济效益。本文针对废SCR催化剂实际工程处置中得到的碱性含钒溶液(p H=13~13.5)进行资源化回收利用研究,溶液中还含有硅、铝离子杂质,本文采用溶剂萃取法对钒进行萃取分离,针对碱性体系下钒选择性萃取分离的难题,提出了废
层流燃烧特性是研究其他类型燃烧的基础,获得极端工况的层流燃烧特性数据对完善燃烧基础理论具有重要意义。当发动机在临近空间工作时,燃烧室内出现低于大气压的环境,对燃烧稳定性有重要影响。国内外航空煤油层流燃烧特性研究主要集中在高温、常压、高压等工况下,缺乏低压条件下的研究。因此,本文实验和模拟研究了低压条件下国产航空煤油RP-3层流燃烧特性:(1)本生灯法测量了在初始温度465K,初始压力0.1-0.0
明清皇室定制的城砖主要用于修建都城、皇室宫殿及皇室陵寝。有明以降,城砖的产地来自两个地区,以明代南直隶各府为代表的南方地区和以山东临清为代表的北方地区。特别是自明永乐帝迁都燕京以后,由于都城的转移,城砖的主要生产地也由南方转移至北方,临清成为城砖的主要产地。清军入关之后,城砖的主要产地仍以临清为代表的北方地区为主。有清一朝,对于临清砖的生产虽偶有废止,但仍为清代宫殿、陵寝及城墙的主要使用材料。本文
土工格栅加筋土柔性桥台是一种新型桥台,有利于减少路面振动荷载产生的沉降差异,消除桥头跳车现象,具有造价经济、施工便捷、后期维护成本低等优点,有非常好的社会效益与环境效益[1]。目前,对于这种新型桥台的试验研究主要集中在静载条件下和施工过程中的桥台变形及沉降观测,数值分析主要集中在单向地震作用下桥台动力稳定性分析及其影响因素分析,对于双向地震作用下土工格栅加筋土柔性桥台的动力稳定性研究还较少。本文以
超材料(Metamaterial,MTM)是一种具有负折射率、逆多普勒效应等特殊性能的人工电磁材料,其物理性质是自然界其他材料所不具备的。正是由于其独特的电磁特性,从它提出至今,吸引了众多研究者的关注,在微波器件的设计中有着非常广泛的应用。运用超材料设计的滤波器与滤波天线可以很好地满足通信系统对于器件小型化、集成化与可调节的要求,具有广阔的发展前景。本文首先介绍了超材料的研究现状与5G通信技术的发