高性能计算:以新视角“解放”资源

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:yuehungulei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  石油,是国民经济的命脉。但可能很少有人知道,石油勘探行业是一个高度依赖信息技术,特别是高性能计算技术的行业。继不够精确的传统地质学方法和地球化学方法后,石油勘探行业已全面转向了依赖高性能计算的更科学的数据采集和数据分析方法,以保障油气的高效开采。当前比较主流的方法被称作地震波法,简而言之就是用炸药在地面激起人工地震波,这种地震波可传入地下深处,并在碰到不同形态的地质构成时形成不同的反射波,这些反射波经地面的检波器收集、转变成电子信号后可存储为数据,通过对这些数据进行计算处理,人们就能清晰地模拟还原出勘测区域的地下地质构造,并找到那些存有石油或天然气的岩层的精确位置。由于地震波法勘探收集的数据通常以TB计,而近年来海洋油气勘探所采集的数据更是开始向PB规模发展,所以对海量数据的处理只能借助高性能计算机,才有可能在最短的时间内完成分析,实现最佳的勘探效益。在石油勘探行业内,目前与高性能计算直接相关的应用软件,按计算性质可分为地震资料处理和油藏模拟两大类。此外,计算可视化也常被作为单独的一类工作站应用。
  技术的进步正在带来资源的解放。在石油勘探领域,这绝不是一句空话。在高性能计算逐渐成为石油勘探海量数据分析的基础保障后,每一次技术的演进都会带来勘探效率的提升及勘探技术革新的可能。所以,对于更强大的高性能计算技术的出现,石油勘探行业甚至已经从“需求”变成了“渴求”。业内众多研究机构一直在期盼数年后才会成熟的、比目前全球最先进高性能计算技术强大数百倍的百亿亿级(即每秒能实现百亿亿次浮点计算)高性能计算技术能够更快到来,为其所用。但在今年召开的以石油行业应用为核心的第七届高性能计算(HPC)及企业解决方案研讨会上,记者发现,随着国内石油勘探难度的加大,用户对更强、更先进的高性能计算平台和相关技术的需求也出现了新的变化。
  开源 节流 化解“找油难”
  在今年的研讨会上,东方地球物理公司研究院处理中心总工程师赖能和特别强调了石油勘探行业目前面临的三大“计算”挑战:可控震源高效采集技术的快速发展和广泛应用,使日产数据采集量直线上升,计算压力进一步加大;高密度高覆盖采集提高了勘探的精度,使精细化的数据分析成为可能,对计算能力的提升产生了更强烈的需求;高密度采集成为一种新趋势,数据体越来越大,导致了计算效能的降低。
  和去年相比,东方地球物理公司研究院处理中心今年承接的高密度海量数据3D项目更多、数据体也更大。赖能和告诉记者,处理中心目前承载的萨科桑3D、塔里木哈7、新疆玛湖、新疆大庆3D、博孜3D等30个宽方位资料和科研攻关项目共涉及19029平方公里、384.8TB的数据量,均是采用高密度海量数据处理。这对处理中心的软硬件处理能力、技术和资源配置都带来了巨大压力。
  事实上,东方地球物理公司研究院处理中心的压力恰恰来自“找油难”。石油是不可再生资源,当大区块开发告一段落后,石油勘探业一方面要用更精细化的手段在原有开采区块发掘新机会,一方面则要积极向海洋拓展或到过去“看不上”的区域去找油。这种转变带来的直接影响正是赖能和所说的因数据体量飞速增长而产生的计算压力。“地质结构越来越复杂,对计算的需求也会越来越大。以海洋石油的开采为例,其计算量往往要比陆地石油开采大好几倍。近年来主流软件的演变从时间偏移到深度偏移再到逆时偏移,计算量越来越大。尽管集群单个节点的计算性能在提升,但集群节点量的增速也并没有降低。”英特尔(中国)企业解决方案部能源行业资深企业客户经理杭晓东认为石油勘探行业产生的“开源”需求,仅依靠提升CPU的计算能力已无法满足,这也是让英特尔改变产品发展方向,从异构向微异构调整的原因。今年,英特尔推出的Xeon Phi协处理器就是这样的产品,在提升单点性能
  得到大幅提升,从而让高性能计算的效能提升。
  在英特尔数据中心及互联系统事业部技术计算和平台应用支持团队平台架构师何万青看来,高性能计算技术不仅能帮用户“开源”,还能帮用户“节流”,以提高产量。他说:“Xeon Phi的出现提供了一种可能性——用比较少的节点提供更高密度的计算能力。如野外的数据采集工作,就可以因为显卡被集成到处理器中的特性而实现现场粗粒度的计算处理工作,减轻数据总量负担。”云与大数据应用的可能
  高性能计算与可视化应用难以落实到云计算系统的现实,曾一度让业界认为“云”将与石油勘探行业无缘。目前,对非结构化数据的分析更有价值的Hadoop,对于几乎没有非结构化数据的石油勘探行业似乎也是无用之物。云计算与大数据真的不适合石油勘探行业吗?这个问题已经出现了新的答案。
  在石油行业,斯伦贝谢、兰德马克、Nice等服务公司正在提供功能较为完整的石油软件云服务解决方案,并已被多家国际知名石油公司所采用。中石油也已经启动了云技术平台建设项目。
  “三年前我们开始探讨虚拟化机制,尝试勘探开发上的一些应用。去年正式立项做云计算的技术测试、跟踪并组织队伍,主要进行四点应用的实验,今年争取搭一个实用的环境。”中国石油大庆油田公司勘探开发研究院总工程师张铁刚如是介绍了中石油云计算平台项目的进展情况。他说,目前中石油总部的云计算平台主要在考虑如何实现数据中心的整合、资源优化、高效利用,结合能源应用的特点,让云平台在地学综合研究、办公经营管理业务以及生产管理方面发挥价值。
  对于高密度采集这类应用,中石油已经完成了基于虚拟化技术的实验,实验证明云平台确实可以大幅降低地学应用研究的成本。张铁刚很看好云平台在中石油生产管理效率提升和办公运维管理简化方面的前景。据他介绍,初期测试结果显示,通过资源整合,中石油可以将各单位门户服务器的利用率从20%提高到70%,将专业应用服务器的利用率从20%提高到40%。他直言,在中石油云技术平台建设项目中,英特尔提供了很多重要的技术支持,特别是将其为互联网公司构建云计算系统的经验,传递到了高性能计算领域。
  在石油勘探业,高性能计算集群规模越来越大,却未必能带给用户最佳的投资回报。计算的高峰期资源不足,低谷期资源却被闲置。特别是,在集群空载状态下同样要支付巨额电费。与互联网企业的需求一样,不少高性能计算用户也希望能弹性调配计算资源,分享低谷期的计算平台,用于日常生产、办公。今天,中石油的尝试已经把云的设想变为现实。
  石油勘探行业是个典型的海量数据行业,但它对数据处理的需求与大数据目前的定义还存在很大差距。虽然目前石油勘探行业的典型应用还没有必须依赖Hadoop的需要,但赖能和认为,这项新技术依旧值得他们长期跟踪。因为如果Hadoop发展到了适合其应用模型时,就会成为大幅降低硬件采购成本的一个选择。
  相关链接
  跳出“石油”看高性能计算
  过去,高性能计算的主要应用均聚焦于地震、石油、气象这样的传统领域,今天它已开始被更多应用领域所需要。大飞机的设计、流体力学气动性能的分析、药品研发、人体基因工程……高性能计算技术正在一些全新的应用领域中创造价值,不断刷新纪录的超算,也是高性能计算的一个新方向。
  英特尔(中国)行业合作与解决方案部中国区总监凌琦指出,高性能计算技术的演进,不仅将被更广泛的应用领域所产生的计算需求所驱动,也会受到大数据的影响,基于数学模型的计算模型将会被颠覆。从分类、归类数据的过程中找出计算模型的方式并不适用于大数据分析。大数据对计算的需求并不是数据推动的计算,不是以存储为中心、以数据为中心的计算。因为网络瓶颈,大数据的分析需求不可能建立在让大量数据移动的前提下,只能通过计算的移动去解决,即让计算靠近数据以便完成数据分析。过去的应用,人们是把数据带到计算中,而大数据应用则需要把计算带到数据中去。这样的计算需求不仅需要通过硬件体系架构上的调整去解决,还需要从应用层面去解决。今后几年,大数据的应用在超算或高性能计算当中的应用会越来越多,这将是一次新的探索。
其他文献
本报讯 4月23日,阿里巴巴与公安、质监、知识产权局、工商等政府相关行政执法部门在杭州联合召开“打击假冒伪劣、保护知识产权、共创电子商务健康环境”的深度合作启动仪式发布会。与会方提出,通过将互联网技术手段和传统线下的执法力量结合,有望根治假冒伪劣和侵犯知识产权的现象,建设商业诚信体系。  阿里巴巴已成立“知识产权保护工作小组”的常设机构,该小组由即将于5月10日起担任集团CEO的陆兆禧担任组长,集
Dell’Oro Group 在2013年2月发布的《2012年第4季度数据中心报告》显示:在数据中心建设与整合项目中,用户更倾向于在现有设备中增加应用程序,这将强劲推动2013年应用交付控制器(ADC)市场的增长。  分析机构预测的15%~20%的年复合增长率,令ADC市场的火药味儿越来越浓。在价格战过后,ADC市场又陷入了新一轮的技术战。今年圈内厂商不断推出的各种ADC新品,将负载均衡、应用加
继去年创下191亿元的日交易额记录后,今年11月11日,阿里巴巴集团旗下的天猫和淘宝再次刷新记录,实现了350亿元日交易额。该数字是去年美国“网购星期一”19.8亿美元(约合120.6亿元)交易额的近三倍,超过今年10月份我国社会消费品日均零售额的50%。此外,京东、亚马逊、易迅网、国美、苏宁易购等电商也实现了销售额翻番增长。电商日交易额再创新高不仅释放出我国内需依然强劲、市场需求有待培育和挖掘的
当涉及到企业技术时,价格并不是最关键的考虑因素。那为什么让价格决定你在云中做什么?  —— 鲍勃·刘易斯  想象一下,所有的硬件、软件和技术都是免费的会如何:服务器、操作系统、广域网、防火墙、台式机、笔记本电脑、应用程序等全部无偿使用,再回头看看公司的技术架构,问问自己,是否会因为免费做出不同的决定。排除费用因素后,重新冷静地看待企业技术架构,你可能会改变一些原有的决定。  事实上,公司部署每个组
8月23日,微软宣布其CEO鲍尔默将在12个月内退休的消息,诱发了相当一批分析人士和媒体对鲍尔默是非功过的品头论足和对谁将执掌微软的想象力。本文更愿意填补坊间的两点疏漏:从产业变迁上看鲍尔默退休和从产品创新力上看后鲍尔默时代微软直面的挑战。  消费电子产业剧变  2011年5月25日上午,微软亚太研发集团总部落成典礼在北京中关村西区举行。面对台上慷慨激昂的鲍尔默,笔者向媒体同行做了一个预测并写了一
IT已经与人们的生活密不可分,大部分人的日常生活都与IT有关,比如网上购物。这一切的背后都在靠数据中心支持。数据中心和云计算已经成为IT业界热议的话题。虽然云计算在传统的数据中心和网络架构基础上有一定程度的发展,但是却不能发挥最大优势,云数据中心应运而生。它的出现能够使数据中心与云计算的发展模式实现很好的融合,最大程度地发挥数据中心的效能。  安全、可用和可靠是关键  数据中心设计和建设之初,需要
“创新型中小企业虽然给社会贡献了很多,有很多专利和发明,但是他们手上的资源并不充裕,他们要把有限的精力投入到市场开拓、产品设计和创新里面去。而在IT基础架构搭建与运维上,他们的力量仍很薄弱,因此希望能够有一个比较好的公共服务平台,为他们提供IT方面的一站式服务。这就是上海浦东软件园(简称浦软)做云计算平台的一个初衷。”在日前举办的第四届中国云计算大会上,上海浦东软件园汇智软件发展有限公司总经理郭晓
本报讯 近日,英国柯达退休金计划 (KPP)完成对伊士曼柯达公司旗下柯达个性化影像和文档影像业务的收购,并创建名为Kodak Alaris的新公司。新公司将以更快、更矫健的步伐应对市场变化。Kodak Alaris 拥有使用柯达品牌的永久授权,并将长期专注于自身业务,以确保公司实现长期的发展和成功。  Kodak Alaris个性化影像业务的总裁丹尼斯·奥布里希(Dennis Olbrich)和K
据统计,当前国内各种大中小型数据中心(机房)总数约为40~50万个,其中90%以上都是小于500平米的小型机房,绝大多数都是各种政府和企事业单位的自用机房。随着信息化建设的深入发展,这些用户单位的IT系统日益庞大,对于承载这些IT系统的载体——数据机房的扩容要求,也日益突出。扩容的办法,一个是改造现有机房进行扩容,其次是新建机房进行扩容。  在常见的新建机房过程中,用户通常在办公楼内的房间里进行装
2012年,诸多运动服装品牌深陷库存泥潭,阿迪达斯集团的销售收入却同比增长6%,历史性地达到149亿欧元,其大中华区销售收入也同比增长了15%。  阿迪达斯的“新合作伙伴计划”发挥了积极的作用。阿迪达斯要求,经销商及各门店每天都将收集到的数据上传阿迪达斯,经过总部整合、分析后反馈给经销商。由此,阿迪达斯与经销商之间的竞合已经从利益的博弈转向了数据控制权的争夺,甚至双方在数据上的竞争很难区分出优劣来