[平衡计算：在海量数据中“找”石油]海量数据公司.docx

《[平衡计算：在海量数据中“找”石油]海量数据公司.docx》由会员分享，可在线阅读，更多相关《[平衡计算：在海量数据中“找”石油]海量数据公司.docx（7页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、平衡计算：在海量数据中“找”石油海量数据公司 在石油勘探行业，油气开发实力往往取决于能否获得精准的勘测结果。在石油勘探作业中，“找石油”的一半工作其实要依靠IT系统完成。当前，主要的方法是借由地震波法采集到相关数据，经过大量的计算处理后就能清楚地模拟出勘测区域的地下地质构造，并找到存有石油或自然气的岩层的精确位置。然而，这些数据通常动辄几十TB甚至上一百零一TB，近年来海洋油气勘探所采集的数据更是起先向PB级规模发展。如何保存和备份这些海量数据都颇为麻烦，实现大数据分析的高性能计算系统也同样面临捉襟见肘的局面。高性能计算架构应当如何演进，才能满意石油勘探行业无底洞般的数据量增长？在大数据分析领

2、域被一样看好的云计算模式，又能否最终解决我国“找石油”的难题？平衡计算或成出路石油勘探行业对高性能计算的须要主要来自地震资料处理及油藏模拟。从应用的特点上来看，地震资料处理软件在算法上主要以频谱计算为核心，是典型的浮点计算密集型应用，以求解数据密集的波动方程为主要计算模式，对浮点计算实力要求较高，对内存带宽的占用中等，对大量密集的处理则须要良好的多核扩展性。目前，国内自主开发这类软件的公司主要采纳PSTM叠前时间偏移和PSDM叠前深度偏移的算法，包括中国石油东方地球物理公司（BGP）自主开发的GeoEast、中国石化南京石油物探探讨所开发的iCluster等。不同于地震资料处理应用，油藏模拟要

3、求计算平台支持稀疏矩阵方程的迭代求解，其对内存带宽的要求特别高，且须要大缓存支持，因此这类软件可归为对内存带宽高度敏感的计算密集型应用。但伴随数据量的增长和一些新技术的应用，石油勘探行业对高性能计算的需求也在出现巨大改变。2022年，东方地球物理公司探讨院处理中心的运算实力达到了每秒528万亿次。今年，东方地球物理公司探讨院的计算需求不仅再度出现巨大飞跃，其计算系统也起先实行CPU+GPU的混合模式。目前，其数据中心的计算实力已攀升至每秒695万亿次，处理器数量已超过23000个，拥有75000核芯的PCcluster高性能计算机集群。处理中心拥有的GPU数量达到了936个，约45万个核心，可

4、以实现每秒576万亿次的运算实力。而驱动东方地球物理公司探讨院持续提升计算实力的动因，正是石油勘探行业数据计算量的直线增加。在东方地球物理公司探讨院处理中心总工程师赖能和看来，石油勘探行业对计算实力的需求几乎是永无止境的。但石油地球物理勘探行业在提升计算性能的同时，也必需考虑计算成本及计算效率的问题。特殊是一些技术创新，对计算实力的需求往往也不尽相同。“比如现在流行的ISO及强迫性反演算法，在进行数据分析时都须要大量的计算机。假如通过过去的并行计算方式处理，成本高且效率低。用PCcluster高性能计算机集群处理也不行，因为服务器会占用大量场地，造成高功耗问题等，经济性不强，当前计算界正在探讨

5、的众核技术，就可以很好地解决这一问题，促进这些新技术的进步。”英特尔公司认为，石油勘探行业对计算实力的新需求，恰好反映了高性能计算实现快速可持续发展的必要条件：除了供应专为高度并行化应用优化的集成众核架构产品外，还须要平衡计算理念及相应产品技术创新的支持。事实上，英特尔提出的平衡计算理念就是把整个数据中心的IT设备（包含服务器、存储设备、网络设备）当做一个智能的大脑，担负计算任务的服务器是特地推断和处理信息的神经元，存储设备则是可以收纳海量信息，并随时打算接受访问和更新的记忆细胞，而网络就是连通全部神经元和记忆细胞的神经连接，惟有三者在性能和功能上尽量实现平衡，才能实现无缝的协作。今年3月上市

6、的英特尔至强处理器E5产品家族正是英特尔平衡计算理念的最佳实践载体，它目前已应用于东方地球物理公司探讨院现有的计算环境中。赖能和直言，在测试中E5的表现的确让人感到惊喜。可见，E5的优势并不只是比至强5600产品家族提升了双倍的性能，通过在处理器中集成支持PCI Express 3.0标准的I/O限制器，内置英特尔集成I/O和英特尔数据干脆I/O技术，在平台层面以英特尔万兆位以太网限制器X540来供应低成本、低功耗的板载局域网（LOM）功能，E5的确为开放架构存储设备和网络设备的性能提升及功能丰富奠定了坚实的基础。通往云的高性能计算利用高性能计算实现大数据分析的一个重要课题，正是今日被人们炒得

7、热火朝天的云计算，而云计算也是平衡计算理念最终的发展目标。业界对于高性能计算将来是否会与云计算融合，或者高性能计算应用负载是否会迁移到云计算平台的探讨早已起先。但许多的高性能计算用户对于打造高性能云的设想却始终存有疑虑，其缘由就在于云计算平台虽然扩展更为便利，管理更为简洁，资源安排更为敏捷，但用于实现这些优势的基石虚拟化技术，却会带来额外的性能开销，并可能形成新的性能瓶颈，这对于渴求更高性能，并将这些性能全部用于加速自身高性能应用负载执行效率的用户来说，是难以接受的。有助于推动平衡计算理念和实践的英特尔至强E5平台，无疑为打通高性能计算与云计算之间的通路带来了一个新的契机。来自美国国家航空航天

8、局（NASA）的一项试验见证了这一趋势的可行性。它推动了一个名为Nebula的基于云的基础设施即服务（IaaS）环境，来寻求源于云计算技术的高性能计算解决方案。这个环境的核心技术基石，就是英特尔架构服务器、万兆位以太网技术以及OpenStack开源软件项目。英特尔主动参加了这个项目，与NASA的性能工程师亲密协作，以验证架构在云上、基于虚拟化环境的高性能计算系统与非虚拟化的高性能计算系统相比，是否会产生性能开销或其他干扰性能的因素。测试结果表明，在英特尔架构平台所供应的I/O虚拟化技术和所支持的万兆位以太网技术的助力下，Nebula环境在MPI性能基准测试中给出的网络传输吞吐率和延迟测试成果，

9、超过了非虚拟化高性能计算方案。这初步证明高性能计算应用走向开放架构的云计算平台或环境是可行的，虽然还有一些技术问题有待解决，但接受应用平衡的计算平台，无疑将是此后相关验证或尝试工作接着前行的重要前提。云计算能否应付物探大数据石油勘探行业是特别特别的大数据行业，赖能和认为当前几乎没有哪个行业的数据量能超过他们。而云计算在大数据分析领域的成本优势则是特别显著的，它甚至还被一些业内人士认为是解决大数据分析问题的最佳IT模型。对于解决石油勘探行业的大数据分析难题，云计算究竟能不能发挥能量呢？中国石化物探探讨院正在主动开展云计算的探讨工作。在谈到云计算与当前石油勘探行业高性能计算的结合点时，中国石化物探

10、探讨院副院长兼总工程师赵改善的看法显得特别主动。他认为，作为石油勘探行业的技术服务商，云计算首先是适用中国石化物探探讨院这类企业的发展的，特殊是对油田供应面对成像技术的专业云计算服务。其次，云计算浪潮中出现的许多技术，比如Hadoop等对于中石化开发自己的应用处理产品也很有帮助，特殊是在分布式存储与分布式计算的融合、资源的动态调度以及高度的容错实力方面，其效果和可行性均已得到了验证。然而，假如改用私有云来解决这个行业的数据分析问题，当前许多问题还难以解决。赖能和告知记者，东方地球物理公司探讨院现阶段能做的仅是把分散的IT资源进行整合，然后把一些应用迁移到分布式计算环境中。但是假如用私有云来处理大数据分析，数据的迁移将是一个巨大的难题，这也是当时网格计算难以在全球推广的缘由。其次，如何处理在云计算中的软件许可问题也是目前这类应用难以迁移到云环境的关键障碍。此外，数据传输的平安问题如何解决现在也没有很好的解决方案。他表示，目前全球能源行业的超算中心，对于海量数据的处理都还没有云计算应用的案例。一些超算中心虽然部分采纳了网格计算，也仅是用其处理少量数据。 第7页 共7页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页