混合云中气象模拟的调度策略外文翻译资料

英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料

混合云中气象模拟的调度策略

Alfonso Quarati a， ， Emanuele Danovaro a， Antonella Galizia a，

Andrea Clematis a， Daniele Drsquo;Agostino a， Antonio Parodi b

a应用数学与信息技术研究所，意大利国家研究理事会意大利热那亚

b CIMA研究基金会，萨沃纳，意大利

摘要：

云基础设施提供的灵活和现按需付费的计算力对高需求的电子科研，如天气预报模拟器，很有吸引力。因为他们能连接由公有云提供的可伸缩性和私有云提供的更好的控制和定制，混合云看起来是一个非常有吸引力的解决方案，在日常活动中帮助气象研究人员和气象部门。云代理连接客户与云提供商，可能帮助科学家部署和执行必要的气象模拟，通过隐藏所有相关的管理强大的但往往复杂的高性能计算系统的错综复杂的东西。

本论文提出了一套混合云代理策略，旨在根据不同的用户需求和计算条件执行各种WRF模式天气预报实例。基于仿真的分析记录了在不同的工作负载和系统配置下不同的调度策略的性能。

copy;2014 Elsevier B.V. 保留所有权利。

关键词：混合云，气象模拟，代理的策略

介绍

极端降水和洪水事件是人类生命和财产的最大风险之一，并代表21世纪的一个主要问题与重大的社会和经济影响。应对这些问题的气象研究主要目标是使日常的加速度和进步的集成预测从而改善环境保护。实际上，天气和气候预测及其影响对研究小组以及民事保护部门都是一个关键的任务。此外防止洪水和滑坡等灾害需要解决多方面的问题，不仅涉及到气象科学家们，还需要与ICT社区有一个强烈的联系和协作，来探索新的技术解决方案和方法[1]。特别是，及时和有效地运行预测系统(例如，WRF MESO-NH)，对于研究和更可能操作的应用程序，通常需要高性能计算资源的使用，都是昂贵的且不总是容易的。特别是天气研究和预测(WRF)模型是数值天气预报、开发出来以促进理解大气模拟系统、中尺度天气的预测和加快研究进展至操作的转移。这是一个大型社区的用户的“参考”模型，表现了灵活，最先进，可移植的代码，当计算环境从大规模并行超级计算机到笔记本电脑都是高效的。底层的计算能力实际上可能在每一个气象科学家日常生活工作中代表一个限制[2]。

云计算的一个关键因素是由它的随需应变，使用率的方法向虚拟化和分布式信息通信技术解决方案的创建和维护昂贵相比，严格预配置的IT基础设施，必须给予类似的服务在同一级别的业务连续性。混合云(HC)整合内部(私有)和外部(公共)资源，连结一些公共云提供的可伸缩性与私营企业提供的更大的控制权。(混合)云代理(CB)——作为一个公共云服务的用户和提供者之间的中介——可能支持气象学家在最合适的计算平台的选择根据他们的模拟目标，有选择地添加专用的供应高质量服务。

由FP7欧盟之下分布研究基础设施Hydro-Meteorology(DRIHM)项目(2012 - 2015)的研究活动培养，旨在使Hydro-Meteorology研究做出超越艺术的状态的建模预测链[3]，本文分析了代理混合云算法的性能行为充分应对操作约束不同实例的气象模型，提出，在WRF的情况下，可能会有各种用户和计算需求显示，例如，在[4]。我们分析了不同的调度策略的行为，通过仿真，通过比较结果通过代理算法对不同的系统配置和工作负载的类型。为此研究将考虑CB和用户(如流星研究员和专业)的视角，通过考虑指标如收入、用户满意度和系统利用率。

第二部分，介绍了WRF，其计算问题及其与用户需求的关系。第三节简要说明一些相关工作。第四部分介绍了代理的策略下的原理。第五节仿真细节设置，而第六节提出并讨论了结果。在第七节得出一些结论。

2.天气的研究和预测模型

天气研究和预测(WRF)模型是数值天气预报和大气模拟系统设计为两个研究和操作应用程序[5]。努力开发WRF始于1990年代后期，也是美国金融机构之间的合作伙伴关系，大学和实验室，尤其是国家海洋和大气管理局(NOAA)，美国国家大气研究中心(NCAR)，和150多名其他组织和大学在美国和海外[6]。的确，它代表多家机构共同努力建立一个下一代中尺度预报模型和数据同化系统推进中尺度天气的了解和预测，和加快研究进展为经营。他的物理和动力学选项的频谱反映了广泛的科学界的经验的输入。事实上，在20000多个国家(超过20000)中，WRF已经成长为全球大型的社区用户，它现在被许多研究社区认为是提供的开发人员社区模型。

WRF下一代预测模型和反映灵敏，最先进的，可移植代码效率计算环境从大规模并行超级计算机到笔记本电脑。模型提供一个广泛的跨尺度气象应用程序从米到数千公里。应用包括实时数值天气预报、热带风暴和飓风研究和预测，区域气候、大气化学和空气质量，和基本的大气研究。WRF允许研究人员模拟使用真实的数据(观察、分析)或理想化的大气条件[7]。WRF模式经常用于操作模式在一个非常大的社区，广泛的从美国到欧洲大陆，通过亚洲和以色列.除了我们，实时预报模型运行的国家海洋和大气管理局的不同部门，如全球系统部门和国家严重的风暴实验室和其他大学，实际使用的模型还在墨西哥和乌拉圭。至于欧洲，很多国家和地区得到预测利用WRF，只是仅举几例，南丫财团在意大利[8]，地球科学系在西班牙巴塞罗那超级计算中心的[9]，塞尔维亚共和国水文气象服务[10]。

2.1.计算方面

WRF模式代表了大气状态变量的数量在常规的笛卡尔网格离散。核心是完全基于欧拉求解可压缩非静力方程。模型使用地形跟踪，静水压力垂直坐标模型的顶部是一个恒压表面。水平网格是Arakawa-C网格。时间集成方案的模型使用三阶龙格-库塔计划，和空间离散化雇佣2日6日订单计划[7]。天气预报代码天生I / O(主要是输出)密集，反复书写的时间序列的3 d表示大气。最常见的标准用于数据表示是网络通用数据格式。并行实现模型的分布，可以支持多层次共享内存(OpenMP)，内存(MPI)，混合并行(消息传递和多线程)计算模式。很少有实验组件移植在图形处理单元(GPU)CUDA(11、12)。并行版本的WRF域分解两个水平维度，因此它需要处理机间通信邻里之间在大多数超级计算机拓扑，每个时间步包括36个光环和144年加权交流(假设聚合)[13]。数据分解可以利用两个层次的记忆：分布式内存曲柄和(同样在每个曲柄)共享内存块。模拟真实情况下，WRF需要初始和边界条件可能由不同的全球环流模型和再分析数据集。地形学的数据(数字高程模型和土地利用)也是必要的。

研究版本的模型支持水平嵌套，可以集中在一个地区感兴趣的决议通过引入额外的网格仿真(或网格)。嵌套网格是矩形的，与父(粗)网格内嵌套。此外，嵌套网格允许任何时空网格的细化，与其他模型允许嵌套相比，主要的改进在WRF嵌套是嵌套计算模拟的能力有效地并行分布式内存的计算机系统。

官方基准分布，目的是展示模型的计算性能和可伸缩性目标架构[14]。考虑到版本的代码，测试用例，性能是通过模型来表达速度，忽略了I / O和初始化成本，并测量每个时间步的平均成本代表一段模型集成。可伸缩性是提高仿真速度的比值的增加数量的并行过程。这是一个衡量的集成速度，它将提供一个方法来比较不同的体系结构的性能和与其他模型进行比较。结果可供科学界，科学家感兴趣提交他们的结果在一个特定的体系结构必须遵循的程序。还存在一个基准测试的GPU部署模型[15]。在这种情况下，关键计算内核(WRF动力学和物理内)异常分析。目的是描述内核的性能计算强度而言，数据并行性、记忆等，从而提高并行实现的有效性。提出了一个面向用户的其他贡献WRF基准测试集合[16]，专注于支持用户设置为WRF模式域模拟，以及协助相关的决策，为各种模型布局必要的硬件和软件资源。因此，不同的要求配置评估所需的资源来支持用户估计积分数百万网格点。这些代表典型的用户需要在复杂和苛刻的多重嵌套和多型的配置在区域建模应用程序使用。评估指标是以分钟，包括时间花在做I / O，一致的模型的一部分，因此可以理解的实际消耗模型在复杂的配置。复杂的配置对应高度要求计算，无论是内存空间和CPU时间。例如，考虑的情况下3领域 配置约1700万人组成的网格点和24 GB的输入数据文件。WRF计算在皓龙处理器连接通过一个转换线缆需要一个执行时间为每个集成步骤，从大约20 h使用96核时，3 h和512核。相同的配置上运行英特尔处理器连接通过一个转换线缆大约需要16小时56芯和2 h和620核。

2.2.用户需求

工作在这两个操作和研究模式，各种预测和分析，可以由WRF很大，与模型实例需要从几个小时到几天不计算和内存需求可以忽略不计。此外，特别是当模型用于研究问题，强调系统的计算能力实际上可能代表一个限制。为了支持这种要求WRF实例，它是必要的，以确保完整的模型执行强大的资源的可用性。事实上，这是一个很常见的情况，WRF要求运行时可以从HPC系统管理员取消违反可能限制设置挂钟时间和/或内存配额计算“将军”。为了应对这种情况，WRF使周期(在模拟时间)创建启动文件，即检查点，重新计算上次重新启动打印出来，这样恢复机制导致增加的CPU和内存使用的每个模型运行。

尽管这些常见的问题，出现的各种需求，根据角色和WRF用户的需要，具有影响的选择最合适的资源来执行WRF模拟。例如，如果用于天气预报，WRF执行通常需要高水平的紧迫性与严格的不可转让的最后期限。当用于高级研究计划、大型计算多个嵌套域可能需要长时间的可用性保证避免开销恢复步骤，虽然最后期限可能是一个小问题。

上下文中的HC致力于执行不同的工作负载，在本文中，我们考虑了四类用户的共存，即高级研究人员(AR)、媒介研究者(MR)，天气预报(WF)和学生(ST)。每个用户都有表达一组有用的配置参数设置的模拟显示根据她的具体要求和执行选项。这个配置设置名称列表中声明。输入文件，也包含其他强制性信息，例如粒子物理学和应用参数化，以及域名解析。

利用WRF科学研究导致大规模模拟的CPU和内存需求。事实上在研究的情况下，提高可预测性的极端事件可以考虑运行在非常高的分辨率，即区域云

即1 - 5公里网格间距)和/或云分辨(即1公里网格间距或更少)模拟。例如，改善大气场景建模诱发山洪能够达到与他们特性化在运动学方面，热力学和粒子物理学属性(13、17)。高性能计算资源的使用是至关重要的，使这种研究在高分辨率，涉及开发嵌套域。根据程度的精度仿真所需的活动我们差异化之间的中、高级研究人员。第一个需要两个域模拟云允许决议。后者需要执行三个领域的仿真，其中前两个域是在云允许决议，和第三个是云解决决议。由于研究人员的计算需求的情况下，运行的时间实际上是相关的，当使用高度并行资源(见表1)，特别是支持基于“增大化现实”技术的重计算，不会导致在可能的时间代价高昂的中断，重要的是，代理担保最高将高性能计算资源的可用性。为此基于“增大化现实”技术的要求执行计划的HC私人区域。相反更少的要求，请求，可能分配，成本降低(见表2)，独立的私人或公共区域，没有给予相同级别的可用性。

当用于操作模式WRF通常运行在区域云决议，预计将会有一个高度的紧迫感，天气预报员因此要求执行在超级计算机或专用集群。尊重这样的硬约束响应时间(小时)的顺序CB必须保证WFs执行次数总是满意及时通过提供强大的并行资源从而获得最快的结果。在下一节中解释，执行严格的期限要求，WF请求永远是特权的人。

学生参加课程应该学习如何运行和配置模型，而不是深入分析仿真结果。在这种情况下性能不是主要问题，和复杂性(即数量的网格点和层次的嵌套)的领域。因此学生模型的运行不需要高水平的并行性，长时间的计算和大内存空间。学生请求可能会发现空间地私人或公共资源。

对于每个类的用户来说，表1总结了WRF实例的配置，随着模拟时间和执行时间范围，导致实验在集群上进行详细的5.3节中。第二列报告扩展(公里)的地理领域的仿真应用。域在3 d正则网格分区，根据空间分辨率由列三个和四个：首先水平分辨率(公里)，然后点的数量在每个维度的地理网格。5时间分辨率(计算时间步长)在第五列指定。模拟的总持续时间周期在六列，列七报告所需的计算时间运行时提出配置实验机。最后，最后一列表示具体要求(如果有的话)提交的请求。表的每一行指定每个域参与仿真。如前所述研究员需要复杂的计算涉及三个嵌套域。从表中很清楚如何严格执行时间与空间和时间分辨率筑巢所需的水平。

一些商业和开源云代理平台和工具支持云服务组织在消费和人供养，IaaS，PaaS和SaaS，特别是当他们跨越多个提供者，在18到22岁的。这些系统通常支持创建和管理各种云环境，无论是公共、私人或混合云，可能是本地提供，随着SaaS或者解决方案。几乎所有这些工具授予一些服务质量特性如安全性、可靠性和灵活性。科学组织、大学和研究中心，天气操作部分属于公共管理部门或在ICT行业经营的中小企业，可以利用云代理平台的利用他们内部ICT基础设施，结合公共IaaS提供商，使经验在配置和执行特定的气象包，如WRF，在处理第三方研究机构。

协调内部和外部资源的选择混合云的代理的方法，提出了在[23]，可能通过提供一个可定制的气象服务的交付。在下面，我们这个代理的经济影响分析方法对CB和WRF类的用户表1中形成的。

3.相关的工作

云越来越被企业、政府和科学家用于商业中，从天文学到动物学领域。许多专家断言，21世纪科学的需求意味着电子科学将主要在云计算上。这个现象基于很多原因，最重要的是，科学家们对计算需求的突发性，短时间内需要巨大的计算力，而云支持短暂、临时的峰值资源需求。21世纪科学越发需要大型数据集以及通过一个适当的计算基础设施的过程的共

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[153857]，资料为PDF文档或Word文档，PDF文档可免费转换为Word