气象计算网格模式预报系统的建立与优化

第２７卷第１１期　２０１０年１１月　计算机应用研究　Ａｐｐｌｉｃａｔｉｏｎ　Ｒｅｓｅａｒｃｈ　ｏｆ　Ｃｏｍｐｕｔｅｒｓ　Ｖｏ１．２７　Ｎｏ．１ｌ　ＮＯＶ．２０１Ｏ　气象计算网格模式预报系统的建立与优化术　王彬　，周斌　，魏敏。　（中国气象局ａ．国家气象信息中心；ｂ．国家气象中心，北京１０００８１）　摘　要：为了在气象部门内跨地域共享使用ＭＭ５模式系统，基于建成的气象计算网格平台，成功地接入了　ＭＭ５模式系统。根据用户预报需求，设计了参数化和业务运行方案，建立了华中区域ＭＭ５数值预报应用系统。　完成模式系统部署运行后，通过使用网格平台的资源调度和工作流引擎等工具手段，优化了后处理运行流程。　运行分析表明网格平台上ＭＭ５模式系统的运行效率显著提高。　关键词：气象计算网格平台；ＭＭ５；气象数值模式；性能优化；部署运行　中图分类号：ＴＰ３９３　文献标志码：Ａ　文章编号：１００１—３６９５（２０１０）１１—４１８２—０３　ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１—３６９５．２０１０．１　１．０４９　Ｅｓｔａｂｌｉｓｈｍｅｎｔ　ａｎｄ　ｏｐｔｉｍｉｚａｔｉｏｎ　ｏｆ　ｍｏｄｅｌ　ｐｒｅｄｉｃｔｉｏｎ　ｓｙｓｔｅｍ　ｂａｓｅｄ　ｏｎ　ｍｅｔｅｏｒｏｌｏｇｉｃａｌ　ｃｏｍｐｕｔａｔｉｏｎａｌ　ｇｒｉｄ　ＷＡＮＧ　Ｂｉｎ　，ＺＨＯＵ　Ｂｉｎ　，ＷＥＩ　Ｍｉｎ　（ａ．Ｎａｔｉｏｎａｌ　Ｍｅｔｅｏｒｏｌｏｇｉｃａｌ，，　ｒｍａｔｏｉｎ　Ｃｅｎｔｅｒ，ｂ．Ｎａｔｉｏｎａｌ　Ｍｅｔｅｏｒｏｌｏｇｉｃａｌ　Ｃｅｎｔｅｒ，Ｃｈｉａ　Ｍｅｔｎｅｏｒｏｌｏｇｉｃａｌ　Ａｄｍｉｎｉｓｔｒａｔｉｏｎ，Ｂｅｉｉｆｎｇ　１０００８１，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｉｎ　ｏｒｄｅｒ　ｔｏ　ｒｅｍｏｔｅｌｙ　ｓｈａｒｅ　ＭＭ５　ｍｏｄｅｌ　ｓｙｓｔｅｍ　ｉｎ　ｍｅｔｅｏｒｏｌｏｇｉｃａｌ　ｄｅｐａｒｔｍｅｎｔ．ＭＭ５　ｍｏｄｅｌ　ｓｙｓｔｅｍ　ｗａｓ　ｓｕｃｃｅｓｓｆｕｌｌｙ　ｉｎｔｅｇｒａｔｅｄ　ｉｎｔｏ　ｔｈｅ　ｅｓｔａｂｌｉｓｈｅｄ　ｍｅｔｅｏｒｏｌｏｇｉｃａｌ　ｃｏｍｐｕｔａｔｉｏｎａｌ　ｄ　ｐｌａｔｆｏｒｍ．Ａｃｃｏｒｄｉｎｇ　ｔｏ　ｕｓｅｒ　ｆｏｒｅｃａｓｔ　ｒｅｑｕｉｒｅｍｅｎｔ，ｄｅｓｉｇｎｅｄ　ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ　ａｎｄ　ｏｐｅｒａｔｉｏｎ　ｓｃｈｅｍｅ　ａｎｄ　ｃｏｎｓｔｒｕｃｔｅｄ　ｃｅｎｔｒａｌ　Ｃｈｉｎａ　ｒｅｇｉｏｎａｌ　ＭＭ５　ｎｕｍｅｒｉｃａｌ　ｆｏｒｅｃａｓｔ　ａｐｐｌｉｃａｔｉｏｎ　ｓｙｓｔｅｍ．Ａｆ－　ｔｅｒ　ｄｅｐｌｏｙｍｅｎｔ　ａｎｄ　ｏｐｅｒａｔｉｏｎａｌ　ｒｕｎｎｉｎｇ，ｗｉｔｈ　ｔｈｅ　ｈｅｌｐ　ｏｆ　ｇｒｉｄ　ｒｅｓｏｕｒｃｅ　ｓｃｈｅｄｕｌｉｎｇ　ａｎｄ　ｗｏｒｋｆｌｏｗ　ｅｎｇｉｎｅ　ｔｏｏｌｓ，ｏｐｔｉｍｉｚｅｄ　ｐｏｓｔ—　ｐｒｏｃｅｓｓｉｎｇ　ｐｒｏｃｅｄｕｒｅｓ．Ｒｕｎｎｉｎｇ　ｒｅｓｕｌｔｓ　ｉｎｄｉｃａｔｅ　ｍｕｃｈ　ｐｅｒｆｏｒｍａｎｃｅ　ｉｍｐｒｏｖｅｍｅｎｔ　ｏｆ　ＭＭ５　ｍｏｄｅｌ　ｓｙｓｔｅｍ　ｏｎ　ｔｈｅ　ｄ　ｐｌａｔｆｏｒｍ．　Ｋｅｙ　ｗｏｒｄｓ：ｍｅｔｅｏｒｏｌｏｇｉｃａｌ　ｃｏｍｐｕｔａｔｉｏｎａｌ　ｇｒｉｄ　ｐｌａｔｆｏｒｍ；ＭＭ５；ｍｅｔｅｏｒｏｌｏｇｉｃａｌ　ｎｕｍｅｒｉｃａｌ　ｍｏｄｅｌｓ；ｐｅｒｆｏｒｍａｎｃｅ　ｏｐｔｉｍｉｚａｔｉｏｎ；　ｄｅｐｌｏｙｍｅｎｔ　ａｎｄ　ｏｐｅｒａｔｉｏｎａｌ　ｒｕｎｎｉｎｇ　气象计算一直是高性能计算的主要应用领域之一。气象　数值模式是大气科学领域中一类重要的计算应用程序，气象　１　背景　１．１　气象计算网格平台　数值模式通过求解描述大气状况的一组非线性方程来计算大　气的未来变化。无论是短期天气预报还是长期气候预测，都离　不开强大的高性能计算资源的支持。经过多年的持续投资和　大力建设，中国气象局国家级与地方部门引进了国内外多个品　牌的高性能计算机系统，实现了计算能力跨越式发展。基于国　家级、部分区域级资源，气象部门成功建立了一个气象计算网　格平台。　在国家科技基础条件平台计划的支持下，通过引进应用国　外较为成熟的网格平台软件和自由软，进行自主开发，设计、建　成了一个气象部门内全国范围地理分布的、跨广域网络的计算　网格平台…。气象计算网格平台现聚合总计算能力超过２６．０２　ＴＦＬＯＰＳ，占气象部门内的５０％以上　Ｊ。　气象计算网格平台在整合分布于气象网络上各类计算所　需资源（高性能计算机系统、气象模式程序、数据资料等）的基　ＭＭ５气象模式是气象科学计算领域应用较多、需求较大　的中尺度数值模式之一。预报业务上使用的ＭＭ５模式分辨率　高、计算规模巨大，随着天气预报日趋精细、时效性不断提高，　必须提供充足的高性能计算资源保障。但是许多地方气象部　门缺乏足够的计算资源支撑本地ＭＭ５的运行。为此，选择　ＭＭ５作为典型气象应用在气象计算网格上开发模式预报系　统，共享使用。　在气象计算网格平台成功接入运行ＭＭ５模式系统后，针　础上提供了资源虚拟化、平台服务、应用支持等功能：把物理　资源虚拟化成统一的规范实体形式，屏蔽了物理资源层中的各　种资源的分布性、动态性和异构性，便于管理和使用；支持资源　信息管理、作业调度管理和数据支持等服务；提供了气象数值　模式运行和研究实验所需的使用环境和工具，如网格作业工作　流引擎功能，支持计算作业工作流程的编织和执行。气象计算　对资源匮乏地区用户需求，定制了参数化和业务运行方案，建　网格平台上提供了网格门户系统、数据服务、命令行工具等访　问接口。　１．２　ＭＭ５气象模式　立了华中区域ＭＭ５数值预报应用系统并投入业务使用。在试　验、分析模式系统运行的基础上，对华中ＭＭ５模式系统的后处　理串行执行模块进行了“网格并行化”优化，缩短了运行时间，　提升了模式运行效率。　收稿日期：２０１０—０５．１３；修回日期：２０１０—０７．０７　ＭＭ５模式　是由美国国家大气研究中心（ＮＣＡＲ）和宾州　基金项目：国家“十一五”科技基础条件平台建设基金资助项目（２００５ＤＫＡ６４００５）　作者简介：王彬（１９７６一），男，黑龙江伊春人，高工，博士，主要研究方向为气象高性能计算、网格计算（ｗａｎｇｂｉｎ＠ｃｍａ．ｇｏｖ．ｃｎ）；周斌（１９７０一），　男，江苏武进人，高工，硕士，主要研究方向为气象数值模式预报系统开发与应用；魏敏（１９７６一），女，河北冀州人，高工，硕士，主要研究方向为高性　能计算与数值模拟．　第１１期　王彬，等：气象计算网格模式预报系统的建立与优化　・４１８３・　大学（ＰＳＵ）联合开发的中尺度数值模式系统，它是目前国际上　对ＭＭ５模式各种产品及相关资料等信息的注册、归类和统一　较为先进的有限区域中尺度数值模式。ＭＭ５模式系统被广泛　地应用于天气中尺度数值模拟研究和中尺度数值预报业务系　统。ＭＭ５模式提供了灵活的物理过程参数化选项，具备多重　嵌套和四维资料同化能力，能在广泛的计算平台上运行，具有　良好的可移植性。它已被应用到天气预报、大气环境、风能资　管理。支持系统化的身份鉴别和授权，实现数据产品的归档、　存储、共享以及与区域中心的同步，记录数据产品的历史信息。　利用成熟可靠的文件传输服务技术和安全认证技术，提供　产品传输分发服务，用户可以方便地下载模式产品数据资料到　本地存储系统分析使用。　２．２华中区域定制方案　针对计算资源相对匮乏的华中区域中心用户实际需要，制　源评估等科学研究工作中。　国家气象中心对ＭＭ５模式进行了定制开发，形成了可应　用于气象数值预报业务的版本。ＭＭ５模式系统的运行流程整　体上可分为前处理、主模式、后处理三个阶段。表１说明了　定了华中区域ＭＭ５数值预报应用系统（简称华中ＭＭ５模式　系统）设计方案，包括模式参数化、物理过程和产品定制方案。　ＭＭ５模式系统的主要运行步骤。　从运行方式上来看，前处理和后处理阶段的各个步骤均是　串行计算执行，主模式并行计算执行。Ｔｅｒｒａｉｎ步骤在整个系　统运行之前根据预报区域预先配置运行。　表１　ＭＭ５模式系统的主要运行步骤　２系统设计与部署运行　２．１　ＭＭ５模式系统的网格接入　如图１所示，基于已建立的气象计算网格平台，制定了　ＭＭ５中尺度气象模式系统的网格接入方案，主要包括ＭＭ５模　式应用门户系统、产品分发传输服务、承载模式运行的计算资　源、资料数据等几部分。　艚　资源匮乏地区气象用户　专．　基塑垒≥　图１　Ｍ／ＶＩ５数值模式系统网格接入架构设计　１）模式应用门户系统　ＭＭ５模式应用门户系统是主要　的用户访问界面，与网格门户系统整合为一体。模式应用门户　系统完成了ＭＭ５模式的程序初始参数配置、作业提交、业务定　制、运行监视和产品查看管理等功能。可通过门户系统定制满　足特定需要的ＭＭ５业务模式，并对其运行过程进行监视，模式　运行完成后查看、管理产品。　２）产品分发传输服务该服务主要包括模式产品目录服　务和传输管理服务。　产品目录服务在成熟的关系数据库等技术的支持下，实现　华中ＭＭ５模式系统采用了两重嵌套方案：第一重（外部区　域）水平分辨率为３０　ｋｍ，区域覆盖中国大陆；第二重（内部区　域）水平分辨率为１０　ｋｍ，区域覆盖华中区域中心下辖省市。模　式垂直分辨率为２４层，模式积分８４　ｈ（１２　ｈ同化，７２　ｈ预报）。　调整优化参数配置，包括微物理过程方案、积云参数化方　案、陆面过程方案、边界层过程方案等，优化改进研究参数化运　行方案。通过实验分析，确定了华中ＭＭ５模式系统的主要物　理过程为：Ｇｒｅｌｌ积云对流参数化方案、ＤＵＤＨＩＡ简单冰相方　案、ＭＲＦ高分辨率行星边界层方案、ＤＵＤＨＩＡ云辐射方案。　华中ＭＭ５模式系统主程序每日定时运行两次，分别在　１１：２０、２３：２０启动。采用国家气象中心Ｔ２１３全球中期数值预　报系统输出资料作为初始场及侧边界数据，从国家气象信息中　心要素库中提取地面观测资料和探空观测资料作为模式同化　资料。　为满足不同专业、不同用户的需要，系统预报输出间隔为　每小时一次。共生成三种产品，即单站预报图形产品、区域图　形产品和ＭＩＣＡＰＳ格式产品。　２．３系统的部署与运行　华中ＭＭ５模式系统在气象计算网格平台上的部署和运行　可分为本地运行环境建立、四维数据同化和产品生成归档等工作。　１）本地运行环境建立　在计算网格上建立模式运行环　境，实现ＭＭ５气象模式有效的源代码配置管理和不同平台的　编译。在网格平台各计算资源上创建统一的模式用户，由网格　平台软件统一管理，进行身份认证与资源调配。在网格平台内　各计算资源上调试通过了源代码库管理所有模式系统的程序　和各种平台预编译参数，使模式能在ＵＮＩＸ和Ｌｉｎｕｘ不同操作　系统下正常运行。通过用户参数和系统配置功能选择生成相　应平台的代码模块和编译参数，进而通过编译形成目标模块，　并自动集成一个批处理作业流程。　２）四维数据同化　开发了本地观测资料应用于ＭＭ５四　维数据同化（ＦＤＤＡ）的方法。ＦＤＤＡ可以将常规观测资料与模　式初猜场资料融合同化。为适应气象计算网格灵活的区域计　算需要，重新开发了ＭＭ５模式中Ｌｉｔｔｌｅ—Ｒ模块预处理观测资　料生成同化资料的方案，并对新方案加入模式后系统的稳定性　和预报的可靠性进行了测试确认。　３）产品生成与归档　单站预报产品根据用户查询，通过　数据库数据检索动态合成，可以保存为单站预报图形文件。区　域图形产品生成后以图形文件形式保存。ＭＩＣＡＰＳ格式产品　遵循气象信息综合分析处理系统标准规范。开发传输脚本程　序，将其打包后通过产品数据分发传输服务提供给华中区域中　心气象台用户使用，后处理定制开发本地特色的预报产品。　单站产品（图２）、区域图形产品可以直接在模式应用门户　上查看获取。ＭＩＣＡＰＳ格式产品通过产品分发传输服务下载　获取，用ＭＩＣＡＰＳ气象软件系统进行解释与处理。　・　１８４・　武汉２０１０年２月９日２０时起７２小时定点数值天气预报一　计算机应用研究　第２７卷　的主模式相同，但由于整体时间大大长于网格环境，并行部分　所占比重降低了近２０％，为４０％；串行部分占总运行时间的　６０％多一些。　２５　０００　２０　０００　１５　０００　图２华中ＭＭ５模式系统的单站产品示例　窖１０　０００　５　０００　０　３系统优化与性能分析　３．１运行流程的优化　图５在网格与单集群环境下ＭＭ５模式运行时间比较　图５比较了华中ＭＭ５模式系统在气象计算网格平台、单　在充分考虑到各模块之间的数据依赖关系基础上，对华中　ＭＭ５模式系统在气象计算网格的运行流程进行了优化调整。模　集群环境下的几个时次运行时间。图中的三条折线分别代表　在气象计算网格平台、单集群环境下的运行时间，以及两种不　式系统的前处理主要是串行模块，前后依赖，依次运行，总体时　间较短；主模式部分主要是并行执行部分，经过多次调试，已达　到最优。故前处理和主模式阶段运行流程优化执行余地有限。　运行流程的优化执行主要放在了后处理。这一部分涉及　到多个串行数据处理模块，包括数据后处理、场库、产品生成等　（其中：ＩＮＴＥＲＰＢ、ＦｉｅｌｄＰａｃｋ分别针对ＭＭ５处理的两重嵌套区　域进行）。有的模块之间存在着依赖关系，如ＭＩＣＡＰＳ产品生　成依赖于ＦｉｅｌｄＰａｃｋｌ、ＦｉｅｌｄＰａｃｋ２，而ＦｉｅｌｄＰａｃｋｌ、ＦｉｅｌｄＰａｃｋ２又　分别依赖于ＩＮＴＥＲＰＢ１、ＩＮＴＥＲＰＢ２的完成，而ＩＮＴＥＲＰＢ１、ＩＮ—　ＴＥＲＰＢ２又依赖于ＭＭ５主模式的完成；但有很多模块之间没　有数据依存关系，如ＩＮＴＥＲＰＢ１、ＩＮＴＥＲＰＢ２之间，Ｆｉｅ｜ｄＰａｃｋｌ、　ＦｉｅｌｄＰａｃｋ２之间无依赖关系。　在对ＭＭ５模式系统后处理阶段的数据流关系准确掌握的　基础上设计了合理优化的工作流程，如图３所示。利用气象计　算网格平台的资源作业调度和工作流引擎功能，实现有依赖关　系的模块按顺序执行，无依赖关系的模块并发执行。这样，华　中ＭＭ５模式系统在网格平台上执行时能够同时利用平台整合　的多个计算资源，通过工作流执行引擎和网格作业调度管理功　能充分地并发提交执行，实现了网格环境下的任务并行运行，　提高了运行效率。　图３　ＭＭ５模式系统后处理各模块之间的关系　３．２性能分析　从华中ＭＭ５模式系统在计算网格平台连续实际运行的数　据记录可知，后处理阶段多个串行模块经优化执行后，后处理　所用８０％以上的时间里为多任务并发执行。少量的单任务串　行执行部分主要来自于ＲＩＰ模块执行完成后ＰＣｏｎｆｏｒｍ模块单　独运行的时间，这是因为通常ＲＩＰ执行早于ＰＣｏｎｆｏｒｍ模块结　束。为了更进一步分析华中ＭＭ５模式系统在网格平台上的运　行性能情况，可与单集群环境下的执行情况进行对比。基于统　计结果，绘制了图４和５。　需玺　固　嗣　　图４在网格与单集群环境下ＭＭ５模式串／并行比例比较　如图４所示，在气象计算网格平台上，主模式并行占总运　行时间的近６０％，后处理并发执行部分占总运行时间的２０％　以上。由于很好地并发优化执行，并行（发）部分总体比例达　到了８０％之上。串行部分由前处理和后处理少量串行部分组　成，占总运行时间比例不超过２０％。　在单集群环境下，虽然并行部分所用时问长度与网格环境　同环境的时间长度差。比较华中ＭＭ５模式系统两个环境的运　行时间可发现，同样的数据、问题规模，同样的系统程序下，气　象计算网格平台的运行时间短于集群环境。　综上测试分析可以看出，由于华中ＭＭ５模式系统在气象　计算网格平台上很好地进行了优化的流程设计，执行时充分利　用了网格环境整合的计算资源，最优地进行调度，实现了后处　理任务“网格并行化”优化执行。相对于传统的单集群计算，　充分利用了资源，提高了总的并行（发）比例，并行（发）执行的　时间增长，相应地缩短了总运行时问，显著地提高了运行效率。　４相关研究　中尺度强对流天气系统尺度小，具有突发性和多发性特　点，且天气变化激烈，造成的灾害范围广、危险性大。国内外气　象工作者对区域中尺度数值天气预报的研究极为重视。从２Ｏ　世纪８０年代起，美国组织实施了中尺度外场观测试验ＳＴＯＲＭ　计划，在多个业务预报部门进行了一系列的强对流系统数值模　拟实验，大大提高了对强对流灾害天气形成机理的了解、监测　和预测能力　。　在我国已经建成的有限区域数值天气预报业务系统中，上　海区域预报中心、沈阳区域预报中心、北京市气象局和天津气　象局等均采用该模式作为业务模式。中科院网络中心在深腾　６８００系统上进行了ＭＭ５模式的移植和改进，并行计算效果较　好　ｊ。国防科技大学与湖南省气象局合作，在长沙网格点上　实现了一个数值预报、数值预报产品释用和五维数据可视化相　配套的高分辨率中尺度数值天气预报系统　。　５结束语　模式预报应用系统网格化是实现气象计算网格平台资源　共享的关键。ＭＭ５模式系统的成功部署和性能优化，为其他　中尺度数值预报模式系统的设计建立提供了重要的参考价值。　下一步将随着气象计算网格平台研究的深化，整合加入更多的　气象模式预报系统。　参考文献：　ｆ１１宗翔，王彬．国家级气象高性能计算机管理与应用网络平台设计　［Ｊ］．应用气象学报，２００６，１７（５）：６２９—６３４．　［２］王彬，常飚，朱江，等．气象计算网格平台资源监视模块的设计与　实现［Ｊ］．应用气象学报，２００９，２０（５）：６４２—６４８．　［３］　ＭＭ５　ｃｏｍｍｕｎｉｔｙ　ｍｏｄｅｌ［ＥＢ／ＯＬ］．（２Ｏ０８—１１－０１）．ｈｔｔｐ：／／ｗｗｗ．　ｍｍｍ．ｕｃａｒ．ｅｄｕ／ｍｍ５／ｍｍ５．ｈｏｍｅ．ｈｔｍ１．　『４］朱小谦，张卫民，宋君强．中尺度数值天气预报模式ＭＭ５分布式　并行计算［Ｊ］．国防科技大学学报，２００３，２５（２）：５６＋５９，６７．　［５］姜金荣，迟学斌，陆忠华，等．ＭＭ５在深腾６８００上的移植及其数　值计算方法研究［Ｊ］．数值计算与计算机应用，２００６，２７（３）：　２１０—２１７．　『６］宋君强，张卫民，朱小谦，等．基于网格的中尺度数值天气预报系　统设计与实现［Ｊ］．计算机研究与发展，２００２，３９（８）：９６８—９７２．