1、宁夏气象业务内网的功能与实现 李新庆 卫建国 单新兰 冯瑞萍 中国气象局旱区特色农业气象灾害监测预警与风险管理重点实验室 宁夏气象防灾减灾重点实验室 摘 要： 构建气象业务内网, 形成宁夏气象行业内部统一的数据共享服务平台, 是宁夏全区气象信息化建设的重要任务之一。本文首先描述了系统建设思路、总体架构、功能结构, 然后对气象元数据标准设计、数据收集和处理、数据存储以及数据可视化等关键技术作了阐述。最后, 基于上述关键技术对宁夏气象业务内网进行设计和实现。目前, 该系统已开始试运行, 运行效果良好, 能够对宁夏气象业务起到一定支撑作用。关键词： 气象业务; 数据共享; 元数据; 数据可视化; 宁
2、夏; 作者简介：李新庆 (1983) , 男, 陕西周至人, 硕士, 工程师, 研究方向为气象数据应用.E-mail:ning_。收稿日期：2017-05-20基金：中国气象局旱区特色农业气象灾害监测预警与风险管理重点实验室 2017年科研项目 (CAMM-201713) 资助Function and Implementation of Meteorological Service Platform in NingxiaLI Xinqing WEI Jianguo SHAN Xinlan FENG Ruiping Key Laboratory for Meteorological Disast
3、er Monitoring and Early Warning and Risk Management of Characteristic Agriculture in Arid Regions, CMA; Ningxia Key Lab of Meteorological Disaster Prevention and Reduction; Abstract： The meteorological data share service platform is one of the important tasks of meteorological informatization constr
4、uction in Ningxia. This paper first described the construction thoughts, overall framework, function structure of the system, and then elaborated the key technologies of meteorological metadata standardization, data collection and processing, data storage and data visualization, etc. Finally, the de
5、sign and realization of meteorological service platform in Ningxia were carried out based on the above key technologies. At present, the system is in preoperation stage. The operation results are good by practice, and it is able to support the weather service.Keyword： meteorological business; data s
6、haring; metadata; data visualization; Ningxia; Received： 2017-05-20引言随着宁夏回族自治区气象业务的飞速发展, 对气象资料的共享服务及可视化需求日益迫切。目前宁夏回族自治区气象局各单位自建的各类业务系统多达 85 个, 各系统相对独立, 功能各异, 存储零散, 应用效率较低, 严重制约了数据共享服务需求。为解决诸类问题, 宁夏回族自治区气象局于 2015 年启动“宁夏气象业务内网”系统建设, 旨在整合宁夏气象内部数据资源, 为气象行业用户提供一个包括实况监测、预报预测及预警信息、历史气候资料以及资料运维监控等功能于一体的数据共享
7、平台, 实现各业务系统间信息的便捷共享, 为预报预测业务提供有力支撑1。气象数据自身具有多源异构的特点, 如何构建数据集约、服务共享、业务管理科学的气象业务内网以发挥更大作用来支持预报预测业务, 是宁夏回族自治区气象局需要集中解决的几个核心问题。因此, 将大气科学知识和信息技术进行紧密结合, 使建成的气象业务内网可最大限度地发挥气象数据资源效益2, 减少业务人员对气象数据的收集及处理时间, 大力提升气象预报服务效益, 对气象业务自身发展、相关领域科学研究等方面都具有重要意义。近年来, 国家、各省级气象部门纷纷开展了气象业务内网的研究和建设工作, 以中国气象局为例, 张志强等3设计和开发了国家气
8、象业务内网, 该系统囊括近 100 多个子模块, 覆盖 1 800 余个气象业务产品, 为气象系统内部统一的气象产品展示、业务管理信息共享服务, 其数据源获取依然采用传统结构, 非结构化数据采用 FTP 服务从多个服务器获取, 在数据量较大时, 访问速度受限;浙江省气象局设计开发了浙江省气象业务内网, 该系统为全省气象行业用户提供实时监测、预报、预警等数据的可视化展示和应用, 其数据可视化产品多采用NCL (the National Center for Atmospheric Research Command Language) 的前端绘制, 在访问量增加时数据可视化性能受到制约;另外, 陕
9、西、重庆、安徽等气象局也陆续开展了气象业务内网的建设工作4-6, 均取得一定进展, 归纳起来, 各省所建立的气象业务内网均以 CIMISS (China integrated meteorological information sharing system) 系统为数据支撑, 数据展示效率均依赖于 CIMISS MUSIC (meteorological unified service interface community) 接口的性能, 未对本地数据存储标准做进一步扩展。针对宁夏气象业务内网建设任务要求, 首先对宁夏气象业务内网系统的总体框架设计和各功能模块进行阐述。其次, 对宁夏本地各
10、类气象数据进行梳理, 数据存储标准在严格遵循 CIMISS 系统规范的前提下进行本地化扩充, 制定本区气象资料共享服务数据标准规范, 在此基础上建立宁夏气象综合数据库, 并按照业务逻辑进行划分, 形成基础数据库、业务产品库和服务产品库, 通过提取、转换和加载 (extraction transformation loading, ETL) 技术实现气象数据的集约整合, 为宁夏气象业务内网提供数据支撑。为改善对非结构数据的存储和访问效率, 提出了采用开源 Hadoop 平台的 HDFS 分布式文件存储非结构化数据, 充分利用分布式集群的存储能力, 完成海量气象数据的存储和处理, 从而保证各类气象
11、业务数据的存储和检索效率。最后, 采用 Bootstrap 响应式框架设计实现宁夏气象业务内网, 并结合开源 Web GIS 技术实现气象数据的可视化, 为区内行业用户提供气象数据在线共享和可视化服务。1 总体设计宁夏气象业务内网以 CIMISS 系统和宁夏综合数据库 (基础数据库、业务产品库和服务产品库) 为数据源, 以虚拟化服务器为硬件支撑, 系统采用 B/S 体系架构, 基于 Web GIS 可视化技术, 实现气象实时、历史数据和业务产品的集中展示, 并提供业务管理功能, 系统总体框架如图 1 所示。由图 1 可知, 系统总体架构采用成熟的三层体系架构:服务层、业务逻辑层和数据层7。服务
12、层为标准的 Web 客户端, 负责与用户交互, 并通过 Web GIS、图表等方式实现各类气象数据的展示。业务逻辑层实现数据的加工、处理和质量控制, 是各业务功能的集成, 同时还包括数据的抽取和同步, 实现上层数据的透明访问;另外, 业务逻辑层还提供用户管理、文件服务、地图数据发布及可视化图形管理等服务。数据层实现元数据、结构化数据、非结构化数据、地理空间数据的存储管理, 并提供气象行业标准化的数据访问接口。图 1 宁夏气象业务内网总体框架 Fig.1 Framework of meteorological service system in Ningxia 下载原图2 功能设计宁夏气象业务内
13、网主要分为首页、实况观测、天气预报、气候预测、农业气象、人影天气、专业服务、数据服务、运维监控以及业务管理 10 个功能模块。(1) 首页首页是综合观测信息的总览, 包括各功能模块的导航, 系统不仅可从菜单栏浏览所有功能, 也可通过界面快速功能入口进入各功能模块。在系统首页上, 用户可读取宁夏 5 市常用气象要素的 12 h 时序图及实况填图、天气预报及预警信息和最新公告等。(2) 实况观测实况观测主要包括地面观测数据的实况展示, 气象要素主要包括气温、气压、降水、风速、风向和相对湿度, 时段上包括逐小时资料、逐日资料、逐月资料。展示效果分为要素色斑图、实况填图和折线图。(3) 天气预报天气业
14、务主要提供天气预报服务。按照时间尺度, 涵盖中长期预报、短期预报、短时临近预报产品;按照预报方式, 涵盖主观预报、数值预报、精细化预报等产品。此外, 还包含灾害预警、决策服务信息共享等内容。(4) 气候预测气候预测模块包括气候监测诊断、气候预测、影响评估、气候变化、气候模式、气候服务、气候检验 7 大类的产品发布和可视化展示。针对大多数图像产品, 气象业务内网按照气候中心规定的发布时间和发布频次及时更新产品, 同时保留历史产品, 以便业务和科研用户便捷获取。(5) 农业气象农业气象主要包括土壤水分逐小时要素资料的展示, 气象要素包括土壤相对湿度、土壤体积含水量、土壤重量含水率、土壤有效水分储存
15、量的 GIS 地图展示。(6) 人影天气人影天气包括人工影响天气指挥中心的基础数据和人影作业条件潜力预报产品, 如 GRAPES_CAMS 模式产品、MM5_CAMS 模式产品、地面火箭作业数据、地面高炮作业数据、作业站点信息、人影作业简报等。(7) 专业服务专业服务主要包括气象服务中心的预报产品展示, 如紫外线实况预报、空气质量预报、城市生活指数、交通预报、旅游预报、功能指数等。(8) 数据服务实现宁夏全区历史气象数据、实时气象数据的在线检索和下载服务, 涵盖地面、高空、辐射、农气、数值预报、大气成分、雷达、卫星、气象服务产品及其他等 10 大类, 提供数据分类导航、定位和数据检索、FTP
16、下载服务以及数据接口服务。(9) 运维监控运维监控模块主要面向区级、市级和县级人员提供各类基础观测资料的实时收集传输监控、业务产品和服务产品的生成监控, 同时还包括重要业务系统的系统资源和网络状态监控。(10) 业务管理业务管理包括气象业务上传和下发的数据服务通报、传输质量报表、现代化建设等各类业务报表的共享和管理。3 关键技术3.1 元数据设计元数据是对信息资源的规范化描述, 是按照一定的标准从信息资源中抽取出相应的特征, 组成一个特定的元素集合8。这种规范化的信息描述必须准确, 且气象要素的各项特征明确, 因此元数据标准的设计是开展数据库设计的前提。气象数据具有连续性、时间性、空间性、地域
17、性、多样性和异构性等鲜明特征9, 要实现种类繁多、特点各异、结构不同的气象数据在气象业务内网上集中共享, 就必须对其进行合理的分类。在参考 QXT1022009气象资料分类与编码、QXT1332011气象要素分类与编码、QXT2332014气象数据库存储管理命名以及国家气象信息中心制定的气象数据集元数据格式 (试行) 和CIMISS 数据库逻辑设计标准的基础上, 结合宁夏气象业务工作实际, 制定了宁夏气象资料共享服务数据标准, 该标准描述了气象数据集元数据的核心元素和编码信息10, 即一级元数据是最基础、最重要的实体, 且可扩展到更深一级的子集。具体来说, 一级元数据主要分为 5 类信息: (
18、1) 气象要素分类信息。主要对气象资料产生的属性进行分类, 包括地面、高空、辐射、雷达、卫星、农气和生态、大气成分、大气环流、数值预报及其他资料等 10 类。 (2) 资料描述信息。主要是关于数据集的基本描述信息, 包括数据集名称、类别、内容关键字、时间和空间信息。 (3) 资料观测基础信息。主要包括识别信息 (站号、站名) 、仪器信息、时间信息以及经纬度和海拔高度信息等。 (4) 资料访问信息。主要是数据集提供的服务信息, 包括气象数据的存放地点、存储路径、使用权限等。(5) 管理信息。主要是描述用户权限、数据存储管理等方面的信息。3.2 气象数据收集与处理气象业务内网需要对业务系统中所生成
19、的各类数据进行集中展示, 因此, 需要对数据进行收集与处理。数据收集与处理主要是对各项业务所产生的数据进行提取、转换和加载 (ETL) 的过程11, 并辅以对元数据的管控, 从而保证各种数据具有明显的业务定义和逻辑关系12。数据收集所涉及的数据源主要包括 CIMISS 系统、本地共享文件服务器、智能化预报数据库等, 数据类型包括结构化数据和非结构化数据 (文本、图片) 等。本文采用 Kettle 实现对数据的 ETL 过程, 它是一款由 Java 开发的开源软件, 支持文本文件、数据表和各种数据库引擎13, 其核心是作业 (job) 和转换 (transformation) 。Kettle 工
20、作主要分为 3 个步骤14-15:首先, 对元数据进行获取。对所涉及的数据库、文本、图片等数据在 Kettle 作业执行中均作为数据流处理, 将这些数据临时存储到数据中转区。然后, 在对数据进行检验、清洗、解码和重命名的过程中, 通过一定规则检验出气象数据的逻辑性错误 (如奇异值) , 以提高数据可靠性;通过数据清洗发现并纠正数据文件中可识别的错误, 包括一致性检查、无效数据、要素界限检查和缺省值等;解码和重命名则是将原来的数据类型按照新的业务逻辑映射为符合目标数据的类型和含义。最后, 将这些转换的数据加载至目标数据库中。其流程如图 2 所示。图 2 数据收集与处理流程 Fig.2 The f
21、low diagram of data collection and processing 下载原图按照存储形式可将 Kettle 所接入的数据分为 2 种类型:一是非结构化的文本数据, 如国家站、区域站等原始报文资料;二是结构化数据, 如公路交通气象站、自动土壤水分观测站等观测资料。上述资料的接入主要满足气象行业用户对数据时效性的需求, 因此按照接入时效可分为实时接入资料和一次导入资料, 如区域站资料每 5 min 接入一次, 历史数据则按照中国气象局下发导入完成, 接入资料时效见表 1。表 1 基于 Kettle 的接入资料信息 Tab.1 Information of loading d
22、ata by using Kettle 下载原表 3.3 数据存储宁夏气象业务内网以数据为核心, 包含来自各级气象部门和其他相关部门的数据资源信息, 数据类型包括结构化和非结构化数据 2 种16。数据存储作为平台的底层支持, 解决数据存储、组织、管理的问题17。根据不同类型数据资源采用不同的存储方式, 关系型数据库存储结构化数据, 分布式文件系统存储非结构化数据。针对实时性要求较高的气象观测数据, 如国家站和区域站逐小时、逐分钟数据等, 采用 Oracle 11g 数据库进行全要素存储, 且数据库表结构命名规范保持和CIMISS 一致, 同时还起到对 CIMISS 数据库降级备份的作用18。对
23、于雷达、卫星、数值模式、大气环流等文件格式种类繁多和数据量较大的非结构化数据, 采用 Hadoop HDFS 分布式文件存储, HDFS 具有高容错、高吞吐量、易扩展等特点19, 可运行在低成本的机器集群上20。一个 HDFS 集群包括元数据节点 (Name Node) 和数据工作节点 (Data Node) 。集群中的每个服务器都运行一个Data Node 后台进程, 该进程负责管理它所在节点上的数据存储。当需要通过客户端读/写某个数据时, 先由 Name Node 告诉客户端去哪个 Data Node 进行具体的读/写操作, 然后, 客户端直接与这个 Data Node 服务器上的后台程序
24、进行通信, 并对相关的数据块进行读/写操作21。目前宁夏气象业务内网接入了环流指数资料、气候预测模式产品、海洋气象资料等非结构化数据。系统总容量为 10 TB, 设计了 2 个数据工作节点 (Data Node) , 其数据存储情况如表 2 所示。以气候预测模式产品资料为例, 采用接口对 HDFS 非结构化数据进行检索测试 (表 3) 。从表 3 检索时间和文件数测试结果来看, HDFS 对小文件 (小于 16 MB的文件) 的存储和检索效率并未显示出其优势 (HDFS 适合存储大文件) , 但是其高容错性、高扩展性是存储气象非结构化数据的优势所在22。而针对 HDFS的小文件存储和检索效率不
25、足的问题, 董其文23、杨芙容等24都作了进一步研究, 其结果都能有效地提高 HDFS 对小文件的存储和检索效率。表 2 宁夏气象业务内网 HDFS 数据存储信息 Tab.2 Store information of unstructured data by using HDFS for meteorological service system in Ningxia 下载原表 表 3 HDFS 数据检索测试 Tab.3 The retrieval test of HDFS data 下载原表 3.4 基于 Bootstrap 响应式框架设计Bootstrap 框架是 Twitter 公司推出
26、的一款基于 HTML5、CSS3 和 Javascript 的开源框架25, 用于开发响应式网站的前端框架, 并优先支持移动终端设备26。Bootstrap 框架包含丰富的组件, 如导航条、菜单、按钮、分页等常用组件, 还提供了自带的多种 j Query 组件, 增强了用户对页面访问的体验效果27。Bootstrap 框架将所有页面显示内容和栅格系统包裹在一个 container 容器中, container 容器能够自适应各类设备屏幕和视口 (viewport) 尺寸, 开发者只需根据用户行为进行相应的调整, 便可快速构建出符合需求的系统布局。考虑到宁夏气象业务内网需要兼容不同分辨率的需求,
27、 而 Bootstrap 框架本身具有较高的兼容性, 能够满足自适应各种屏幕大小和各种规格的分辨率, 不需要再进行复杂的兼容性测试即可满足应用。3.5 Web GIS 气象数据可视化为增强气象实时观测数据的可视化效果, 系统采用 Web GIS 技术制作气象实况数据展示模块。Web GIS 是基于 Internet 环境下的地理信息应用, 只需要使用Web 浏览器便可以轻松访问 GIS 数据, 在气象科学研究、业务系统等方面应用较为广泛28-31。Web GIS 应用主要包括地图服务器、中间件、空间数据库、客户端32。地图服务器是 Web GIS 的核心, 根据项目实际, 采用功能齐全的 Ge
28、oserver 服务器, 除了支持 WFS (网页要素服务) 和 WMS (网页地图服务) 服务以外, 还支持 OGC (open GIS consortium) 地图数据操作规范;中间件采用 Geo Tools, 它承担了从各种数据源 (如 Post GIS、GML、Shapefile、WFS) 读取数据并将其标准化的工作;空间数据库采用 Post GIS/Postgre SQL 空间数据库, 主要存储地理空间信息;客户端采用 Open Layers 客户端, 它是一个开源的 Java Script 框架, 能够实现基于浏览器的地图浏览、漫游和缩放等功能。4 系统应用实现4.1 系统部署环境
29、操作系统:Linux SUSE sp2 11 企业版;Web 服务器:Apache HTTP Server;地图服务器:Geo Server2.8.2;B/S 架构服务端软件:PHP;Web 框架:Bootstrap、j Query、Java Script。4.2 数据库环境结构化数据存储:Oracle 11g;非结构化数据存储:分布式文件系统, 即 Hadoop 2.7.1 (HDFS) ;地理空间数据库:Post GIS/Postgre SQL。4.3 系统应用实现宁夏气象业务内网基于 j Query 和 Bootstrap 框架, 采用 Web GIS 和图形报表等工具开发, 系统不仅提
30、供观测数据、气象预报、公共服务、运维监控等数据展示, 还实现了基于 Web GIS 的实况数据的叠加、显示、查询功能。目前该系统正在宁夏气象业务部门推广试用, 系统运行稳定、功能完整、界面友好、操作简便, 系统首页如图 3 所示。图 3 宁夏气象业务内网首页 Fig.3 The home page of meteorological service system in Ningxia 下载原图5 结语宁夏气象业务内网建设是宁夏回族自治区气象局智能化业务服务共享管理平台建设的重要业务系统之一, 其宗旨是囊括各类气象业务、数据服务和业务管理为一体, 为气象内部用户提供一个信息共享的服务平台。因此,
31、 系统的体系架构和采用的关键技术均具有较高的复杂度, 需要在集约化、标准化和规范化的原则下, 参考中国气象局 CIMISS 系统的各项标准, 充分利用各项信息技术加以构建。在分析宁夏气象业务内网建设的总体思路和整体架构的基础上, 对构建内网所涉及的气象元数据、数据收集加工、数据可视化等关键技术进行了详细阐述及开发和应用, 给出宁夏气象业务内网的应用与实现, 该系统能够满足宁夏气象行业用户对数据共享和服务的需求。参考文献1韩莉瑛.气象信息共享平台构建及其关键技术探讨J.南方农业, 2016, 10 (6) :210-211. 2李集明, 沈文海, 王国复.气象信息共享平台及其关键技术研究J.应用
32、气象学报, 2006, 17 (5) :621-628. 3张志强, 张强, 胡星, 等.国家气象业务内网设计与实现J.安徽农业科学, 2016 (6) :224-227. 4贺音, 何林.陕西省气象信息服务系统的设计与实现J.陕西气象, 2017 (2) :19-21. 5汤德本, 史利汉, 赵芳, 等.基于 WEB SERVICE 的重庆气象信息服务系统的设计与实现C.中国气象学会气象通信与信息技术委员会 2009 年度学术研讨会, 2009. 6季刚, 盛绍学, 江双五.安徽省气象信息共享平台J.计算机系统应用, 2013, 22 (12) :210-214. 7徐世廷.Web GIS
33、在气象预测中的应用研究D.长春:吉林大学, 2010. 8黄岩.基于元数据的气象数据共享系统设计与实现D.北京:中国科学院大学, 2013. 9胡文超, 李晓苹, 韩海涛.气象元数据应用研究进展J.干旱气象, 2008, 26 (4) :12-15. 10杨青军.基于元数据的气象科学数据共享系统的设计与实现D.成都:电子科技大学, 2008. 11张瑞.ETL 数据抽取研究综述J.软件导刊, 2010, 9 (10) :164-165. 12彭峰.数据仓库中抽取转换加载系统的设计和实现D.武汉:华中科技大学, 2003. 13崔有文, 周金海.基于 KETTLE 的数据集成研究J.计算机技术与
34、发展, 2015, 25 (4) :153-157. 14张春亮.基于 ETL 的企业数据交换平台的设计与实现D.哈尔滨:哈尔滨工业大学, 2016. 15汪洋, 韩宁.基于开源代码的 ETL 工具的实现J.微型机与应用, 2016, 35 (24) :19-21. 16曾乐, 陈东辉, 肖卫青, 等.基于 Hadoop 的气象数据存储检索应用研究J.信息系统工程, 2014 (8) :138-140. 17乔梁, 许竹霞, 孙林花, 等.基于负载均衡的数据库集群对气象数据的共享服务J.干旱气象, 2017, 35 (3) :516-521. 18熊安元, 赵芳, 王颖, 等.全国综合气象信息共享系统的设计与实现J.应用气象学报, 2015, 26 (4) :500-512.
