公共元数据配置管理平台设计

0 引言

    随着信息技术不断发展，各领域数据资源不断扩大，数据量呈几何增长，数据呈现多样性。不同平台之间资源分散、资源反复存储，使得数据难的问题日益严重。元数据是实现科学数据共享的4种方式之一^[1]，因此集中管理公共元数据为解决这一问题提供了有效途径。元数据(Metadata)是“关于数据的数据”或“关于信息的信息”^[2]。如年龄、身高、性格等就是描述人的元数据，可根据其推测人的样子。元数据可以记录数据的来龙去脉，可以把整个业务的工作流、信息流有效地管理起来，提高平台的可扩展性^[3]。而公共元数据是指在领域中可通用的并具有重要参照意义的元数据，其需要满足一定的行业标准，标准中除要详细列出实体与元素集以外，还要说明元数据标准适用范围、参考标准、术语与定义、元数据分级、元数据性质、标识、格式和类型以及元数据扩展原则等^[4]。元数据在科学数据领域中的研究与应用取得了较大进展，科学元数据标准的逐渐丰富和发展为元数据在科学数据不同领域的应用提供较为充分的工具和标准^[5]。

    目前，元数据存储分散使各平台中元数据难以共享，元数据反复存储浪费了存储空间。为解决此问题，本文提出将公共元数据集中管理，通过Web Service技术提供对外的公共元数据配置服务与共享服务，并利用内存数据库来提高服务速度。实际上，平台不仅保证了元数据的统一管理和高速共享，也简化各平台数据交换的流程，使平台间只需开发简单的接口调用和数据解析功能即可完成数据交互。

1 元数据配置管理研究现状

    SUFI S等^[6]认为元数据描述框架相比元数据内容标准，其承担的指导性和框架性作用更强，不局限于特定领域的术语平台限制，强调了数据描述框架在领域中的重要性，对元数据配置管理在领域中的指导性与框架性给予肯定。同时，Jian Qin等^[7]指出，庞大的、复杂的标准和广泛多样的命名实践是构建元数据基础设施的主要障碍，而可移植是元数据方案“基础结构”的必要条件或先决条件，因此在元数据配置管理上统一元数据标准是构建平台的基础。

    元数据的应用不仅能提高平台的灵活性与适应性，强化其稳定性，也使平台更易维护^[8]，同时利用元数据的整合，可提高平台灵活性与适应性，提高数据质量控制力度^[9]。在元数据的配置管理上，王国复等^[10]对元数据在科学数据共享平台的作用、元数据的分类、元数据的管理、元数据平台和元数据的应用模型进行了阐述。随后，张英俊^[11]提出利用元数据的标准化来统一管理分布式的数据资源，通过网络实现数据共享与服务，使得用户能够快速准确地获取所需科学数据。进一步地，周宝平^[12]提出元数据汇交、数据发布、元数据检索以及多种方式的数据共享等功能。

    总的来说，国内外学者都已十分重视元数据的应用。目前，在统一元数据标准与跨平台数据共享上的研究比较充分，但在元数据跨平台配置管理与高效服务上的研究仍然不足。本文利用Web Service与Redis技术，设计了一种可跨平台配置管理公共元数据并提供高效共享服务的平台，有助于组织和管理海量数据资源，提高数据利用率。

2 元数据配置管理特点

    元数据配置管理平台应具有以下特点：

    (1)数据适用性。平台数据应采用行业通用标准，数据标准化可提高数据适用性，易与不同平台进行数据交换。如气象大数据平台中，配置管理平台采用国家气象信息中心制定的我国气象数据集元数据格式标准(草案)将元数据标准化，以适用于气象大数据平台建设和数据集的编目、归档、发布和交换等。

    (2)跨平台性。平台应具有跨平台的特性，为数据汇交、数据共享提供可行性。元数据配置管理平台作为平台的基础部分，元数据汇交与元数据的共享都依赖平台跨平台性。

    (3)高效性。平台应具有高速响应并发访问的能力，为不同平台提供高效的在线元数据支持。元数据配置管理的目的是集中元数据资源，实现公共元数据的共享，提高元数据利用率。平台的高效性提高了元数据共享效率，是平台稳定运行的保障。

3 元数据配置管理平台设计

    元数据是数据的基本信息，有助于数据的分类标注^[13]。元数据的配置管理不仅能集中资源与节省存储，还能帮助组织和管理平台数据资源。公共元数据的配置管理是一个动态过程，既需要满足公共元数据跨平台的汇交，同时需要对配置信息进行审核，审核成功后的元数据需要通过接口为其他平台提供数据共享服务。

3.1 平台架构

    平台是针对元数据集中化配置管理与共享而设计的，主要功能包括个人信息管理、配置管理、审核管理、接口管理、用户管理。平台架构图如图1所示。

    管理员根据平台中人员的安排，在用户管理功能中对用户信息进行维护，可以增加、删除、修改和查询用户。当平台人员离职后，管理员需要将该用户状态修改为离职，限制其登录平台以保证平台数据的安全性。当平台人员权限有所变化时，管理员需要及时修改信息，以便用户正常使用平台。

    审核员主要负责对配置后的公共元数据进行审核，也可以查看整个审核流程。审核员可分为多个级别，应具有一定的专业知识，以保证公共元数据的正确性。

    操作员可增加、删除、修改、查看公共元数据，对元数据配置后，操作员可查看审核进度。操作员可以在接口管理中查看、配置、监测公共元数据采集接口与共享接口，也可以修改接口的发布状态。其中，接口状态为打开时其他平台可以调用，状态为关闭时其他平台不可调用。

3.2 主要功能

3.2.1 配置管理

    配置管理分为配置元数据与查看审核功能。配置元数据功能中，配置方式分为新增、变更、废止。由平台人员根据业务需求在数据配置页面对元数据进行配置，配置成功可查询流程信息。新增时，平台生成流程单并将新增的元数据存入临时表中，直到流程审批成功才会存入正式表。变更与废止时，平台会生成流程单并拷贝正式表中被配置的元数据到临时表中，直到流程审批成功后，才会修改正式表中的数据。查看审核功能用于操作员查看审核状态，以便实时跟踪元数据审核情况。

    配置成功后的待审批元数据将存入到临时表中，等待流程审批人员审核通过后再将其存入正式表中。平台使用临时表存储，既能实现对元数据配置进行监控，也能减少数据误配置造成的数据污染。配置管理流程图如图2所示。

3.2.2 审核管理

    审核管理分为审核申请与查看审核流程功能。审核申请功能是具有相应权限的审核员对配置元数据后生成的申请进行审核。其中，元数据配置成功后便会对此配置信息生成对应的流程信息，每一级的审核员审核完成都会产生一条流程信息。查看审批流程功能用于跟踪配置信息的审核过程，便于追溯配置过程。

    审核管理是元数据质量的保证，需要十分熟悉业务的人员才能进行审核，不正确的数据易造成参照错误，产生不可逆的影响。审核管理流程图如图3所示。

3.2.3 接口管理

    接口管理分为配置接口、状态管理与监测接口功能。配置接口功能主要用于管理接口的增加、删除、修改、查询操作。状态管理功能是用于管理接口的状态，状态分为打开状态与关闭状态。监测接口用于操作员监测接口调用情况，打开的状态下可以进行实时监控，关闭的情况下只能查看历史监控信息，一般有调用频度、数据状况等。

    平台中接口主要分为数据采集接口与数据共享接口两类。具体地，两类接口由平台操作人员配置并发布，使用Web Service技术实现，使其他业务平台通过网络访问，根据业务不同传递不同的参数。平台发布接口后根据WSDL文档，加入描述信息生成接口文档，便于其他业务平台使用。其中，WSDL文档是用来描述Web 服务及Web服务通信过程的XML语言^[14]。

    数据采集接口提供公共元数据配置服务，主要是供其他平台调用以实现公共元数据的跨平台配置。具体地，其他平台根据接口文档将需要配置的公共元数据信息拼接为XML格式并发送到Web服务器，Web服务器接收后根据请求参数后通过SOAP（Simple Object Access Protocol）发送数据包，并在分布式的服务器上调用相应Web Service。配置管理平台服务器接收数据到请求数据后进行信息校验，校验成功后将配置的公共元数据存入临时表中，并生成审核申请与流程信息，然后将结果集生成XML文档返回^[15]。

    数据共享接口提供公共元数据共享服务，主要是供不同平台调用以实现公共元数据的跨平台高效共享。具体地，其调用过程与数据采集接口相似，不同之处在于请求参数与数据处理过程上。在数据共享接口中，请求参数是用于定位共享的公共元数据，一般是数据分类等。同时，为提供高效共享服务，数据共享接口中的数据处理是先从Redis内存数据库中查询数据，不满足时再读取数据库将数据取出并生成XML格式的查询结果集返回，并将数据存入内存数据库中。接口管理流程图如图4所示。

3.3 平台主要支撑技术

    配置管理平台主要采用Web Service技术实现跨平台接口发布，利用Redis内存数据库来提高数据响应速度。

    Web Service是一种通过Web部署提供对业务功能访问的技术，具有跨平台、简单和高度可集成能力等特点^[16]。通常被定义为一组模块化的API，可通过网络进行调用，执行远程平台的请求服务。同时，Web Service为多层分布式应用平台的构建创造了条件，使开发人员可以将来自不同地方的Web Service组装起来, 并在应用程序中使用^[17]。依据Web Service规范实施的平台之间即使开发语言、平台或内部协议不一致也可相互交换数据。Web Service的发现、访问、集成和调用需要通过UDDI、WSDL、SOAP来完成^[18]。具体地，Web服务客户端应用程序通过名字、分类、标识符等从UDDI 注册中心查询所需的服务，一旦找到，客户便从UDDI注册中心获取WSDL 文档的位置信息，并按照WSDL 中发现的XML 模式生成一个SOAP 消息，发送给服务端。

    Redis是高性能的key-value数据库，支持存储类型有字符串、链表、集合、有序集合和哈希类型，为保证效率将数据缓存在内存中^[19]。Redis数据库具有持久化、多数据结构的支持、支持主从复制、Virtual Memory功能等特征^[20]。Redis数据库的数据模型是建立在外层，类似于其他结构化存储平台。不同于其他结构化存储平台的是，其支持在多种数据类型上做多种原子性操作，这也是Redis数据库高效性的原因之一^[21]。Redis基于内存的特性使其具有高速读的优点，查询响应时间为纳秒级。

    平台使用Web Service技术，提供数据采集接口、数据共享接口，使网络连接的不同平台可通过接口进行数据交互，实现了公共元数据的统一配置管理。同时，利用Redis内存数据库的回收策略将超过设置的过期时间的数据淘汰，利用其基于内存的特性实现高速共享元数据，利用其持久化的特性也能提高数据的安全性。

4 结论

    公共元数据配置管理平台使用Web Service技术解决跨平台配置数据与共享数据，利用Redis内存数据库提高公共元数据共享效率。平台将公共元数据统一配置管理，提供统一参照，提供高效数据共享服务，解决元数据重复存储难以共享的问题，节省硬件资源，节约人力。同时，平台的设计有助于了解组织和管理平台数据资源、提供数据发现、检索服务。实际上，平台的设计满足跨平台、可扩展性的要求，对其他类似的基于元数据的数据共享平台具有一定参考意义。

参考文献

[1] 王培正，张志强，吴一民.科学数据共享方式研究[J].科技管理研究，2010(17)：201-204.

[2] 吴增祥，臧海佳，王国复.气象科学数据与气象数据集元数据[C]科学数据管理与共享.北京：中国科学技术出版社，2002.

[3] 谢益武，何宇峰，曹志英.基于模式的CWM元数据交换方法的研究[J].电子技术应用，2007，33(11)：114-116，120.

[4] 王国复，徐枫，吴增祥.气象元数据标准与信息发布技术研究[J].应用气象学报，2005，16(1)：115-121.

[5] 黄如花，邱春艳.国内外科学数据元数据研究进展[J].图书与情报，2014(6)：102-108.

[6] SUFI S，MATTHEWS B.A metadata model for the discovery and exploitation of scientific studies[M].Knowledge and Data Management in GRIDs.Springer US，2007.

[7] Jian Qin，Li Kal.How portable are the metadata standards for scientific data? A proposal for a metadata infrastructure[EB/OL].[2014-08-09].http：//jianqin.metadataetc.org/wp-content/uploads/2013/08/DC2013-metadatad-portability.pdf.

[8] 王小奇，王英.分析电信资源管理的主要问题及元数据的应用策略[J].数据库技术，2017(20)：187-188.

[9] 余叶兰.基于银行数据仓库的元数据管理体系研究[J].湖北第二师范学院学报，2017，34(2)：38-40.

[10] 王国复，涂勇，王卷乐，等.科学数据共享中的元数据技术研究[J].中国科技资源导刊，2008，40(1)：30-36.

[11] 张英俊.基于元数据技术的科学数据共享平台设计与实现[J].太原科技，2008，177(10)：9-11.

[12] 周宝平.论科学数据共享平台的设计与实现[J].山西科技，2010，25(2)：48-49.

[13] 赵卓宁，李湘，舒红平，等.气象大数据资源汇交可视化分析研究[J].气象科技进展，2018，8(1)：203-207，263.

[14] 于洪波，刘鸿飞，方丽英，等.基于Web服务的物联接入系统设计[J].电子技术应用，2015，41(7)：33-36，43.

[15] 焦圣明，严明良，郭静，等.基于的分布式交通气象信息共享技术研究[J].计算机工程与科学，2012，24(3)：196-200.

[16] 胡泽，廖闻剑，彭艳兵.WebService技术研究及应用[J].硅谷，2009(5)：48.

[17] 龚小勇，罗军.Web Service技术在开发多层分布式数据库系统中的应用研究[J].计算机应用研究，2004，21(8)：55-57.

[18] 甄少鹏.浅谈WebService与主流实现技术框架[J].湖南农机，2012，39(1)：62，64.

[19] 曾超宇，李金香.Redis在高速缓存系统中的应用[J].微型机与应用，2013，32(12)：11-13.

[20] 杨晓军，臧飞，李春雷.云计算在军事领域中的应用分析[J].电子技术应用，2018，44(6)：129-132，137.

[21] 马豫星.Redis数据库特性分析[J].物联网技术，2015(3)：105-106.

作者信息:

任李娟，卢  军，郭  维

(成都信息工程大学 软件工程学院，四川 成都610225)