1、.xx 移动元数据管理项目工程实施方案2012年5月.目录1 建设目标 -32 系统环境配置 -32.1 客户端环境配置 -32.2 服务器端环境配置 -42.3 网络配置 -43 元数据管理范围 -54 项目实施计划 -64.1 建设规划 -64.2 时间安排 -74.3 产品部署 -74.4 元模型定制 -74.5 元数据存储 -84.5.1 技术类元数据存储 -84.5.1.1 关系型数据库元数据 -84.5.1.2 OLAP 元数据 -84.5.1.3 ETL 元数据 -94.5.1.4 模型元数据 -104.5.2 业务元数据存储 -104.5.2.1 业务指标元数据 -104.5.
2、2.2 业务规则 模板整理批量导入；技术元数据包括：关系型数据库 DB、OLAP、接口模型、ETL 模型、erwin 模型。4.5.1.1 关系型数据库元数据皓竹已经有对主流数据库元数据的自动获取方式，此部分元数据可以直接获取。皓竹能自动获取的数据库为：Oracle，DB2，Teredata,Sql server，sybase 等库。 实现前提： RDB 元模型制定完成； 相关厂商提供读取数据库或者表结构的视图权限，提供相关的连接方式。 皓竹对 MIB 工具相应接口进行读取参数配置。 实现方式：通过 MIB 配置数据源，作业，执行作业自动抽取即可生成数据仓库DB 实体元数据。.4.5.1.2
3、OLAP 元数据皓竹已经有对主流 OLAP 工具的自动获取方式，如 Cognos 工具的 OLAP 元数据，此部分元数据可以自动获取实现。 实现前提： OLAP 元模型制定完成； 相关厂商提供读取 Cognos 数据源链接方式，相关权限。 皓竹对 MIB 工具相应接口进行读取参数配置。 实现方式：通过 MIB 配置数据源，作业，执行作业自动抽取即可生成 OLAP 相关元数据。 备注：如现场使用的是 Cognos 之外的多维分析工具，皓竹采用导出模板，指导厂商按照整理模板梳理 OALP 元数据，批量导入元数据库。 以上方式除存储元数据实体外，关系维护也同时生成。4.5.1.3 ETL 元数据皓竹
4、能提供对 ETL 主流工具 datastage，Informatica 的自动解析获取元数据功能。1ETL 工具元数据实现部分 实现前提： ETL 元模型制定完成； 相关厂商提供读取数据源的链接方式，或者提供 ETL 工具转换生成的 xml 格式的设计文件。 皓竹对 MIB 工具相应接口进行读取参数配置。 实现方式：通过 MIB 配置数据源，作业，执行作业自动抽取即可生成 ETL 元数据。实体以及关系同步生成。 如果自动解析实现效果不佳，根据现场情况考虑模板补充整理，批量导入的方式实现。2. 数据处理过程 ETL 元数据实现部分（存储过程） 实现前提： ETL 元模型制定完成； 皓竹与相关厂商
5、约定存储过程执行 Sql 日志，厂商按照要求给出。 皓竹对 MIB 工具相应接口进行读取参数配置。 实现方式：通过 MIB 配置数据源，作业，执行作业自动抽取即可生成 ETL 元数.据。实体和关系同步生成。4.5.1.4 模型元数据皓竹能提供对建模主流工具 Erwin，PowerDesigner 建模元数据的自动获取元数据功能。1Erwin 或者 PowerDesigner 工具元数据实现部分 实现前提： ER 元模型制定完成； 相关厂商提供通过以上提到的两类建模工具建模后，通过工具转换导出的 xml格式文件。 皓竹对 MIB 工具相应接口进行读取参数配置。 实现方式：通过 MIB 配置数据源
6、，作业，执行作业自动抽取即可生成建模元数据。4.5.2 业务元数据存储对于业务元数据的存储，皓竹目前成熟的方式为： 工具接口自动抽取； 模板整理批量导入；业务元数据包括：业务类指标、维度、基础编码，业务规则，术语等。自动获取的业务指标工具：皓竹支持 arcplan，Cognos_Report，MSTR 等报表工具元数据自动获取。说明：由于业务指标，以及业务类的规则，维度，编码，术语等业务元数据都是跟业务紧密相连，都是在建设和业务提升中不断积累所得，所以此块的元数据一般都不规则化，一般都是使用根据调研确定的信息资源分类，提炼出特定的元模型，然后皓竹提供导入模板。厂商按照模板整理相关元数据，然后批
7、量导入元数据库中。实体和关系同步生成。4.5.2.1 业务指标元数据业务指标工具设计类的存储实现方式如下： 实现前提： 指标元模型制定完成。 皓竹从元数据系统生成指标整理模板。 皓竹对对应系统厂商进行整理培训。. 厂商按照要求梳理指标元数据。 实现方式：通过 MIB 配置 XLS 数据源，作业，执行作业将梳理好的指标元数据批量导入系统。其他工具（不支持自动提取）实现的报表指标，都采用模板批量整理，批量导入元数据库。实体和关系同步生成。4.5.2.2 业务规则&术语元数据业务规则，术语元数据存储实现方式如下： 实现前提： 根据调研信息资源分类规则，业务规则、术语元模型制定完成。 从元数据系统导出
8、整理模板。 相关厂商按照模板要求梳理业务规则，术语元数据。 皓竹对 MIB 工具 XLS 接口进行读取参数配置。 实现方式：通过 MIB 配置数据源，作业，执行作业自动抽取即可生成业务规则，术语相关元数据。4.5.2.3 维度&基础编码元数据维度，基础编码元数据存储实现步骤如下： 实现前提： 根据调研信息资源分类规则，维度，基础编码元模型制定完成。 从元数据系统导出整理模板。 相关厂商按照模板要求梳理维度，基础编码元数据。 皓竹对 MIB 工具 XLS 接口进行读取参数配置。 实现方式：通过 MIB 配置数据源，作业，执行作业自动抽取即可生成维度，基础编码相关元数据。4.5.3 管理类元数据存
9、储由于管理类元数据都是根据每个企业自身管理制度以及管理方式产生的元数据，所以此块的元数据一般都是文档化的，一般都是使用根据调研确定的信息资源分类，提炼出特定的元模型，然后皓竹提供导入模板。厂商按照模板整理相关元数据，然后批量导入元数据库中。实体和关系同步生成。管理类元数据包括系统资源、人员管理，任务管理，需求流程管理、文档管理等。此块元数据的存储实现步骤为： 调研定制元模型，与客户确认。. 在元数据中生成元数据整理模板。 厂商和客户根据模板要求整理相关元数据和关系。 皓竹将相应元数据通过 MIB 工具批量导入。4.6 建立日常管理流程项目在初期进行了产品部署，元数据的存储后。在试运行稳定的情况
10、下，需要根据客户项目的管理制度流程以及实际情况，摸索出一套符合 xx 移动的日常元数据管理流程办法。在本章节中提供一套皓竹实施的元数据维护流程方案供参考。元数据的日常管理流程，主要结合客户的管理习惯结合元数据系统中用户的使用权限以及元数据中变更影响管理的功能，来实现对元数据管理系统中，元数据的增加，删除，修改等操作的维护流程。4.6.1 元数据权限管理元数据管理系统中的用户，在元数据的操作都有严格的的限制，这个是通过创建用户的时候，赋予不同的角色，来实现对不同用户的权限的限制，例如：当一个用户的登录元数据的管理系统的角色是系统浏览者的时候，那么此用户对系统只有浏览的权限，而没有修改的权限等等。
11、又如：当此用户只有对指标部分的操作权限的时候，他只能对元数据管理系统中的指标部分数据进行操作，而对其他接口等部分数据就没有操作权限。通过这种赋予不同权限，来实现对元数据的维护的一个管理。4.6.2 通过元数据变更流程进行维护管理元数据管理系统中，除了可以使用权限来控制元数据的维护之外，还有通过元数据管理系统中的变更影响功能来进行元数据维护管理。其主要实现步骤如下：首先，元数据管理系统中，已经分配了相关的主要维护人。如果需要修改元数据管理系统中的元数据，必须得到这些维护人的审核才可以进行，当操作者需要对元数据管理系统中的某个元数据进行修改的时候，会提交一个申请给相关的维护人，维护人通过元数据管理
12、系统中的血统分析，影响分析等功能，来判断所提交的申请变更的元数据，是否会对别的元数据产生重大的影响。然后，根据判断结果，返回给操作者，是否可以对此元数据进行修改。4.6.3 元数据同步维护4.6.3.1 业务元数据同步维护业务元数据的同步，主要指手工录入的方式，对元数据管理系统的业务元数据，例如：KPI 指标，业务规则等数据进行更新。通过我们提供的规定的业务元数据整理模板，然后.根据模板来填写相应的数据，可以批量的对指标的数据的录入与更新。当数据仓库中的相关业务元数据发生变化的时候，那么元数据管理系统中的数据也要随之同步更新。建议分以下步骤走： 业务人员提出业务元数据发生变化。 需求评审，确认
13、，设计。 厂商在生产系统中实现。 厂商相关人员提交元数据变更申请。 局方确认。 元数据梳理，客户对梳理内容确认。 变更元数据入库。业务元数据同步维护流程图4.6.3.2 管理元数据同步维护管理元数据同步，与业务元数据的同步过程很一样，也是从通过填写导入模板来实现接口文件的数据的批量的录入。当相关的管理元数据发生变化的时候，那么元数据管理系统中的数据也要随之同步更新。.管理元数据发生变更供局方确认元数据导出整理模板增加/修改元数据内容导入元数据系统4.6.3.3 元数据同步维护ETL 程序的同步，工具部分的 ETL 发生变化后，此部分元数据可以通过集成商或者客户确认更新后，元数据维护工程师接到变
14、更要求后，由维护工程师执行 MIB，将相应变更元数据通过 MIB 自动解析入库。数据处理过程中的相关 ETL（存储过程） ，此部分在元数据建设调研期，就需要和厂商约定好存储过程执行时输出符合解析要求的 sql 日志。然后皓竹配置 MIB 数据源，作业，定期执行即可保持与生产系统的元数据同步。ETL 元数据变更维护流程图4.6.3.4 库表结构元数据同步维护库表结构元数据的同步维护，我们实现的主要的方式是通过我们的库表抽取程序，.来对库表中的结构进行抽取，而且也是可以根据实际的需要，自动的对数据库表中的结构进行抽取。当数据仓库中的相关库表结构发生变化的时候，可以以定期同步的方式，通过自动调度任务
15、来实现库表结构元数据的同步维护。定期库表元数据发生变更使用库表抽取程序导入元数据系统4.6.3.5 Erwin 元数据同步维护Erwin 数据同步，主要是通过向元数据管理系统中导入 Erwin 工具生成的 xml 文件，从而实现对元数据的 Erwin 的数据的更新。Erwin元数据发生变更使用 Erwin 工具导出为 XML 文件 导入元数据系统4.7 元数据交付、培训在项目完成产品部署，以及现场客户使用需求完成元模型定制，元数据的基础存储后。按照项目产品稳定运行要求后。皓竹进行元数据项目实施后的交付。项目交付包括以下工作： 元数据项目实施阶段成果汇报。 元数据产品培训，功能培训。 元数据日常
16、维护培训。4.8 元数据管理应用定制根据 xx 移动前期元数据的建设和使用情况，进行元数据应用定制开发，使得元数据融入 xx 移动项目开发生产过程。促使元数据项目与数据仓库项目结合更紧密，充分发挥元数据建设价值。说明：具体的元数据管理应用定制开发，视项目情况和现场应用需求而定。 .5 元数据建设中需要的配合工作为保证元数据项目建设过程中的效率，以及实施质量，需要集成商以及移动进行以下配合工作。元数据建设相关配合说明主要任务 细节要求 负责方 协调方 备注项目调研 项目建设整体要求调研 厂商负责人 移动皓竹主导元数据建设前期建设需求调研，移动协调相关厂商负责人参与。管理范围 元数据管理范围确定
17、厂商负责人 移动经三方确定下元数据管理范围。元模型定制 各类元模型定制 厂商负责人 移动皓竹在调研后主导元模型定制，移动相应负责人需与厂商相应负责人参与定制并确认元模型定制的合理性。DB 元数据数据源链接方式，权限提供 厂商负责人 移动厂商负责人提供要抽取的数据库的数据源链接方式，权限。建模元数据提供 厂商负责人 移动厂商提供建模工具生成的xmi 格式文件。接口文件元数据梳理 厂商工程师 移动皓竹指导整理过程，厂商梳理相关元数据。OLAP 元数据获取信息提供 厂商工程师 移动 厂商提供数据源信息。ETL 元数据数据源信息提供 厂商工程师 移动 厂商提供数据源信息。数据处理过程输出日志改造 厂商
18、工程师 移动厂商按照皓竹的要求改造输出 sql 日志。数据处理过程元数据整理 厂商工程师 移动不符合自动解析要求部分，厂商需要按照标准模板整理。业务类元数据整理 厂商工程师 移动业务元数据，厂商按照模板要求梳理，皓竹指导梳理。元数据存储管理类元数据整理 厂商工程师 移动对管理类元数据，厂商按照模板要求梳理，皓竹指导梳理。6 备份策略元数据管理系统有单独的存储库，存储库类型为 oracle。为确保数据安全，防止数据丢失，元数据管理系统每周日自动备份存储库，将存储库数据全备为 dmp 文件。导出oracle 数据库文件的同时，将文件多备份一份到其它服务器。为节约磁盘空间,每半年系统.自动清理 dmp 文件，只保留最新的备份文件。当发生数据误删或灾难性事故，通过最近的dmp 文件来恢复元数据管理系统的数据。导出 dmp 文件命令：exp user/passworddb_name file=xxx/metaone.dmp ；导入 dmp 文件命令：imp user/passworddb_name file=xxx/metaone.dmp ；
