1、网络运维综合分析思路介绍,目录,3,数据分析及数据管理目前面临的问题,不同类型的数据分布在不同业务系统之上，没有统一的数据平台，无法实现对全网业务端到端的全面数据视图。不同业务系统的数据模型冗余，系统之间的数据交互频繁和复杂多样，接口相对复杂且带来语义的不一致各业务系统之间系统接口及共享模式不统一，访问方式参差不齐和访问效率低下，准实时跨系统数据交互共享，对生产系统带来一定性能压力数据质量管理流程无法落地，只能解决特定业务系统的部分问题，系统间数据不一致问题较难发现和解决.,全局数据视图在哪？系统间数据重叠以谁为准？,解决方案,统一的数据收集和分析平台,统一的数据共享平台,统一的数据质量管理,
2、解决,数据分散，无法实现全面数据视图,接口效率低下，共享数据对业务系统的造成的压力，享数据的一致性无法保证,数据质量管理无法落地，错误数据影响应用结果，数据质量无法有效持续改进。,解决,解决,统一的数据模型,数据模型冗余,解决,网络运营分析系统需求分析,数据应用需求提升客户体验要求网络运营过程能够看到统一完整的客户数据视图精确化管理要求及时、准确的全纬度数据呈现，网络运维活动各环节的监控和优化需要整合运维数据为提高网络服务质量，优化网络结构，需要对全网各专业的运行状态和进行综合分析数据共享需求实现数据集成，快速支撑跨系统应用促进企业数据模型统一形成企业标准数据，解决系统间网状数据接口数据质量提
3、升需求逐步实现数据的一致、准确、完整性实现数据质量检查及闭环管理IT架构平衡需求快速灵活反应市场需求需要IT系统松耦合设计，多系统的存在要求解决跨系统数据的共享和应用,ODS/EDW系统 IBM机密 | 15-Apr-18,6,业务驱动力分析,建设目标,深入推广运维分析应用，实现全面精细化管理；扩展运维分析主题和专题领域，逐步满足网络运维和和资源优化应用需求；完善与业务支撑系统的分析与执行闭环互动流程,建立企业级数据模型，实现统一数据模型和统一数据视图，为业务系统模型优化和完善提供平台实现准实时数据同步机制和流程；整合关键数据源，建立企业核心数据模型，提供准实时数据共享；建立数据质量管理机制，
4、保证跨系统数据的及时、准确、完整、一致；,支持跨系统的数据应用，支撑大量的数据统计查询等业务；实现企业数据门户展示及应用，满足统一信息展现需求；实现跨系统、跨部门的查询和报表。,建立高效、完整、便于共享的数据整合平台，提高共享数据实时性；扩展企业统一信息视图，逐步实现BSS、OSS、MSS数据整合；完善数据生命周期管理，发挥数据企业核心资源的效用。,业务目标,技术目标,初期目标,远期目标,模型,系统核心能力分析,指标模型,数据模型,数据服务,分析模型,数据模型的管理数据服务的组织指标系统的建立数据的有效收敛数据的有效共享数据质量的管控,关键问题,目录,模型,系统核心能力分析,指标模型,数据模型
5、,数据服务,分析模型,数据模型的管理数据服务的组织指标系统的建立数据的有效收敛数据的有效共享数据质量的管控,关键问题,网络运营分析系统的模型构架,模型管理平台,数据模型,数据模型的演进,数据模型存在生命周期及动态演进，系统需要对数据模型的演进过程进行管理模型核查与转换：当数据模型需要变更，首先需要检查原有模型和映射规则的匹配度，并通过映射规则将原有模型转换为新模型新模型分析验证：需要通过数据加载等方式，对新模型进行分析验证，并产生评估报告新模型调整：当验证没有通过，需要对新模型进行调整，并重新验证业务系统模型调整：如模型通过，需要业务系统根据新模型要求调整相关数据模型,数据模型会随着网络及业务
6、的发展产生变化，同一数据的来源可能随着源系统的升级和迁移发生变更,数据模型的管理需求,数据模型管理，使得数据模型可扩展、可定制、可重用数据模型管理数据模型关系管理数据模型分析与展现数据模型查询数据模型血缘分析数据模型影响分析数据模型接口支持CWM标准数据模型导入数据模型导出数据模型版本管理,数据模型管理,数据模型管理的构架,数据模型维护,数据模型对比,数据模型分析,数据模型版本信息,数据模型对比结果,模型分析报告,业务系统,数据模型,管理人员,业务系统数据模型,业务系统模型,模型分析要求,模型比对要求,分析报告反馈,分析报告反馈,目录,数据的分类,任何的分析应用都是以分析对象为基础的，对于网络
7、运营方面的分析，可以将其分为三种，核心数据主要是一些物理和逻辑的实体数据，包括客户，业务，资源等信息；流程控制数据是在运维过程中产生的数据，如开通流程，运维流程等；网络时间数据是由网络生产过程中产生的数据，如告警数据，性能数据。,客户业务资源视图,数据服务的概念模型,故障数据,性能数据,故障服务,性能服务,业务故障,业务性能,流程数据,流程服务,业务响应,资源,业务服务,业务,客户,关联,关联,构成,构成,构成,构成,构成,构成,构成,构成,关联,基础数据,数据服务,业务,关联,数据服务场景分析,MMSC,GGSN,WAP网关,SMSC,EMAIL,MSC,BSC,BS,ISCP,ISMP,S
8、GSN,HLR,Radius,MMS服务,WAP服务,GPRS基础服务,SMS服务,邮件服务,端到端,端到应用,彩信业务,使用数据服务的好处,数据封装原则,数据封装原则,是否为核心数据原则,使用频度原则,参与生产运营原则,核心数据一定会被访问，因此肯定需要进行数据封装。如：客户及客户视图相关业务及业务视图相关资源及资源视图相关流程及流程视图相关关系数据,需要与外界系统进行交互的数据参与全网运营的数据,频繁被使用的信息，原则上时间频度：按天被频繁使用被调用频率：超过5次,20,2018年4月15日星期日,目录,分析指标体系(KPI)的建立,将运维部门作为运维服务提供者，从客户角度出发考察最终用户
9、和企业内部客户对运维服务的体验,对运维部门的组织、人员工作进行分析，评测企业运维工作的效率,从网络的运行状况出发，对运维工作进行评测分析,客户体验,运维效率,网络质量,卓越运维,分析评测体系从三个战略维度出发：,23,2018年4月15日星期日,参考架构对选取的源指标进行原因树分解,24,2018年4月15日星期日,构建指标原因树，确保每一个源指标都能被合理分解从而追溯问题根源,指标原因树中的指标可以动态自适应优化，定期增、删、改,示例,参考国际经验与CMCC实际运维流程，以源指标为根结点，构建指标原因树,客户投诉率,运维效率投诉率,网络质量投诉率,话音网络质量测试,数据网络质量测试,掉线率,
10、覆盖率,数据传送质量,掉话率,覆盖率,接通率,市场部需求准确度,网络优化方案准确度,工建建设进度及时率,干线光缆阻断时长,小区退服率,故障二次发生率,主动发现故障比率,目录,数据集成关系,网管系统,EMOS系统,资源系统,业务开通系统,网络激活系统,网络业务监测系统,BOSS系统,投诉处理支撑系统,网络优化系统,综合分析系统,告警，性能，资源,性能，资源,CDR，信令,综合监控系统,告警，配置,资源，业务,客户，业务,激活指标，业务,客户，业务，开通指标,客户，业务，保障指标,运维指标,元数据管理平台,元数据模型,模型,系统核心能力分析,指标模型,数据模型,数据服务,分析模型,数据模型的管理数
11、据服务的组织指标系统的建立数据的有效收敛数据的有效共享数据质量的管控,关键问题,数据的收敛过程,收敛任务的调度：通过设置调度计划，设定收敛的对象，时间和频度数据的抽取：通过不同协议的适配，将不同系统收集原始数据数据转换：根据转换规则，将原始数据适配到统一的数据模型数据检测：对聚合后的数据进行初步的完整性检查数据加载：将转换后的数据批量存入数据库异常处理：当适配发生异常，产生异常告警，并进入异常处理过程,数据的收敛构架,数据收敛,数据抽取,数据整合准备,数据加载,数据模型,源系统模型,抽取规则,加载规则,原始数据,管理人员,异常处理,数据汇总,数据转换,数据检查,任务调度,整合任务,调度规则,临
12、时数据,映射规则,异常处理规则,异常日值,异常数据,检查规则,检查日志,管理人员,汇总数据,核心数据,转换后正常数据,检查要求,检查后正常数据,人工调度指令,设置规则,原始数据,原始数据,转换数据,数据异常,数据异常,数据异常,业务系统,异常报告,数据的收敛过程序列图及人工过程,对数据收敛任务的调度规则进行人工的配置和管理对标准模型以及映射关系的管理和维护，可能需要人工进行干预数据整合过程中，需要对一些关键环节（如接口数据导入，数据转换，数据加载过程中）进行人工复核、校验数据整合过程中，可能需要人工进行异常处理,数据共享需求分析,数据共享,数据共享构架,共享规则配置,共享权限配置,共享数据提供
13、,数据服务模型,目标系统模型,数据共享规则,数据访问规则,数据访问日志,数据服务实例,管理人员,访问权限,共享规则,数据服务模型,目标系统数据模型,数据服务模型,目标系统数据模型,目标系统,提供数据,记录日志,提供数据,业务支撑系统,网络运维综合分析系统,数据共享方案,数据共享设计方案1）业务系统应用采用数据服务调用方式共享据2）业务系统采用直接访问数据视图等方式共享数据3）通过数据库复制、FTP文件等技术主动推送共享数据4）通过基于EAI（消息中间件、CORBA通道等）准实时同步数据,数据应用,数据存储,数据服务,数据视图,数据库,(3) FTP文件,（1）服务调用,（2）访问数据视图,（3
14、）数据库复制,应用服务,(4)基于EAI准实时数据同步,数据共享技术分析,目录,模型,系统核心能力,指标模型,数据模型,数据服务,分析模型,数据模型的管理数据服务的组织指标系统的建立数据的有效收敛数据的有效共享数据质量的管控,关键问题,数据质量金字塔,违反一致性约束违反主外键关系,丢失数据,数据超出值域范围数据类型不匹配数据日期格式错,业务规则 统计方式,处理数据的时间超出了用户忍受范围 结果过时,数据源相同，实体数据不同已汇总数据与详细数据再汇总不同,准确的数据是一切应用的基础！,数据质量保障流程,开始,核查计划,评估计划,审核,数据采集,数据比对,质量评估,同步方案,数据同步,结束,负责部
15、门,相关活动,系统维护部门,目标系统/网元维护部门,系统维护部门,目标系统/网元维护部门,系统维护部门,系统维护部门,目标系统/网元维护部门,系统维护部门,制动核方案，确定核查范围，频度，时间,评估核查对系统的影响，产生评估报告,确认评估报告,提供需要核查的原始数据,对原始数据进行数据对比，找出差异,对数据质量进行评估，产生评估报告,根据数据质量评估报告，确认差异数据，制定同步方案,同步差异数据，通报处理结果,数据质量保障功能性支撑,应用层,处理层,采集层,方案阶段,处理阶段,同同步阶段,计划管理,评估管理,数据整合,数据采集,数据核对,同步方案管理,数据同步,数据提供,过程监控,统计报表,同
16、步报告管理,数据核对的基准模型,数据比对基准模型是数据比对过程中数据组织和比对过程的构架，传统的比对模型是根据数据类型进行定义，数据比对的离散性大。因此，可以参考TMF定义的用户-服务-资源模型作为主体结构进行，并将差异数据在数据质量报告中体现，差异数据在网元的数据和资源数据、业务数据分别罗列,资源,业务,客户,核对数据,核对数据,数据同步流程,同步规则适配,同步规则,差异报告,人工确认,差异确认,业务系统数据确认,网管数据确认,数据同步,业务系统数据同步,网管数据同步,同步报告,结束同步,前端业务系统确认,客户确认,确认过程分为人工和自动两种自动规则一般用于针对一些非产生费用的业务，以及业务
17、逻辑比较简单明确不需要人工干预的业务，可以明确设定IT系统-网元，或者网元-IT系统的规则。人工规则一般用于针对一些产生费用的业务，以及业务逻辑比较复杂或者比较关键的数据需要人工干预, 在必要情况下甚至需要用户确认的规则。,从比对计划开始，数据采集、数据比对到生成差异列表需要一定的时间，在这个时间段内用户的数据（包括网元和IT系统）有可能发生了变化，故需要在作同步处理前需要进行差异确认,数据质量提升的一些看法,建立合理的企业数据架构，形成统一数据视图，规范数据范围，数据模型，数据流向，确定冲突解决规则需要有相应的系统提供功能支撑建立闭环机制：发现、分析、规则、执行、修正、考核有专门的组织负责数据质量管理工作要让数据质量管理成为一项日常的工作，就像订单受理系统每天受理订单一样数据质量不会一夜之间解决，通过保证数据质量问题随着时间的积累逐步收敛,目录,谢 谢,
