1、数据 治理及经验 分享 主讲人：王勇 PhD， CFA， FRM 光大证券首席风险官 国家千人计划专家 目录 1、数据对我们有什么价值？ 2、为什么要做数据治理？ 3、如何做数据治理？ 4、 我们的经验分享 光大证券 数据流 资讯行情 交易端 银行 信息系统 个人 服务机构 机构 风险管理 营销服务 管理决策 委托、 社交数据 委托、 业绩数据 成交、 清结算数据 行情 资讯数据 光大证券 数据的价值 风险管理 营销服务 管理决策 整合前中后台数据，为全面风险管理提供支持，降低经营风险，支持业务 转型 加强业务合规性，落实各项监管要求，并同时提升监管自动化报送效率 汇集公司数据，为公司经营管理
2、层提供各类分析决策报表，提升分析决策效率及准确性 推进综合经营与集团协同，帮助公司发挥混业经营优势 通过客户数据共享、产品数据共享、统一账号等措施，打通各部门存在的客户共享壁垒与交叉销售壁垒，提升客户体验 ，围绕以客户 为 中心，提供 全生命周期服务 光大证券 数据的应用价值，主要体现在 1）风险管理 2） 经营决策 3） 营销服务 数据价值的构建阶段 首先解决“生存”问题 风险管理应用；最终实现“发展” - 支持管理决策和营销服务 将数据应用支持范围和深度进行扩大完善 以大数据建模为核心的专业数据分析应用 建设风险管理指标和配套管理框架及应用平台 建立大数据应用机制与用数模式，支持数据 挖掘
3、 类的分析应用 。 建立风险管理指标体系： 包括指标标准，指标血缘，指标应用模式等。 建立风险数据统计模型： 建立数据统计模型及 报表管理的框架，包括相应的架构、流程和工作手册，指导日常的管理和维护 。 建立风险管理系统和数据平台： 建立配套的平台应用与管理功能。并结合指标梳理结果，完善核心指标展示范围。 风险数据运营和管理模式： 建立完整的数据管控流程。 综合考虑不同业务需求，完善和扩展已有 的指标 库并在已有平台上实施 ， 能够 支持金融机构管理层及不同部门或主题的大部分用 数 需求。 确保 各类 管理指标完善机制 和管理平台的平稳运行和持续优化完善。 3. 营销服务 2. 管理决策 1.
4、 风险管理 光大证券 数据价值风险管理应用 光大证券 公司业务目标和对风险的态度 风险容忍度 市场风险限额 信用风险限额 其他风险限额 业务 1限额 业务 2限额 业务 3限额 业务 N限额 目标风险状况 实际风险状况 市场风险总量 信用风险总量 其他风险总量 业务 1风险 业务 2风险 业务 3风险 业务 N风险 公司风险总量 1 2 3 日报，季报 监控、比对 主动管理 风险偏好体系 风险量化体系 风险报告 通过数据应用，建立风险量化评估及报告体系，将风险偏好及限额管理有效落地 数据 范围 数据价值实现的基础 我们需要 类别完整 和 高质量 的数据；低质量和不完整的数据，只能带来错误的决策
5、 准确性完整性一致性 完备性有效性时效性数据质量参与人： 客户、员工 、分支机构 产品 : 产品信息、资讯、 行情 合约： 行为、交易、授信额度 业务方向： 风险缓释 、 财务 对目标数据和源数据之间误差的判断及管理 对某一数据结构或数据模型的具体数据项的参照完整性的考察 必须保证企业范围内同一语义的数据具有相同的表达方式 不存在关键信息项缺失的情况 数据以合适的格式被存储，并且具有有效的取值 能够及时满足系统的访问需求 光大证券 1、数据对我们有什么价值？ 2、为什么要做数据治理？ 3、如何做数据治理？ 4、 我们的经验分享 目录 光大证券 常见的数据问题（金融领域） 监管要求 & 业界动向
6、 BCBS239 Principles for effective risk data aggregation and risk reporting “ 有效风险数据归集和风险报告原则 ” CBRC监管统计数据质量管理良好标准 金融机构纷纷加强对于数据管理的投入：加强数据治理 ， 设立首席数据官 （ CDO） 金融数据数量较大，数据模型多样，数据分类标准不一、整合度低、子公司数据缺乏统一管理平台等缺陷，为金融机构有效管理风险带来挑战。 光大证券 常见的数据 问题（自身） 一致性 完整性 及时性 准确性 “ ” 创新业务和衍生品业务的风险管理方面 ， 国内系统对复杂产 品的支持还不达标 , 数据
7、没有集中进入数据中心 ， 难以获取 ， 另外部分数据未落地 ， 难以 采集 ， 不利于 对此类业务进行 风险管理 。 风险管理部 “ ” 恒生投资交易系统业务数据分散在部门各个系统中 ， 无法集中获 取 。 希望公司未来建立的 数据中心 可以 对接 不同系统 ， 将 各业务部门 的数据统一入仓和管理 ， 确保系统架构和业务数据的 一体化 。 金融 市场总部 “ ” 量化对冲基金从研究 、 业务实施 、 投资管理 到 绩效评估 对数据的 要求都比较 高 。 未来 这部分业务将实现 产品化 ， 资金规模将增大 ， 非常需要有 良好的数据平台和系统平台 支 撑 。 光大富尊 “ ” 信用业务要求大量
8、的实时数据 ， 例如在确定授信额度的时候 ， 需要实时数据 ， 差几个小时的数据都可能不准确 ， 决策时有困难 ， 甚至可能违反监管 要求 。 现在数据不及时对我们的风险控制造成了很大的困难 。 信用业务部 对于多来源的数据 ， 由于缺乏集中统一的数据仓库以及数据核对和数据清洗的机制 ， 导致各类风险管理系统的 取数来源不统一 ， 阻碍 统 一风控平台 系统 的建设 。 风险管理部 对于多来源的数据 ， 风险管理部需要对接各个部门的系统 ， 取数和核数都由手工操作 ，工作 量大数据准确 性问题严重 ， 影响 市场风险和流动性风险管理 工作进行 。 风险管理部 通过调研，发现数据问题主要包括 光
9、大证券 数据“污水”治理 风险管理 营销服务 管理决策 信息系统 未治理的“污水” 数据流！ 数据治理 完成治理后的“清水”数据流！ 光大证券 数据问题的冰山理论 看得见的问题是表象，看不见的问题是本质；解决了“本质”问题，表象问题也就不攻自破了。 数据问题的本质，是数据治理问题！ 看不见的 数据与行业标准不一致 数据不准确 数据缺失 不同部门的数据统计口径不一致 获取数据需要一一协调各部门解决，耗时耗力 数据统计依靠手工，效率低下 “ ” 看得见的 数据管控 流程 元数据管理 数据质量评估 数据管 控制度 主数据管理 数据标准 数据管 控 组织 光大证券 1、数据对我们有什么价值？ 2、为什
10、么要做数据治理？ 3、如何做数据治理？ 4、 我们的经验分享 目录 光大证券 数据治理的目标及工作思路 光大证券 从解决当前的经营管理问题 出发 ，分三步走，循序渐进，最终 促进业务战略目标的实现 数据管理目标 目标一：解决当前存在的影响业务运营、风险管理等问题 数据管理工作思路 目标二 ：建立 完善的管理体系 ；形成 数据管理文化提高管理效率和管理质量 目标三：为应用更为先进的数据应用技术奠定基础，让数据成为在行业竞争 中的 利器 切入点二 ：以规划为主线 切入点一： 已解决现 实问题为切入点 切入点三：以促进业务发展为最终目标 逐步提升 数据质量管理 光大证券 数据治理体系框架概况 数据管
11、控 对象 基础 促进 支持 支持 支持 企业 数据模型 数据应用服务 报表服务 应用服务 数据文件服务 应用 数据 组织 职责 数据管理绩效 数据生命周期 数据 安全 管理 技术 支持 数据标准 元数据 主数据 数据模型 数据控制与流程 1） 组织、流程、制度是基础保障； 2）数据标准是治理对象；它们是数据价值体现的基础 重点和难点 数据管控组织模式 1 参照国际投行的管理模式，通过 搭建 企业级数据管理组织 ，构建以数据服务、数据管控、数据分析为核心的业务体系，以数据为抓手推动公司战略目标的达成 非数据管理组织 建立数据管理委员会 由后台部门（合规部、风控部、审计部）、中台部门（信息技术部、
12、计财部、运营部、数据管理部（拟建）以及相关的业务部门领导 组成 负责商讨并颁布公司统一的数据指标和管理标准，同时负责制定公司数据架构蓝图 规划 设置首席数据官 负责数据管理组织日常工作的管理决策； 组织召开数据管理委员会议，协调各部门商讨重大数据管理 工作 设立数据管理部为一级部门 职能范围：近期业务涵盖数据管控、数据服务，远期业务增加 数据分析 数据管理组织 （近期组建） 数据管理组织 （远期组建） 首席数据官（ CDO） 数据管理部 各业务 部门 信息 技术部 数 据 管 控 组 数 据 服 务 组 数 据 分 析 组 一级部门 董事会 数据管理委员会 总裁（ CEO） 经营管理层 3 1
13、 2 3 2 1 光大证券 数据管控组织模式 2 通过 搭建 部门级数据管理 组织 ，构建以数据服务、数据管控、数据分析为核心的业务体系，以数据为抓手推动公司战略目标的 达成 非数据管理组织 建立数据管理委员会 由后台部门（合规部、风控部、审计部）、中台部门（系统研发部、计财部、运营部、系统运维部）以及相关的业务部门领导 组成 负责商讨并颁布公司统一的数据指标和管理标准，同时负责制定公司数据架构蓝图 规划 设置 首席信息官 负责数据管理组织日常工作的管理决策； 组织召开数据管理委员会议，协调各部门商讨重大数据管理 工作 设立数据管理部为二级部门 与系统开发二级部 并列 职能范围：近期业务涵盖数
14、据管控、数据服务，远期业务增加 数据分析 数据管理组织 （近期组建） 数据管理组织 （远期组建） 首席信息官（ CIO） 系统研发部 各业务 部门 数 据 服 务 组 数 据 分 析 组 一级部门 董事会 数据管理委员会 总裁（ CEO） 经营管理层 3 1 2 3 2 1 系统开发部 数 据 管 控 组 数据管理部 系统运维部 光大证券 数据管控跨 部门分工协作 主数据分类 管理部门建议 客户 机构业务部、零售业务部、固定收益总部 产品 发展规划部 财务 机构业务部、零售业务部、固定收益总部 人员 人力资源部 风险缓释 风险管理部 额度 风险管理部 机构 人力资源部 /前台管理部 主数据管理
15、相关部门 主要工作： 明确参与部门与职责 划分 建立主数据管理制度与工作 流程 排查主数据需求，确认主数据管理 范围 定义主数据匹配 规则 统筹 协调全公司日常 主数据管理 工作 推进相关数据系统 的建设或 改造 明确公司内各 类主数据的负责部门， 牵头全公司主数据管理，原则上，“谁的数据谁负责”；“谁相关的数据，谁提供建议” 光大证券 数据质量流程和目标 制定统一的数据标准 明确数据资产所有者 建立数据管控体系 数据质量分析 数据质量跟踪检验 数据质量缺陷管理 流程 数据质量定量定性评估 准确度 数据是否准确地描述了事实？ 集成性 应关联的数据之间是否存在断开的链接？ 一致性 数据是否有单一
16、的表现形式 完整性 是否有关键信息丢失？ 单一性 数据值是否单一 ? 例如，无重复值或记录 可访问 数据是否易于访问、理解和使用？ 精确度 数据是否按业务的精确度需求进行存储？ 及时性 信息是否定期更新以满足业务需求？ 经验教训 是对数据 可用性 的提升，而非追求“完美”，不是为了管理而管理 数据质量 问题 ，是业务和技术部门的共同问题，需要共同参与解决 数据质量的提升是一个长期持续的过程，其提升效果会在实施过程中逐步体现，即“利在未来”！ 数据质量问题不仅是事后的纠正，即“治污”，更需要在源头预防，即“防污” - 源头控标准 事前预防 事中监控 事后纠正 数据质量包括事前的预防（数据标准）、
17、事中监控（质量检查）、事后纠正（数据纠正） 光大证券 数据标准的作用 什么是数据标准化？ 什么是数据标准？ 数据标准化是 通过一整套的数据规范、管控流程和技术工具来 确保公司的 各种重要信息，包括产品、客户、机构、协议等在 全公司内外 的使用和交换都是一致、准确 的 数据标准是 一整套数据规范，它是开展数据标准化工作的必要先行和重要 基础 统一 业务技术人员认识！ 提高 业务技术沟通效率！ 提高 业务需求质量！ 业务、科技间 的共同语言 统一认识，避免业务部门之间，与信息技术部门之间出现“鸡同鸭讲”的情况 光大证券 数据 标准是 “桥梁” 来源于业务，服务于业务 。 不是 建设 IT系统，而是
18、规范 IT系统建设。 关于 业务和技术的一整套数据规范 。 随着业务的发展变化，也会持续的完善和更新。 数据 标准化的业务属性 在业务方面，通过对业务定义、属性、规则进行收集、整理和规范，支持业务管理的规范化 ； 业务管理 IT系统建设 数据标准的作用 (续 ) 在统一认识的基础上，规范信息系统建设：数据内容不再完全是供应商说了算 数据 标准化的技术属性 在 技术方面，通过统一数据定义，提高数据的一致性，促进数据共享，提升数据质量。 光大证券 数据标准 体系 2. 指标类数据标准 1. 基础类数据标准 2.1 分析类指标定义框架 2.2 分析类指标分类体系 2.3 分析类指标维度体系 1.4
19、渠道数据标准 1.5 财务数据标准 1.1 客户数据标准 1.2 产品数据标准 1.3 交易数据标准 1.8 资产数据标准 1.9 营销数据标准 1.6 内部机构数据标准 1.7 协议数据标准 1.11 公共代码 1.10 地址数据标准 券商 日常 业务开展过程中所产生的具有共同业务特征的基础性数据，如客户、产品、协议、交易等 基础类标准 为 满足公司内部 管理需要及外部监管要求，在基础性数据基础上按一定统计、分析规则加工后的 数据，如 全面风险管理指标体系 指标类标准 数据标准体系 数据标准体系的内容包括基础类数据标准和指标类数据标准 光大证券 企业级数据模型 数据模型 是指用实体、属性及其
20、关系对企业运营和管理过程中涉及的所有业务概念和逻辑规则进行统一定义、命名和 编码，包括概念模型 /逻辑模型 /物理模型 Conceptual Data Model, 主要用来描述行业里面的概念化结构，反映了最终用户综合性的信息需求。 一般参考行业领先实践，重在 适当简化和客户化，不同企业间差异性较小 Logical Data Model, 对概念数据模型进一步分解和细化，但仍是脱离数据库技术，从业务角度描述数据关系，一般可参考行业实践，但 更重在客户化，不同企业间，可能存在一定的差异性 Physical Data Model，面向计算机物理表示的模型，主要考虑如何用数据库来实现逻辑模型，比如
21、进行 反范式化处理，对数据冗余与性能进行平衡 考虑 落地方案的数据库，物理字段 信息 因此，不同企业间 ,差异可能较大 光大证券 1. 概念模型 2 . 逻辑模型 3. 物理模型 细化、具体化 企业级数据模型逻辑模型 VS 光大证券 对于构建基于数据的应用来说，企业数据模型中的逻辑模型，就相当于构建一座大楼所用的设计图纸；数据应用不基于逻辑模型，就像构建一座建筑物，不用设计图纸；现实中，建造一座民房（小型数据应用），设计图纸可能是可选项，但构建一幢大楼（大应用），它应该是必选项。 逻辑模型 设计图纸 前瞻性 ：一个好的逻辑模型，具有业务前瞻性，可随业务发展，不断扩充，逐步完善 规则与限制 ：对
22、于数据管理中的复杂性，逻辑模型带来了规则和限制 沟通方式 ：逻辑模型，在业务与 IT建立了沟通的桥梁 前瞻性 ：借助于设计图纸，用户才有可能考虑未来的潜在需求，在构建建筑时预留扩展空间 规则与限制 ：规则和限制，这是设计图纸的主要内容之一 沟通方式 ：设计图纸，是设计师与用户的沟通方式；也是设计师与施工方的沟通方式 数据治理总结 数据治理工作 对于任何企业而言都是复杂的系统性 工作，应当 抓住 主要矛盾，建立组织模式，理顺管理流程及数据标准 ，便于各项工作开展，并在此基础上逐步推进 数据应用工作 1 数据组织模式 2 多部门协作 数据控制与流程 3 多样的数据应用 数据模型 及标准 4 风险管
23、理 营销服务 管理决策 光大证券 重点和难点 1、数据对我们有什么价值？ 2、为什么要做数据治理？ 3、如何做数据治理？ 4、 我们的经验分享 目录 光大证券 数据现状问题风险管理板块 市场 风险管理 以日报和季报为主，仅能提供简单的风控指标如集中风险、净敞口 等 无法提供较高标准的风控量化报告，如 VaR、 Stress VaR、 Back Testing和 P&L等 业务部门的大量手工数据需要手工处理，费时 费力 信用风险管理 信用风险敞口多以持有总量直接作为风险敞口，无法进行量化 分析 股权、融资融券类数据采集常因中间环节出错而无法及时获取数据。涉及的数据量大，处理时间长，希望有更强大的
24、专业服务器或应用来帮助 现阶段只对信用业务上的风险进行监控，没有真正意义上的信用风险监控，如对手方风险或发行人 风险 流动风险管理 大量数据问题导致数据整合过程十分艰难 报告生成过程自动化程度低，人为干预多，牵扯大量精力，无法对结果进行快速验证和事前监控。 操作风险管理 主要为事件触发机制，主动监控较难实现 无法进行量化分析 现状描述 问题小结 缺乏统一的数据来源 需直接从各业务系统采集数据，既不 安全，效率也不 高 历史原因造成的信息孤岛直接导致系统间的数据 无法 建立 勾稽关系 大量 数据需要手工处理 业务部门的大量手工数据需要手工处理，费时费力 。 无法自动产生各种报表 原始数据未能完全
25、覆盖一些深度的风控指标。如公司 资本金的计量、流动性精细化预测等 风险 管理比较粗放 风控相关数据的自动化采集、数据准确性、指标计算自动化等均有实现困难的问题，很难实现事前风控、量化风控等公司目标 无法使用量化工具对公司投资风险 进行行业通行 的量化评估（如投资组合的 VaR值、压力测试 Stress VaR值、回溯测试 Back Testing等 ） 风险管理最大的问题是：由于缺乏统一的数据源，以及数据的不完整，导致风险管理比较粗放，无法有效管理，尤其是使用量化工具进行评估 光大证券 数据现状问题综述 系统建设滞后 信息孤岛 非标准化的场外业务数据很多以手工形式存在，数据无法落地或系统化。
26、业务系统繁多，不同系统之间数据不一致或缺乏勾稽关系，系统和数据建设缺乏规划 数据需求考虑不周 产生的数据的颗粒度、质量、标准性等无法满足这些部门的数据需求 未建立数据标准 缺乏数据接口定义、表结构、数据字典等说明性文档 同样的数据在不同部门有多种定义 数据平台未整合 数据不共享 业务部门需要其他部门的数据时，常常需要自己从各个业务部门直接采集，数据中心未充分使用 业务部门各自为政购买并使用外部数据 我们承担了太多IT的职责和角色去获取数据，无法专职于本职工作 - 风险管理部 我们需要建立企业级的数据共享平台 -多个前台业务管理部门 希望能建立企业级的数据统计分析应用 - 多个前台业务管理部门
27、我们大部分的精力耗在了数据核对和统计分析结果核对上 - 财务管理部 光大证券 数据治理能力的提升 历程 初始阶段 主动管理阶段 被动应付阶段 优化阶段 光大证券 初始阶段 ：组织对数据治理没有意识，单纯通过员工个人能力解决数据管理问题。 被动应付阶段 ：组织开始采用流程及活动解决突发的数据质量问题。 主动管理阶段 ：组织逐步将数据视为企业资产之一，建立完善的制度、流程进行管理。 优化阶段 ：数据管理成为一个组织的业务流程，而不是一个技术工具。 光大证券 光大证券 数据及系统 问题解决方案 解决 方案 发现的问题 前后台数据 核对困难 自营板块 信用经纪 中后台 短期方案 长期方案 手工录入 缺失客户信息 缺失统一的 分析型 应用 缺失数据治理 数据未共享 无数据分析应用 系统化 处理 例如 投顾 前中后台 一体化 建立企业级客户信息系统 逐步 开展 BI，数据分析 挖掘等应用 开展 数据治理 规划数据中心 并采集数据 对于调研发现的问题，分别制定了短期和长期的解决方案，并落实其中的短期解决方案
