超大规模数仓集群在大型商业银行的落地实践.pdf

1、 全 球 敏 捷 运 维 峰 会 广 州 站超大规模数仓集群在大型商业银行的落地实践龙趺MPP DB演讲人：建信金科 陈晓新 全 球 敏 捷 运 维 峰 会 广 州 站龙趺MPP DB MPP架 构 查 询 能 力超 高 的 查 询 性 能标 准 SQL支 持完 善 的 生 态 系 统云 计 算 弹 性无 限 的 计 算 存 储 能 力动 态 伸 缩高 性 价 比 的 存 储 大 数 据 平 台 灵 活 性计 算 和 存 储 分 离优 异 的 扩 展 性故 障 自 动 恢 复龙 趺MPP DB龙 趺 MPP DB新 一 代 云 原 生 数 据 仓 库 产 品金山云其 他 数 据 库 、 存 储

2、 等 合 作 公 司 全 球 敏 捷 运 维 峰 会 广 州 站信 用 卡2 0 年 3 月 境 内 贴 源2 0 年 7 月 公 共 访 问2 0 年 7 月 旅 程 管 理2 0 年 8 月 集 团 并 表海 外 贴 源2 0 年 9 月 海 外 应 用2 0 年 1 1 月 云 化 数 仓2 1 年 1 月2 0 年 1 0 月不 良 资 产 2 1 年 3 月公 共 计 算 2 1 年 4 月资 产 负 载 2 1 年 6 月分 行信 息 应 用龙 趺 MPP DB运 行 现 状 集 群 规 模 数 据 量 表 数 量 /对象 数 负 载 情 况1 5 0 0 0 +服 务 器 9 P

3、B 百 万 /千 万 每 天 运 行 作 业 数 达 到 百 万 级 别 ， SQL数 千万 级 别龙趺MPP DB上线和运行现状 全 球 敏 捷 运 维 峰 会 广 州 站龙趺MPP DB上线和运行现状 全 球 敏 捷 运 维 峰 会 广 州 站贴源集成应用运行效率对比 05 0 01 0 0 01 5 0 0 传 统 MPP 龙 趺 MPP DB 龙 趺 MPP DB的 计 算 资 源 和 传 统 MPP的 计 算 资 源 基 本 相 等 龙 趺 MPP DB存 储 和 计 算 的 数 据 量 （ 1 0 0 0 TB） 为 传 统 MPP（ 2 0 0 TB） 的 5 倍 每 天 7 万

4、 个 作 业 、 1 0 0 万 个 SQL， 龙 趺 MPP DB和 传 统 MPP的运 行 效 率 无 明 显 差 别 全 球 敏 捷 运 维 峰 会 广 州 站为什么需要研发龙趺MPP DBu 并 发 能 力 和 可 扩 展 性 不 足 ， 分 库 分 表 造 成 大 量 数 据 冗 余u 木 桶 效 应 ， 服 务 器 故 障 会 导 致 集 群 性 能 严 重 下 降u 升 级 、 扩 容 等 操 作 复 杂 ， 运 维 成 本 高 ， 应 用 影 响 大u 数 据 的 存 储 和 计 算 不 分 离 ， 数 据 库 孤 岛 情 况 严 重u 非 云 原 生 架 构 ， 难 以 融

5、入 建 行 云 建 设传统MPP数据库在建行落地实践中遇到的困难 全 球 敏 捷 运 维 峰 会 广 州 站元数据集群共享存储计算集群 计算集群-1 计算集群-2 计算集群-n元数据集群 共享存储（对象存储） 管理控制台用户模块 管理模块用 户 数 据缓 存 元 数 据缓 存 用 户 数 据缓 存 元 数 据缓 存 用 户 数 据缓 存 元 数 据缓 存对 象 存 储 1 对 象 存 储 2 对 象 存 储 n龙趺MPP DB架构 全 球 敏 捷 运 维 峰 会 广 州 站权 限 管 理 多 租 户 /用 户 管 理集 群 生 命 周 期 管 理 创 建 、 删 除 、 扩 缩 容 、 升 级

6、 、 启 动 、 停 止IaaS资 源 交 互 和 调 度 自 动 化 申 请 基 础 设 施 资 源 ， 包 括 计 算 、 存 储 和 网 络资 源 等自 动 化 /智 能 化 运 维 自 动 化 安 装 部 署 监 控 、 告 警 运 维 扩 容 、 升 级 、 备 份故 障 自 愈龙趺MPP DB管理控制台 全 球 敏 捷 运 维 峰 会 广 州 站 ETCD ETCD ETCDcatalog catalog catalog调 度 层无 状 态服 务 层 分 布 式 K-V存 储FDB FDB FDB FDB FDB计算集群1 2 34 5 6调 度 层 服 务 发 现 和 监 控 负

7、 载 均 衡 无 状 态 服 务 层 服 务 层 由 一 组 服 务 节 点 组 成 ， 每 个 服 务 节 点 其 实 是无 状 态 的 服 务 进 程 ， 负 责 接 收 和 处 理 计 算 集 群 的 元数 据 请 求 ； 元 数 据 持 久 层 元 数 据 持 久 化 存 储 服 务 ， 存 储 数 据 字 典 、 统 计 信 息 、表 到 对 象 映 射 等龙趺MPP DB元数据服务 全 球 敏 捷 运 维 峰 会 广 州 站计算集群-1 计算集群-2 计算集群-n元数据集群 共享存储（对象存储）用 户 数 据缓 存 元 数 据缓 存 用 户 数 据缓 存 元 数 据缓 存 用 户

8、数 据缓 存 元 数 据缓 存对 象 存 储 1 对 象 存 储 2 对 象 存 储 n 资 源 灵 活 分 配 按 需 创 建 、 删 除 、 扩 缩 容 集 群 间 资 源 完 全 隔 离 作 业 可 在 不 同 集 群 建 灵 活调 配 并 发 能 力 线 性 扩 展缓 存 服 务 本 地 SSD作 为 缓 存 介 质 小 文 件 合 并龙趺MPP DB计算集群 全 球 敏 捷 运 维 峰 会 广 州 站计算集群-1 计算集群-2 计算集群-n元数据集群 共享存储（对象存储）用 户 数 据缓 存 元 数 据缓 存 用 户 数 据缓 存 元 数 据缓 存 用 户 数 据缓 存 元 数 据缓

9、 存对 象 存 储 1 对 象 存 储 2 对 象 存 储 n龙趺MPP DB共享存储 使 用 对 象 存 储 作 为 数 据 持 久 化 存 储 支 持 100亿 文 件 对 象 ， 200PB以 上 的压 缩 数 据 使 用 标 准 Restful API， 支 持 高 并 发访 问 99.99%以 上 的 可 用 性 99.999999999%以 上 的 数 据 持 久 性存 储 访 问 优 化 多 桶 存 储 列 存 +压 缩 全 球 敏 捷 运 维 峰 会 广 州 站计 算 计 算 计 算 计 算存 储 存 储 存 储 存 储集 群 1 集 群 2 集 群 3 集 群N 计 算 计

10、算 计 算 计 算共 享 存 储数 据 复 制 集 群 1 集 群 2 集 群 3 集 群 N应 用 1 应 用 2 应 用 3 应 用 N 智 能 调 度应 用 1 应 用 2 应 用 3 应 用 N传 统 MPP应 用 解 决 方 案 龙 趺 MPP DB应 用 解 决 方 案 传 统 MPP 龙 趺 MPP DB数 据 复制 大 量 集 群 间数 据 复 制 数 据 共 享 ，无 需作 业 动态 调 度 每 个 集 群 运行 作 业 基 本固 定 ， 无 法动 态 调 整 作 业 可 以 根据 负 载 需 求 ，在 不 同 集 群间 动 态 调 整数 据 冗余 大 量 冗 余 数据 无

11、数 据 冗 余龙趺MPP DB应用解决方案 全 球 敏 捷 运 维 峰 会 广 州 站COSSeg2Seg1 Master元数据集群计 算 集 群 Seg3 Seg4 Seg2Seg1 Master计 算 集 群Seg3 Seg4 Seg5 Seg6Seg2Seg1 Master计 算 集 群 Seg3 Seg4Seg2Seg1 Master计 算 集 群 Seg3 Seg4 Seg2Seg1 Master新 计 算 集 群Seg3 Seg4动 态 扩 容动 态 缩 容快 速 升 级 Seg2Seg1 Master计 算 集 群Seg3 Seg4 Seg4故 障 快 速隔 离 恢 复u 数据分

12、布：一致性hash的分布方式，避免数据大量重新逻辑分组u 独立的元数据共享存储服务，计算节点无状态，随时可增加和减或少，也避免了数据重新物理分布 Seg7 Seg8龙趺MPP DB运维解决方案 全 球 敏 捷 运 维 峰 会 广 州 站过 去 一 年 ， 建 行 龙 趺 MPP DB集 群 的 服 务 器 规 模 增 加 了 5 0 倍 ， 数 据 量 增 加 了 4 5 倍2 5 6 1 0 0 0 02 0 0 9 0 0 0 0 02 0 0 04 0 0 06 0 0 08 0 0 01 0 0 0 01 2 0 0 001 0 0 0 02 0 0 0 03 0 0 0 04 0 0

13、 0 05 0 0 0 06 0 0 0 07 0 0 0 08 0 0 0 09 0 0 0 01 0 0 0 0 0 龙 趺 MPP DB规 模服 务 器 数 量 数 据 量龙趺MPP DB应用增长规模 全 球 敏 捷 运 维 峰 会 广 州 站u 每 天 百 亿 级 别 的 元 数 据 RPC请 求 如 何 稳 定 保 障u 银 行 级 别 的 高 可 用 要 求 如 何 保 障u 超 大 规 模 的 集 群 如 何 高 效 运 行 维 护u 对 象 存 储 海 量 的 数 据 存 取 需 求 如 何 高 效 满 足 服 务 拆 分 、 分 布 式 扩展 等分 片 、 多 桶 、 多 线

14、 程 ，共 享 缓 存 等故 障 自 愈 、 全 流 程 监 控 、自 动 化 工 具跨 AZ/Region部 署 、 多活 、 在 线 备 份 等龙趺MPP DB遇到的问题 全 球 敏 捷 运 维 峰 会 广 州 站元数据服务 数据字典服务1事务服务1锁服务1文件映射服务1 数据字典服务2数据字典服务2 数据字典服务3事务服务2事务服务2 数据字典服务3 数据字典服务4根 据 服 务 类 型 及 负 载 需 求 ， 对 元 数 据 服 务 进 拆 分 和 分 布 式 改 造 ， 提 高 服 务 和 高 可 用 能 力龙趺MPP DB元数据服务提升单 节 点 服 务 向 分布 式 服 务 改

15、造 全 球 敏 捷 运 维 峰 会 广 州 站Bucket1Bucket2Bucket3 Bucket4Bucket5 Bucket6Bucket7 Bucket8Bucket9TableSpace1 TableSpace2 TableSpace3共 享 存 储应 用 1 应 用 2 应 用 3 通 过 统 一 缓 存 服 务 ， 实现 IO加 速 ； 减 少 对 象 存储 压 力 每 个 应 用 创 建 独 立 的tablespace， 每 个tablespace根 据 需 求 创建 若 干 个 bucket 通 过 tablespace实 现 共享 存 储 IO能 力 隔 离 和 流量 控

16、 制龙趺MPP DB存储服务提升统 一 缓 存 服 务 全 球 敏 捷 运 维 峰 会 广 州 站龙趺MPP DB自动化监控和运维监 控 信 息 获 取 服 务 是 否 存 活RPC分 类 统 计RPC分 集 群 统 计磁 盘 空 间 使 用进 程 数 、 线 程数SQL运 行 数 、 报错 数 等CPUIO、 IOPS内 存 （ 虚 拟 、物 理 等 ） 连 接 数 、 运 行数作 业 运 行 数 、连 接 数 性 能 是 否 正 常负 载 是 否 倾 斜统 计 信 息 和 运行 状 态 集 成关 键 作 业 完 成异 常 低 /高 负 载高 连 接 低 负 载异 常 报 错历 史 值 对

17、比 偏 离趋 势 轨 迹 资 源 是 否 充 足长 SQLSQL分 类 统 计 故 障 辅 助 定 位表 访 问 统 计字 段 访 问 统 计膨 胀 统 计倾 斜 统 计 智 能 资 源 调 度作 业 、 SQL、 存 储 全 流 程 数 据 收 集 数 据 聚 合 分 析 智 能 运 维 全 球 敏 捷 运 维 峰 会 广 州 站龙趺MPP DB自动化监控和运维 全 球 敏 捷 运 维 峰 会 广 州 站数据库服务 集群级别整体故障数据丢失/误删除等AZ级别服务故障 跨AZ部署数据备份双活部署龙趺MPP DB高可用提升通 过 跨 AZ部 署 、 备 份 、 双 活 等 方 式 ， 进 一 步

18、 解 决 集 群 故 障 、 AZ故 障 、 数 据 丢 失 等 问 题 全 球 敏 捷 运 维 峰 会 广 州 站架 构 设 计 和产 品 开 发需 求 分 析 和产 品 设 计 应 用 开 发 和上 线 运 行运 行 跟 踪 和运 维 优 化 过 去 几 年 ， 我 们 完 成 了 无 数 次 的 版 本 迭 代 和 上 线 优 化 。 一款 数 据 库 产 品 的 成 熟 发 展 ， 需 要 产 品 、 架 构 、 研 发 、 运 维 、应 用 等 许 许 多 多 人 的 长 期 合 作 和 投 入 。 在 龙 趺 MPP DB上 ，我 们 ： 集 合 了 大 批 建 信 金 科 和 业

19、 界 优 秀 的 研 发 人 员 ； 提 供 了 业 界 最 复 杂 、 最 丰 富 、 负 载 最 高 的 应 用 场 景 ； 拥 有 建 行 二 十 几 年 的 数 据 仓 库 使 用 和 运 维 经 验 ， 能 够 最快 的 发 现 产 品 痛 点 ， 提 出 最 贴 合 用 户 需 求 的 产 品 设 计 。总结 全 球 敏 捷 运 维 峰 会 广 州 站建 设 银行银 保 监 龙 趺MPP DB进 出 口银 行国 家 开发 银 行 恒 丰银 行云 南政 务 云 南农 信持 续 开拓 中 坚 持 产 品 研 发 投 入 、 持 续 拓 展 用户 、 丰 富 产 品 生 态 ， 打 造 更 为 先进 、 安 全 的 数 据 仓 库 产 品 ！ ！总结 全 球 敏 捷 运 维 峰 会 广 州 站THANK YOU！