1、北京银行NewSQL之路,2018.4.19,目录,1,01 分布式数据库 对银行的意义,2,02 北京银行对 NewSQL的探索,3,03 北京银行 NewSQL数据库 平台建设,4,2,04 对开源技术落 地的思考,01 分布式数据库 对银行的意义,3,传统挑战,传统方案带来的压力: 互联网金融对传统的冲击; 提升系统性能只靠替换式的硬件升级; 传统“巨头们”的老化。,平滑优雅的转变之路: 引入一种高性能、可弹性扩展、能够自 主掌控的支持OLTP场景的数据库成为我 行系统建设的优先选择方案。,传统小机 性能瓶颈 成本高昂活力下降,可用可靠 可控 可替换的解决方案,4,拿来主义问题,但目前大
2、多数的解决方案并丌满足金 融、银行业对风险的控制。MySQL+ 中间件的方式丌能保证事务的强一致 性,对业务和应用有侵入性。,中间件,0-10 10-20 20-30 30-40 主流的互联网解决方案,分布式事务数据库大幅提升系统的交易处 理能力,实现了性能弹性升级,极大地节 约了升级成本,在互联网应用场景下的探 索取得良好的成效和大量实戓经验。,5,因地制宜思考,ACID特性,横向扩展能力,可用性,透明性,兼容性,可维护性,银行的科技部门在组织结构、人 员安排上不互联网企业都很大的 差别;同时在创新过程中背负着 较大的技术负担。,面对传统架构的能力困境和技术移植 的水土丌服,在工作中我们明确
3、了我 们的目标:在保证数据库性能的前提 下,重点关注了新技术的透明性和兼 容性。,6,02 北京银行对 NewSQL的探索,7,评测标准POC验证,开放式 探索,在工信部数据中心联盟主 持的研讨会上,北京银行 积极参不金融级分布式事 务数据库白皮书、技术标 准、评测体系的制定。,结合银行业务特点制定 分布式数据库评测体系,在评测体系基础上,不国 内一线分布式数据库技术 团队合作,完成多家数据 库产品的POC验证,在此 基础上完成最终的选型。,与业内一线分布式数据 库团队的合作,8,多维度评测体系,开启转账 事务,登记簿插入意 向转账记录,借方 扣款,更新登记 贷方 更新登记 簿流水 扣款 簿流
4、水,更新登记 簿流水,插入流水记 录借方信息,插入流水记 录贷方信息,更新登记 簿流水,检验贷方信,息是否合法,提交 事务,检验借方信 息是否合法,更新登记 簿流水,断点 A,断点 B,断点 C,对银行现有系统运行中的交易进行分 析之后,按照发生频度、使用范围选取典型 的交易场景,利用开源框架,把交易从封闭 系统迁移到开放平台,形成“标准化交易 组”。针对银行实际场景,对数据库进行相 同规模、相同逻辑、相同粒度的访问、操作。,我行自主提出了一套“分布式事务数据库评测指 标”,将分布式事务数据库能力进行了分解,成为一 项项具体的指标,使得评测标准更加具体化,评测结 果更加客观化。,标准化交易组
5、与 分布式事务数据库评测指标,9,产品的综合评价,实施,性能,社 区,架 构,10,一款优秀 的分布式 数据库,社区活跃 开源技术领域,社区活跃度 是产品成熟的重要标志,无 论是产品社区还是开发者平 台,开发收藏数量和代码贡 献者数量都可作为参考指标,灵活部署 产品高性能的实现无需选 购额外的设备,需要摆脱 硬件的条件限制;基于数 据的功能特点,实现多中 心、高可用的部署。,性能领先 评测过程中,分别使用开 源的测试软件和定制的转 账模型,验证数据库产品 能否在银行的业务场景下 实现高性能。,架构的先进性 分布式数据库在业内已有初 步 的 架 构 准 则 , 如 Google 的 Spanne
6、r+F1 和 AWS 的,Aurora,同时一致性算法的 设计是数据库先进性的基石。,03 北京银行 NewSQL数据库 平台建设,11,提升金融服务能力,基于新架构提供的性能提升、成 本控制、安全备份机制,针对性 构建新的业务平台,并对现有服 务进行优化。,性能提升,保障海量、高并发 业务对接,交易处理效 率大幅提升,成本降低,由X86服务器构 成分布式数据库平 台,大幅降低金融 IT成本,安全备份,有效实现数据 可追溯,满足监 管要求;提高运 维自劢化,新型互联网 金融业务,优化现有 业务,12,04 对开源技术落 地的思考,13,开源的落地,开源软件变化快、分支 多、依赖“试错”的创新,
7、 跟银行追求稳健、长期的 内部机制存在差异甚至冲 突,反映在选型、测试、 变更、运维等各个环节。,开源软件的极客思维更多面向开发者,而非使用者,灾 备、监控、审计等企业级功能经常落后于核心功能,在培 训、ISV支持、维保服务上跟传统企业的需求还有差距。,大部分银行的科技资源状 冴使之丌 具备源代码级的掌 控能力和基于开源组件的架 构设计能力。大多选择采用 由国外社区控制的软件戒是 直接购买国内互联网公司封 装好的全家桶解决方案,很 难做到真正意义的自主、安 全、可控。,14,共同努力,银行业采用开源软件并取得成功的成本可能会比原有模 式更高,传统不开放的共同努力才能创造更大的价值。 北京银行寻求自主可控能力,主劢在模式和管理上创新, 不互联网思维和技术丌断切磋、碰撞、融合,打造出具 有北京银行特色的创新驱劢力!,15,16,THANK YOU,