1、数据生命周期管理之DSG技术交流DSG Inc.议程公司介绍1产品 规划2实时数据共享 ETL4数据库双活容灾43客户列表46同类软件对比45公司发展史1997-2002.11 2002-2007 2008-2011DSG公司最早在美国南加州成立。从事 大型数据库专业服务美国：服务 中国北京全国、研发产品、服务DSG公司于 2002年11月，在北京成立中国公司。推出了世界领先的 大型数据库备份、数据库复制产品， 作为高端客户的升级产品 。2012-DSG公司从 2007年底开始全国各地办事处建设；推出了：全球领先的 大型数据库容备一体产品、数据库容灾产品、数据共享、历史归档、数据库审计等产品立
2、足中国面向全球DSG公司的产品已经在澳门、加拿大等地客户开始选用，并推出 BDMP云灾备管理平台DSG的产品观 DSG的市场观我们只做技术全球领先的产品，低端产品、系统集成、常规服务不是 DSG的价值取向。我们相信客户最熟悉自己的系统和需求，客户具有最高的智慧来选择那些产品符合其需求，客户的需求是不断发展的，因此，我们只有不断满足客户的实际需求，才会获得更好的发展。公司介绍：全资及控股公司迪思杰（北京）数码技术有限公司迪思杰（北京）数据管理技术有限公司北京艾德斯科技有限公司迪思杰集团由以下全资及参股公司组成：DSG在全国东北办事处（沈阳）北京总部成都研发中心西部办事处上海办事处南京办事处杭州办
3、事处华南办事处（广州）乌鲁木齐郑州兰州哈尔滨南宁南昌石家庄银川长沙武汉海口公司介绍1产品 规划2议程实时数据共享 ETL4数据库双活容灾43客户列表46同类软件对比45DSG数据生命周期产品布局 服务 数据库审计 Audit 迁移 碎片整理调优 数据库重整备份容灾测试 DBP Snap Assure-DC Snap Assure-BS BDMP复制与容灾 RealSync DBP BDMP实时共享交换 Enhanced ETL历史归档 Archiving1、创建 2、备份3、容灾4、共享5、归档专业服务DMP 数据生命周期管理云平台8数据生命周期管理云平台（ 2004/10）CRM DSSBS
4、S OSS 其他业务平台报表 实时查询 其他Data Management Platform (DMP)CDP级备份数据VVFS异构热容灾数据App1App2App3App4ArchivingSnap AssureMSSRealSyncETL-Plus Smart EDM dataDM data实时异构热归档数据性能分析调优审计B dataETL兼容App5企业数据仓库 企业数据应用 ODS企业基础业务数据RealSync容灾数据异构热容灾App3App2App1App3App2App1App3App2App1App3App2App1SuperSync-双活数据库容灾ologxArchived
5、 logRedo Log QUEUEXEXPsenderreceiverQUEUEROWID MappingTableloaderTransactionsXF1 FormatOCI生产数据库目标数据库SuperSync应用 场景双活数据容灾集中报表系统，实现读写分离零停机的数据迁移（跨平台、跨版本）机房改造 搬迁、硬件更换、数据库升级数据上收与下发数据仓库测试系统. Online Users Ad-hoc QueriesReports ExtractsBackups MaintenanceSuperSync技术特点 支持多种数据库 【 ORACLE、 MYSQL、 MS SQL】 支持 1:1
6、,1:N,N:1， N:N复制 实现业务和数据读写分离，一个写入多个查询的问题，检索业务有其他数据库分担 数据库高可用，方便数据库灾备切换，和数据库业务自由切换的问题。 灾 备处于 open状态，主备 查询分离 支持操作系统、存储、数据库版本异构 可以按照表，用户、全库进行灾备 灾备一 键切换SuperSync的 优势总结DSG SuperSync功能 Realsync产品功能完善 ， 包括了很多独有模块 ：1.无需修改生产系统参数 ， 更安全2.方案完整 ： 配备文件和程序的模块3.安装简单 ： 首次自动同步技术 （ DSG独有 ）4.运行安全 ： 安装无需修改生产系统参数如附加日志模式等5
7、.方便维护 ： 快速数据修复6.独特功能 ： 特殊操作表有备份功能 （ DSG独有 ）7.对 DDL的全面支持8.中文界面 ： 监控和维护使用更人性化9.解决关键问题 ： 具备灾备切换导航界面功能等效率 Realsync是基于 rowid模式的 ， 所以在效率上是同类产品的 2-3倍 ， 所以大数据量的电信行业大都都选择 DSG产品 。服务支持 DSG目前在 国内拥有 100多 人的技术团队 ， 可快速准确的响应用户的需求 ， 保证原厂的现场支持 ， 及时解决问题 。 工程师经验丰富客户口碑 DSG Realsync产品稳定 、 功能完善 、 效率高 、 服务好 ， 所以市场占用率高 ， 客户
8、满意度好 。支持的数据库类型源端 目标端OracleSqlserverDB2Mysql常见： oracle、 sqlserver、 DB2、 mysql国产： Kingbase、 Gbase8a、 Dameng、 Kdb、 DboneMPP： postgresql、 greenplum、 vertica消息队列： kafka、 tibco文本格式： txt、 csv、 xml、 sqlUDB： Hadoop、 redis、 Hana公司介绍1实时数据共享 ETL4议程产品规划42数据库双活容灾43客户列表46同类软件对比45实时数据共享 /ETL数据共享平台，支持多种数据库的数据抽取功能，包括
9、 ORACLE,MYSQL,MS SQL,IBM DB2等数据共享，以及 HADOOP,HBASE,HIVE等非结构化数据的数据处理等 ETL应用场景 -重庆地税 目标端数据表比生产多出两个字段，体现生产对于本条记录最后一次操作类型和时间 生产含有 DELETE操作的时候，目标端转换为 UPDATE，标记更新字段为 DELETE即可。 数据复制在 DATAGUARD的备份端进行数据抓取操作 数据重新初始化，目标端的数据，仅仅重新初始化标记中含有 UPDATE,INSERT的数据，并且操作类型更新为 INSERT，标记为 DELETE操作的数据进行保留。生产库 备份库捕获 转换 装载 解决目前
10、CRM系统每天抽取性能低下问题 为未来更加实时的 ETL抽取奠定基础，例如将来可实现每几分钟、 10分钟的抽取间隔； 降低 ETL抽取对生产系统的性能影响 避免每天的全量数据处理 提供增量识别机制 增量数据以接口文件的形式传送 。Crm 数据库2 *H P (1 6 C,1 4 0 G )O ra c l e 数据库ET L 中间数据库O ra c l e 数据库CR M 备份数据库O ra c l e 数据库Rea l Sy n c A g e n tET L Pl u s Ag e n tRea l Sy n c A g e n tET L Pl u s Ag e n tCR M 备份数据
11、流ET L 抽取数据流ETL应用场景 -甘肃电信ETL应用场景 -金华社保智能审核 数据增量复制中，在不考虑 DDL的前提下，需要目标端的数据表中，添加两个字段 OPERATION 最后的操作类型（ I/U/D） ;保留最后一次操作的时间 数据初始化的过程中，针对所有数据对应的操作字段标记为 I，操作时间为导出时间即可 每个表的初始化时间最好是一致 。 在 data_load.ini中添加一个是否保存历史操作的参数，软件如果检查到该参数，将会进行这种装载操作。 保留每一条 dml,并且用一个新的 sequence去表示他是新产生的数据 ， insert插入附加一个 seq,delete不是真正
12、删除也附加一个 seq， update修改并修改 seq成新值公司介绍1同类软件对比5议程产品规划42数据库双活容灾43客户列表46实时数据共享 ETL4SuperSync/ETLplus & GoldenGate & SharePlex条件 SuperSync GOLDENGATE SHAREPLEX是否受回收站限制 支持 有限制 有限制是否支持非归档 支持 选择性支持 选择性支持是否添加附加日志 不需要添加 必须添加 必须添加是否支持全同步 支持 200-500G/小时 ) 支持 (10-30G/小时 ) 支持 (exp/imp)是否支持单表修复 支持 支持 支持大表复制 (100GB以上
13、 ) 支持 手工操作 手工操作是否支持其他介质初始化(rman/bcv)支持 支持 支持软件初始化维护工作量 简单 复杂 复杂是否支持 DDL操作 支持 支持 【 触发器 】 支持是否支持时时比对 支持 支持有限 支持是否支持其他数据库 oraclems sqlmysql oraclems sqlmysql oracle是否含有图形界面 有 有 有是否支持数据回切功能 有 有 有是否对特殊操作表有备份功能 【 自定义某些操作，进行备份 】支持 没有 没有全同步效率 支持 支持 支持全同步断点续传 支持 不支持 不支持增量复制效率 高 效率低 效率低是否国产 国产 美国 美国SuperSync/
14、ETLplus VS 国内其他厂商对比角度 SuperSync 其他产品公司历史 专业数据管理 10多年，深耕中国市场，见证中国信息技术发展 近几年迎合市场需求新成立产品成熟度 投入市场 10多年，在各个行业积累了大量用户，相当成熟 产品投入市场时间短，成熟度和稳定性待定是否有自主产权 完全拥有自主知识产权 无是否有专利 取得多项国家专利 无业务专注度 专业做数据管理 多业务并行，数据管理只是一部分研发实力 北京、成都两大研发中心 几个人的研发团队市场占有率 处于行业领头羊地位，各行各业拥有大量用户 极少量技术对比 完全依托自身技术实现，取得多项国家专利 借助数据库自有功能（如 logmine
15、r）或封装数据库 DataGuard等实现功能定制化 完全支持 不支持或者有限支持议程1产品 规划2实时数据共享 ETL4数据库双活容灾43公司介绍46同类软件对比451客户案例中国建行、 中国银 联、广发银行、徽商银行、华夏银行、兰州银行、新疆建行 中国金融期货交易所、中国证券金融公司、中国期货保证金中心、上海黄金 交易所上海股权托管交易中心、重庆金融资产交易所、广州产权交易所、青海股权交易中心、新疆股权交易中心、天津文化艺术品交易所、东盟海产品交易所、国泰君安资产管理公司、北京银商 金融行业太平洋保险集团（集团、寿险、财险） 、安邦保险、天平保险、天安保险、民生人寿、华农保险、乐爱金保险、
16、泰山保险、瑞泰人寿 富国基金、泰达宏利基金、银华基金、华泰柏瑞基金、易方达基金、金元比联基金、天宏基金、招商基金、南方基金、中银基金 国泰君安期货、鲁证期货、中银期货、东吴期货、信达期货、西部期货、中州期货、科信期货、中粮期货、鲁能金穗期货、东航期货、东证期货、中原期货、中大期货、天鸿期货、西南期货、国元期货、英大期货、国海期货 中信证券、广发证券、平安证券、国泰君安证券、银河证券、宏源证券、华泰证券、东吴证券、民族证券、国海证券、长江证券、西南证券、太平洋证券、国金证券、西部证券、山西证券、中投证券、新时代证券、上海证券、东兴证券、万联证券、金元证券、信达证券、中航证券、华泰证券、南京证券、
17、国联证券、东海证券、金通证券、中原证券、财达证券、国盛证券、华福证券、恒泰证券、湘财证券、华鑫证券、财富证券、中天证券、财通证券、华欧证券、中邮证券、德邦证券、爱建证券、华宝证券、联合证券、日信证券、英大证券、诚浩证券、大通证券、第一创业证券 东航财务、一汽财务、中建财务、兵器财务、中航财务 交易所银行保险基金期货证券财务中国移动集团、中国移动南方基地、中国移动手机阅读基地、北京移动、上海移动、山东移动、江苏移动、浙江移动、河南移动、广西移动、贵州移动、海南移动、青海移动、宁夏移动、甘肃移动、黑龙江移动、西藏移动、广东移动、辽宁移动、湖南移动 通信行业广西电信、海南电信、海南电信、福建电信、福
18、建电信、澳门电信、四川电信、陕西电信、山东电信、贵州电信、内蒙电信、河北电信、江西电信、云南电信、安徽电信、甘肃电信、宁夏电信、新疆电信、广东电信、杭州电信、舟山电信 中国联通集团、广东联通、上海联通、北京联通、辽宁联通、江西联通、福建联通、广西联通、湖南联通、四川联通、江苏联通、内蒙联通、贵州联通、云南联通、海南联通、黑龙江联通、吉林联通 移动电信联通北京公积金、南京公积金、无锡公积金、遵义公积金、益阳公积金、盱眙人防、湖南国土厅、新疆工商、陕西工商、成都工商、南宁房管、哈尔滨房管、石河子房管、临海房管、泰州房管、吉林交通厅、辽宁交通厅、江苏航道局、建邺区政府、盱眙县城管、湖北检疫局、四川就
19、业局、安徽统计局、太仓市民卡、深圳交通委、杭州安全局 浙江社保、广东社保、湖北社保、重庆社保、新疆社保、青海社保、安徽社保、乌鲁木齐社保、哈尔滨社保、东莞社保、南京社保、无锡社保、常州社保、南通社保、镇江社保、泰州社保、盐城社保、烟台社保、日照社保、宜宾社保、阿克苏社保、昌吉社保、哈密社保、攀枝花社保、巴州社保、甘孜州社保、德阳社保、眉山社保、扬中社保、句容社保、江阴社保、溧阳社保、太仓社保、舟山社保、湖州社保、上虞社保、如东社保、北京医保、青海医保、兴化社保、海安社保 广东公安、浙江公安、四川公安、新疆公安、广西公安、福建公安、贵州公安、青海公安、乌鲁木齐公安、东营公安、无锡公安、许昌公安、
20、伊利公安、喀什公安、曲靖公安、南通公安、泉州公安、甘肃森林公安、甘肃交警、宁夏交警、顺德交警、海口交警、东莞交警、舟山交警、云南出入境管理局政府行业新疆国税、陕西国税、重庆国税、广东国税、甘肃国税、北京地税、河北地税、山西地税、福建地税、重庆地税、江西地税、西安地税、兰州地税、江西财政、湖北财政、宁夏财政、云南财政、武汉财政、南宁财政、扬州财政、滨海财政、塔城财政 国家信息产业部、国家知识产权局、中国邮政集团、中国民航空管局、国家海洋局、中国国际电子商务中心、国家博物馆 公安交警社保公积金、工商、房管等国税财政信息文化部门卫生教育湖南卫生厅、长春医保、平湖卫生局、南浔卫生、太仓卫生局、南京财经
21、大学、北方民族大学、北邮大学、深圳图书馆、浙江省标准化研究院、宁夏档案馆 北京中日友好医院、南京军区总院、新疆人民医院、乌鲁木齐友谊医院、中冶集团医院、无锡第四人民医院、常州中医院、南通第一人民医院、句容人民医院、黄山人民医院、重庆儿童医院、石河子大学第一人民医院、西安交大医院、连云港一院、连云港二院、连云港东方医院、南京妇幼医院、杭州中医院、江北人民医院、皖南医院、徐州丰县医院、喀什人民医院、海口人民医院、浙江省荣军医院、弋矶山医院、湖州中医院、黑龙江中医药大学附属第一医院、济宁医学院、南京雨花医院 卫生教育单位医院企业集团中国国航、中国一汽、中石油、中石化东北石油局、中石化易金卡、中钢集团
22、、胜利油田、大港油田、北京公交集团、新疆广电、广西广电、青岛有线、北京铁路局、南昌铁路局、哈尔滨铁路局、兰州铁路局、沈阳铁路局、石家庄铁路局、昆明中铁、北京电力、四川电力、河南电力、江西电力、青海电力、吉林电力、湖南电力、安徽电力、宁夏电力、天富热电、厦门电力、靖远电力、醴陵电力、济南钢铁 国美电器、格力集团、家乐福 、蛇口 码头、天津港、宁波港、阿里巴巴、巨石集团、浙江华数传媒、南方水泥、银泰百货集团、杭州金通、江苏波司登、华润微电子、正葳电子、台达电子、亚旭电子、无锡尚德、江苏农垦、南京国旅、日出东方太阳能、苏果超市集团、广州 BOSS、佛山公共、富港电子、富强电子、唐山百货、廊坊明珠、鲁巷广场、家有购物 Q U E S T I O N SA N S W E R S技术经理：易光华 Tel： 18916808700 Email： 销售经理：颜 宾 Tel： 15618717557 Email：
