1、金融行业大数据解决方案与案例,银行大数据平台整体架构图,数据源层,数据交换层,总行数据交换平台,数据处理层,数据应用层,结构化数据,非结构化数据,Hadoopcore,统一访问、统一监控、统一调度,统一展示、统一报送、统一元数据管理,分布式文件系统HDFS,并行处理MapReduce,并行调度YARN,数据仓库,BATCH,NoSQL,Index,Stream,Graph,In-memory,Ad-Hoc Query,Security,Governance,外部数据源,人行,工商,公积金,公安,九项资产,黑名单,流程自生产数据,催收系统，全量C卡并行化，审批系统审批流程记录等,行内共享数据,行
2、内数据集市，传统数仓共享数据。,数据装载,数据清洗,数据转换,资金集市,风控集市,信贷集市,内存计算Spark,光大银行案例集,光大银行总行大数据项目,中国光大银行历史数据在线查询系统建设项目（1期、2期、3期）,中国光大银行现钞冠字号码查询信息系统项目（1期、2期）,国内第一个Hadoop技术在银行业务系统的落地实现，国内落地了唯一满足银监会要求双活Hadoop集群容灾系统。系统上线后于2014年获得IDC金融最佳创新奖。,全行3个月45亿现钞清分数据的采集、存储、处理和查询，满足全行1000多网点的毫秒级查询响应级别。,中国光大银行工单文本数据挖掘项目,基于大数据平台，利用Hive、Hba
3、se、Spark等组件，集合自然语言处理引擎，实现对光大信用卡中心工单文本数据的挖掘。,中国光大银行大数据挖掘平台项目,基于大数据平台和模型算法训练平台MaximAI，联合建设了适用于光大银行数据分析挖掘的综合算法研究开发平台。,光大银行总行规划推进的项目,中国光大银行数据产品应用系统项目,中国光大银行大屏实时展示系统项目,基于大数据平台，开发实现机器学习、复杂网络等模型算法产品在生产环境上落地使用的服务系统，为全行各个业务部门营销和风控等业务活动提供有力的数据支撑。,基于大数据平台，利用Hadoop流式处理技术，建设全行业务数据动态实时播报系统，并通过数据可视化的服务表达方式在行内大屏实时展
4、示。,中国光大银行风险一体化大数据平台,基于大数据平台，融合信用卡全流程数据，做到贷前，贷中，贷后的客户全流程化管理，同时构建客户统一的风险视图,兴业银行,客户标签化,背景,在大数据时代，以互联网为代表的现代信息科技将从根本上改变金融运营模式。数据在呈现出海量化、多样化、传输快速化和价值化的变化趋势的同时，也改变了传统金融行业的市场竞争环境、营销策略和服务模式对商业银行而言，基于客户特征集合形成的客户标签有成百上千、甚至成千上万个，这些标签在构建时的业务目的和适用场景各有不同。随着应用标签的场景越来越丰富，商业银行也会逐渐形成一套完整的客户标签体系。,备注,标签逻辑架构,用户画像生产和应用：逻
5、辑架构,处理流程,备注,业务系统,数据探查,标签宽表,标签模型,计算标签模型,交易示例数据,交易日期,客户卡号,交易金额,商户类型,交易描述：爱车一族,交易描述：家有熊孩,交易描述：精致奢华,交易描述：纸醉金迷,交易描述：小资派,示例手机银行日志,业务类型,用户标识,手机品牌,二期实时营销架构图,备注,系统截图,人民银行征信中心,企业关联关系，担保闭环,大数据技术如何应用到关联关系查询中（最佳方案）,企业主体标识数据,投资关系数据,担保关系数据,信贷信息数据,原始信息,Hadoop的分布式存储技术有效支撑大数据量存储,数据处理,主体信息数据,关系信息数据,原始信息,信贷信息数据,转换、归整,H
6、adoop的并行计算技术有效支撑大规模的数据处理任务,数据建模,数据模型,Hadoop的并行计算技术有效实现数据模型创建并存于图数据库中,图数据库,图形数据库,数据计算,数据模型,迭代计算,图形数据库,图计算引擎,通过图计算引擎对图数据库的数据进行关系计算,结果查询,结果数据,通过大数据的数据库技术提供计算结果的快速查询,场景分析数据特点,企业,企业,担保关系,企业,企业,投资关系,企业,企业,实际控制,企业,个人,高管关系,个人,个人,家族关系,逻辑视图,关系对儿,复杂网络,某金融机构企业关联关系查询,文本数据,担保关系对家族关系对投资关系对集团关系对,0 1 0 1 0 1 01 1 0
7、1 0 1 10 1 0 1 1 1 01 1 0 1 0 1 11 1 0 1 1 1 11 1 0 1 1 1 11 1 0 1 1 1 1,邻接矩阵,复杂网络平台,数据汇总构建模型,企业关系网络,某金融机构企业关联关系查询,BDCN计算引擎,BDCN复杂网络,Warshall算法,Breath-First Search，BFS算法,Deep-First Search，DFS算法,担保圈发现,企业关联关系查找,技术与算法支撑,担保圈应用-场景,商业银行A,企业1,放贷,担保,企业1,企业2,担保,商业银行B,放贷,企业1,担保,担保,商业银行C,放贷,商业银行D,放贷,担保圈形成,商业银行
8、不能看到担保链条全部。,未知的信息带来巨大的金融风险。,泰康人寿,精准营销,基于无监督机器学习技术的客户流失分析,年收入2.9万，总标保1.5万以上，高达9万的两全产品，产品覆盖面齐全,年收入高达18万，总标保只有1万，寿险和年金金额较高，无投连产品,年收入2.9万，高达6.3万的万能产品，产品覆盖面齐全,年收入只有0.3万，高达7.7万的投连产品,年收入9.7万，标保只有0.5万,年收入只有0.8万，高达2.9万的年金产品,年收入4.8万，总标保2.6万以上，高达7.6万的年金产品，产品覆盖面齐全,泰康人寿精准推荐产品和服务,对公司全部投保人客户进行全量数据分析,基于有监督机器学习技术的客户
9、流失分析,客户1,客户2,客户3,客户4,基本信息,购买数据,理赔数据,健康数据,缴费数据,呼叫数据,HDFS,已流失客户,清洗、转换规整、建模,有监督学习算法模型训练,成熟的算法模型,基于有监督机器学习技术的客户流失分析,成熟的算法模型,客户1,客户2,客户3,客户4,基本信息,购买数据,理赔数据,健康数据,缴费数据,呼叫数据,现有客户,客户1,客户2,客户3,客户4,流失预警,稳定客户,客户经理,用户界面,借贷宝,熟人借贷,借贷宝复杂网络应用,借贷宝首创熟人间单向匿名借贷模式（即借款人实名、出借人匿名），通过互联网人与人之间的连接机制，实现直接金融交易；利用熟人之间的天然关系，极大程度的减
10、少甚至消除信息不对称；还利用熟人圈的声誉机制和信息收集便利，实现对恶意欠债者的天然约束与高效催收。,已完成二轮25亿融资，总估值超500亿。,国内顶级私募机构九鼎控股倾力打造的熟人间借贷平台。,熟人借贷风险定价分析,利用复杂网络技术的社交关系网进行分析，评估个人信用风险，量化借贷利率。,基于复杂网络技术的风险识别,掮客长链条,从复杂的借贷关系网络中发现掮客长链条，预测风险深度。,出借人,掮客,掮客,掮客,掮客,掮客,掮客,基于复杂网络技术的风险识别,风险群体识别,物以类聚，人以群分，众多节点关系稠密，编织在一起，会形成一社群，社群中的节点的相似性极高，当社群中的一些节点出现问题时，与其相似的节点的潜在风险性也会越高。,欺诈群体,基于复杂网络技术的风险识别,旁氏骗局识别,有大量的资金从多个借贷路径流入到某一个中心点，又有大量的资金从多个借贷路径流出，通过节点中心性计算，可评估出旁氏骗局的发起节点。,朋友圈催收,发生借贷逾期，通过朋友圈公告，促成催收。,逾期公告,朋友圈的道德评价对个人的行为影响力较大，若发生逾期不还，可通过其朋友圈信息公告的方式，施加道德压力，促成平台完成催收。,
