1、移动运营商大数据平台应用实践,某移动项目情况简介某移动发展阶段及策略Aster引入经验分享,Agenda,2,某移动整体情况简介,收入情况,市场情况,某移动属移动集团C类省，移动客户规模2477万，其中集团成员1245万，2013年收入约140亿元，基站数量约为6.5万个，覆盖了100%的乡镇，99%以上的农村及人口。,某移动组织架构与Teradata服务部门,目前，某移动共设有21个独立部门（中心），下辖11个市分公司。Teradata在2002年首度与某移动合作，迄今已有12个年头，为其中的10个部门提供服务，更有5个部门深度合作。,中国移动通信集团山西有限公司,综合部,发展战略部,计划部
2、,工程建设部,财务部,人力资源部,市场部,数据产品部,集团客户部,客户服务部,呼叫中心,网络部,网络运维管理中心,业务支撑系统部,管理信息系统部,物资管理部,内审部,党群工作部,纪检组监察室,省工会,应急通信局,市分公司,山西中移通信技术工程有限公司,后勤服务中心,安全保卫中心,法律事务中心,基建办公室,会计核算中心,员工发展中心,统筹管理中心,移动互联网中心,集团客户第一中心,集团客户第二中心,支撑服务中心,侯马中心,网络优化中心,信息安全中心,工会办公室,权益保障部,经济工作部,数据分析中心,某移动项目建设历程,0209,2010,服务客户：业支、IT服务内容：以经分规范为主，辅以挖掘模型
3、、系统优化,2011,2012,2013,2014,服务客户：业支、IT服务内容：除传统服务服务外，扩展了前端应用类服务内容。,服务客户：新增财务部项目类型：新增运维管理类服务、财务分析类服务,12年间，Teradata服务的部门从1个，增加至10个，且服务对象上升至总经理，PS服务收入稳定在约为3M/年。,服务客户：新增市场部、客服部项目类型：新增分析支撑类、客户服务分析类服务,服务客户：增加公司决策层服务对象项目类型：新增Aster类、市场运营支撑类服务,服务客户：增加数据分析中心项目类型：新增决策支撑类、营销管理类服务,主仓库、地市集市、部门集市采用Teradata 数据仓库一体机；大数
4、据平台采用Teradata Aster,历年项目回顾,20022008,BASS 1.0,业务支撑,2009,2010,2011,2012,2014,BASS 1.5,BASS 2.0,企业数据资源管理,NG BASS 1.0,NG BASS 2.0,NG BASS 3.0,NG BASS 3.5,NG BASS 4.0,经营指标分析,TD-SCDMA经分,性能优化,家庭市场分析,新增来源离网去向分析,营销闭环咨询,成本标杆分析二期,成本标杆分析二期,经分应用能力提升,经分生命周期管理,深度运营支撑平台,渠道管理平台一期,日常运维支撑维护,实时经分,IMEI终端分析,BOSS接口改造,性能优化
5、,运营分析支撑,渠道管理平台二期,产品质量管理平台,客服统一视图,Portal 优化,量化薪酬管理,财务经分,客服需求闭环管理,NG BASS 4.5,流量高价值预警,智能运维管理平台,高价值客户保有,经分Portal优化,财务（数据分析中心）,市场,客服,家庭市场分析,ODS,通用价值,经营指标分析优化,经营指标分析二期,通用价值二期,市场分析挖掘模型,片区运营支撑,百宝箱,渠道视窗,经营指标分析三期,呼叫运营支撑,2013,日常运维支撑维护,量化薪酬二期,触点营销平台,垃圾短信识别,Aster数据迁移,多维成本,数据标准,服务质量监测管理,运营分析支撑,策划室支撑,财务分析,历年项目回顾,
6、20022008,BASS 1.0,业务支撑,分析模型,2009,2010,2011,2012,2014,BASS 1.5,BASS 2.0,企业数据资源管理,NG BASS 1.0,NG BASS 2.0,NG BASS 3.0,NG BASS 3.5,NG BASS 4.0,经营指标分析,TD-SCDMA经分,性能优化,家庭市场分析,新增来源离网去向分析,营销闭环咨询,成本标杆分析二期,成本标杆分析二期,经分生命周期管理,深度运营支撑平台,渠道管理平台一期,日常运维支撑维护,实时经分,IMEI终端分析,BOSS接口改造,性能优化,运营分析支撑,渠道管理平台二期,产品质量管理平台,客服统一视
7、图,Portal 优化,量化薪酬管理,财务经分,客服需求闭环管理,NG BASS 4.5,流量高价值预警,智能运维管理平台,高价值客户保有,经分Portal优化,财务（数据分析中心）,市场,客服,经分性能监控平台,ODS,通用价值,经营指标分析优化,经营指标分析二期,通用价值二期,市场分析挖掘模型,片区运营支撑,百宝箱,渠道视窗,经营指标分析三期,呼叫运营支撑,2013,日常运维支撑维护,量化薪酬二期,触点营销平台,垃圾短信识别,Aster数据迁移,服务质量监测管理,运营分析支撑,策划室支撑,Teradata基础服务,运营支撑,Aster基础服务,APMA,前端应用,多维成本,数据标准,财务分
8、析,数据管控,某移动的UDA架构,公司领导/部门管理人员,客户 / 合作伙伴,业务分析师,一线运营人员,数据科学家,市场分析师,运营系统,工程师,企业战略决策支持,企业管理分析,企业经营分析,企业运营分析,运营业务监控与计算,Java, C/C+, Python, R, SAS, SQL, Excel, BI, Visualization,获取 | 存储 | 转换,数据处理中心,数据计算中心,数据运营中心,高速交互引擎Aster Adapter,某移动是深度与Teradata合作的客户，拥有Teradata 高性能数据仓库，并于2012年分别引入Aster MPP数据库与通用Hadoop云平台
9、，已达成符合Teradata UDA的大数据平台架构。,We will replace the existing Hadoop in 2015,某移动大数据平台逻辑架构,第 9 页,BOSS,CRM,大客户,呼叫,网管,集客,MIS,Aster数据深度处理平台,深度数据探索平台，实现计算量大、规则比较简单的业务应用处理数据加载、数据清洗、数据转换,PTEMP,PDATA,PMID,信令等非结构化数据获取、存储、转换非结构化数据预处理,实时数据,流数据处理实时数据加载,非结构化数据,Teradata，高性能数据整合、处理中心,数据挖掘及数据分析能力提供复杂的业务应用处理,逻辑集市,地市集市,前端
10、集市,PMID,数据封装,打包应用,对外服务,上网日志、信令等,强健的团队协作，是保障成功的关键,Sales团队Wang WayneYi Ning,PS管理团队Cui DaqiangZhang Steven,售前团队Jiang Geoffrey,Aster团队Kong George,Sales团队、PS团队、售前团队、Aster团队协作，保障了客户的信心，提升了客户的满意度,某移动项目情况简介某移动发展阶段及策略Aster引入经验分享,Agenda,11,Teradata在某移动发展历程,20132014年，与某移动的合作进入稳定期，建设内容更为实用，各部门对PS服务能力更为认可。,当前情况,
11、项目主体转向以业务运营支撑为主，面向业务领域更多，项目类型更为丰富。,项目形态,1. Hadoop；2.云平台；3.可视化技术;4. APPs; 5. 流处理。,挑战,1. 可视化技术研究与实施。2. APPs技术储备。3. 三域融合应用研究。,应对策略,对移动业务与经分数据的掌握与理解。业务咨询能力。3. Aster实施能力。4. 大数据平台架构规划能力。,优势,Hadoop,APPs,流处理,冷思考：明天的明天,三域融合应用,Hadoop,流处理,APPs,某移动项目情况简介某移动发展阶段及策略Aster引入经验分享,Agenda,15,Aster导入历程,2012年5月启动大数据架构规划
12、,2013年10月Aster、 OceanInsight、GP、GBASE进行POC测试。2013年12月，POC结果公布，Aster战胜GP、GBASE，成为某移动MPP数据库选型。,2014年3月Aster生产环境搭建完成，初期17台刀片机，其中14个Worker节点,2014年5月完成冷数据备份及话单迁移，释放主仓库存储30TB,2014年5月Aster节点扩容到45台刀片，其中有37个Worker节点，2个Loader节点,10月底，完成PDATA层数据迁移，预计迁移数据42TB；完成网厅日志大数据在Aster探索工作11月底，PMID层465个左右作业迁移11月底，云ETL统一调度平
13、台迁移,积极参与，用心研判,策略清晰，有备而来,闪电突击，开疆破土,抓住机遇，扩张版图,创新MyETL（YunETL），实现跨平台云调度,作业配置：客户依据具体需求，配置数据加载、清洗、计算等实时数据导入作业,参数化开发：模版化，设置每个作业步骤的具体参数，减少代码开发步骤,任务监控：上线作业清单，用户可以随时监控维护作业运作情况,实时监控：实时监控告警，实时掌握后台数据仓库负载情况,MyETL全图形化操作界面示例：作业配置、作业参数化开发、任务监控、后台监控。,提升复杂数据分析能力,第 18 页,目前Aster数据库除了承担部分数据仓库的数据处理和模型生成以外，还承担了部分应用的承载，主要包
14、括日志分析、垃圾短信号码识别、流量服务质量检测等相关应用。,非结构化数据源,页面访问回路,去机器人记录,时间序列,网厅日志、商城日志、经分日志分析,图论分析识别垃圾短信号码,客服部,分词识别,网络部,客户投诉与终端机型、活动小区分析,基于非结构化日志分析用户行为，优化接触面。电商渠道和业支部主要使用,利用Aster函数开发交往圈，在垃圾短信识别方面的应用，数据提供给了信息安全部。,检测用户在发生信号、终端投诉时，识别问题点的概率，是终端还是活动区域信号问题。,www.log,终端购买路径分析,业务办理路径分析,应用偏好路径分析,通过SQLGR引擎提供的图论算法，将局部范围内出度相对较大，入度相对较小，且群居系数特别小的用户进行提取。,市场部,Aster与其它MPP平台POC结果,
