1、基于大数据分析的 4G 电信运营商业务精准运营平台的研究 孟昉 郑雅婷 广州城市职业学院 广州华南商贸职业学院 摘 要： 移动互联网发展呈现明显的去电信化趋势, 如 OTT、电子商务和社交应用。更多用户群体倾向微信、QQ 等社交应用软件以满足沟通和信息传送需求, 这使电信运营商传统业务越来越受到威胁。电信运营商只有围绕自身资源优势, 构建用户/业务可识别、管理和控制的综合平台, 实现通信管道智能化, 才能提升资源价值, 更好地适应移动互联网发展。本文采用通信行业大数据来搭建一套高适应型大数据平台, 力图探索研究方法和解决领域融合问题。关键词： 大数据; 电信运营商; 精准运营管理; 多种数据共
2、享; 作者简介：孟昉 (1983) , 男, 汉族, 黑龙江佳木斯人, 硕士, 高级工程师, 研究方向:机器学习、大数据分析、软件测试。作者简介：郑雅婷 (1983) , 女, 汉族, 山西大同人, 硕士, 高级工程师, 研究方向:移动网络应用、软件开发。1 引言移动互联网发展呈现明显去电信化趋势, 如 OTT、电子商务和社交应用。更多用户群体倾向微信、QQ 等社交应用软件以满足沟通和信息传送需求, 这使电信运营商传统业务越来越受到威胁。电信运营商只有围绕自身资源优势, 构建用户/业务可识别、管理和控制的综合平台, 实现通信管道智能化, 才能提升资源价值, 更好地适应移动互联网发展。本文采用通
3、信行业大数据来搭建一套高适应型大数据平台, 力图探索研究方法和解决领域融合问题。1.1 国内发展状况在大数据风靡全球同时, 我国也加快了对大数据相关技术攻关进程, 信息处理技术作为关键技术创新工程之一提出来, 其中包括海量数据存储、数据挖掘、图像视频智能分析等大数据技术重要组成部分。大数据技术成熟发展, 使我国大数据产业链雏形呈现, 给企业带来商机。1.2 国外发展状况国外在研究大数据方面不仅是研究相关概念还研究了大数据技术, 并且把技术研究作为了重点。基于本课题的研究, 将实现以下成果:(1) 搭建混合式大数据平台架构:以 Hadoop 和 Mysql 为基础, 采用 X86 PC 服务器打
4、架分布式混合大数据处理平台。(2) 大数据行业打包应用分析:采用预打包形式对特定行业和业务流程应用进行专业分析。(3) 降低大数据复杂度:逐步减少对 Map Reduce 的依赖和在企业架构中置入Hadoop 技术应用这两个特点。(4) 大数据与云计算融合:云计算为大数据服务提供了支撑环境以及高效模式, 而大数据也为云计算带来了新的商业价值。2 研究内容精准运营管理平台在对现有分散业务平台数据进行整合基础上, 形成全企业层面客户统一视图, 支撑数据管理课题高效实施, 同时促进数据管理对各业务营销/销售活动提供精准目标客户定位支撑, 最终提升全企业营销/销售运营管理水平。同时也需要满足能够智能化
5、地为用户进行推荐服务, 提升用户体验, 在运营过程中提高用户交叉销售能力。目前要实现营销/销售从产品导向向客户导向真正转型关键就在于, 在对现有分散业务平台数据进行整合基础上, 形成全企业层面客户统一视图, 支撑数据管理课题高效实施, 同时促进数据管理对各业务营销/销售活动提供精准目标客户定位支撑, 最终提升全企业营销/销售运营管理水平。因此, 精准运营管理平台应包括以下内容。2.1 整体规划(1) 数据管理平台总体架构及用户定位; (2) 第一层数据层:数据仓库; (3) 第二层数据层:客户统一视图; (4) 第三层数据层:数据管理通用宽表; (5) 数据管理建模和部署、应用支撑; (6)
6、数据管理结果发布。2.2 数据处理架构充分考虑网络运营系统现状与数据特点, 采用分布式计算结合 No SQL+SQL 混合存储技术架构, 具体体现在:(1) 分布式计算架构:融合软硬件资源虚拟化分布式并发计算框架, 具有高性能、高吞吐量、易扩展、高可靠性等特点, 满足大数据处理需求。(2) 混合式数据架构:采用业界前沿的 No SQL+SQL 混合数据存储策略, 建立大数据分层分策略处理机制。(3) 可向云平台无缝迁移:分布式计算机制为技术架构向云平台迁移提供了技术基础。2.3 底层数据模型通过全业务视角将电信业务前后端数据融合, 运用全向思维建立高效的“用户、网络、产品/业务、终端、时间”五
7、维基于粒度分层数据立方体模型, 具体体现在:(1) 便利性:直接从立方体数据模型中提取已预处理的汇总数据生产运营分析结果, 减免了 ETL、关联聚合处理过程。(2) 可扩展性:随着业务发展, 可以灵活扩充新维度, 并且新维度与数据立方体其他维度能够形成自动关联机制。(3) 可维护性:数据立方体模型是业务高度抽象, 只需要维护少量核心数据结构即可对整个业务数据进行统一管控。3 项目设计3.1 项目体系架构的设计数据管理平台在对现有分散业务平台数据进行整合基础上, 形成全企业层面的客户统一视图, 支撑数据管理课题的高效实施, 同时促进数据管理对各业务营销/销售活动提供精准目标客户定位支撑, 最终在
8、支撑实现号百精确营销/销售全流程各环节运营管理的基础上, 提升全企业的营销/销售运营管理水平。图 1 项目体系架构 下载原图(1) 挖掘平台以客户统一视图为主要数据源, 在此基础上建立客户生命周期价值、客户细分及客户潜在需求分析等数据管理模型。(2) 将以上挖掘模型依据客户生命周期不同阶段管理及营销策略需求, 对不同阶段客户进行新客户获取、交叉销售产品推荐、向上销售产品推荐以及潜在流失客户营销挽留等客户关系管理策略及活动策划。(3) 数据管理平台需要满足用户标签体系所需要的模型计算、数据服务需求, 为用户标签提供全方面的用户特征、行为、偏好、交易数据, 同时要能及时进行各种数据的挖掘分析计算。
9、在精准营销方面, 可提供以后基于用户的个性化推荐服务, 同时在商机分析、营销策划、营销执行、营销评估方面能为个性化的推荐服务提供更加丰富的用户推荐商业规则, 使推荐服务更加精准、提升用户体验 (见图 1) 。3.2 数据整合平台数据整合平台包含清单数据采集适配 (入库) 和数据统计及入库两个模块, 具有以下特点: (1) 将数据按照业务规则打散后进行分布式加载; (2) 多数据源智能发现, 分发逻辑可插拔、适配逻辑可插拔; (3) 全自动数据加载平台; (4) 统计任务灵活调度、高效执行; (5) 全平台可管、可控; (6) 各功能组件可按需扩展部署。应用场景: (1) 大数据的加载; (2)
10、 高密度数据加载。应用效果: (1) 4 台机器 (4 物理 cpu (6 核) 、128G 内存、6 块硬盘组 raid5) 、千兆网络; (2) 两个月 AAA 话单数据 120 亿条, 3.2T; (3) 耗时 5 小时 46 分钟, 平均每分钟加载 5300 万条数据 (大小 7G) 。3.3 数据处理平台数据处理平台包含日志收集工具层和关系数据 ETL 工具两层, 支持安装、部署、配置、监控、告警和访问控制等功能。具有以下特点: (1) 高计算性能; (2) 压缩率很低, 且响应时间慢, 几近不可能在交互式应用中使用。应用场景: (1) 大规模海量数据存储, 分块存储数据; (2)
11、大规模数据集 (大于 1TB) 的并行运算。应用效果: (1) AAA 话单每天约 1.5 亿条; (2) 按小区查询统计 AAA 活跃用户数 (一天) 耗时 93 秒; (3) 按用户查询统计上网时长 (一天) , 耗时 95 秒; (4) 按小区查询统计上网次数 (一天) , 耗时 70 秒; (5) 按用户查询统计上网次数 (一天) , 耗时 92 秒。3.4 数据存储和检索平台数据存储和检索平台包含平台监控应用服务层, 平台管理节点层, 清单数据存储与节点层。具有以下特点: (1) 文件和数据库混合存储; (2) 高压缩; (3) 采用文件指针快速定位法实现高检索性能。应用场景: (1
12、) 大数据的存储; (2) 大数据的检索。应用效果: (1) 四台机器 (2 物理 cpu (6 核) 、64G 内存、6 块硬盘组 raid5) 、千兆网络; (2) 3 个月 AAA 话单数据, 3.2T 数据, 共 120 亿条; (3) 十 s 亿数据, 简单查询 5 秒响应, 统计 100 秒左右响应; (4) 1 亿数据, 简单查询 3秒响应, 统计 20 秒左右响应; (5) 行存储压缩率 3 倍; (6) 列存储压缩率 7 倍。3.5 数据挖掘平台数据挖掘平台通过决策树模型、决策树学习器、预测数据生成、预测数据导出实现对于营销数据的挖掘。具有以下特点: (1) 能够允许用户使用
13、标准化的构建模块来可视化地构建、调整分析流程, 通过管线将模块连接起来, 以使得数据或模型在模块间流动; (2) 可视化, 交互式软件框架; (3) 易扩展性。应用场景: (1) 用户细分与识别; (2) 目标客户定位; (3) 产品关联分析, 交叉销售; (4) 业务特征分析。3.6 可视化报表组件可视化报表组件包含业务数据处理模块以及数据可视化展示模块。具有以下特点: (1) 易用性:向导式配置;多维分析设计器;外置插拔式 pluging; (2) 可用性:能适用于上万条记录的报表数据量;适用于 Web 页面报表展示, 并可交互; (3) 可维护性和可扩展性:扩展运算与分页独立实现, 代码
14、更易于维护。扩充表达式可以提高报表的运算能力, 在此报表引擎上可以构建多维分析应用。应用场景: (1) 多维分析; (2) 即席查询; (3) 自定义报表。3.7 数据共享平台数据共享平台包含服务源提供层、共享平台服务组件、共享平台应用功能。具有以下特点: (1) 多种数据共享方式:包括 TCP 共享、FTP 共享、DB 共享; (2) 完善的系统管理:包括权限控制、系统鉴权、消息平台、报表统计、共享服务管理、日志系统。应用场景: (1) 业务数据共享; (2) 营销数据共享; (3) 用户特征数据共享。4 结语精准运营管理平台通过数据整合平台、数据处理平台、数据存储和检索平台、数据挖掘平台、
15、可视化报表组件和数据共享平台在对现有分散业务平台数据进行整合基础上, 形成全企业层面的客户统一视图, 支撑数据管理课题的高效实施, 同时促进数据管理对各业务营销/销售活动提供精准目标客户定位支撑, 最终在支撑实现号百精确营销/销售全流程各环节运营管理的基础上, 提升全企业的营销/销售运营管理水平。参考文献1张纪元.基于大数据挖掘的精细化流量经营运营平台建设探索J.互联网天地, 2013 (7) . 2张敏, 陈云海, 林立宇.电信运营商云计算数据中心的构建分析J.电信技术, 2009 (6) . 3童晓渝, 张云勇, 房秉毅等.大数据时代电信运营商的机遇J.信息通信技术, 2013 (1) .
16、 4成静静, 喻朝新.基于云计算的大数据统一分析平台研究与设计J.广东通信技术, 2013 (1) . 5左超, 耿庆鹏, 刘旭峰.基于大数据的电信业务发展策略研究J.邮电设计技术, 2013 (10) . 6李政, 李继兵, 丁伟.基于大数据的电信运营商业务模式研究J.移动通信, 2013 (5) . 7李研, 高书波, 冯忠伟.基于运营商大数据技术的精准营销应用研究J.信息技术, 2017 (5) . 8姚娟, 闻琛阳.基于信息价值链的电信运营商大数据策略研究J.通讯世界, 2017 (2) . 9樊耀东, 张海彤.电信运营商大数据业务运营流程深度剖析J.移动通信, 2017 (9) . 10李冰, 孙鹏.电信行业大数据应用分析及实例展示J.山东通信技术, 2017 (2) .
