1、基于Hadoop 的缴费行为和网点布局优 化数据挖掘应用研究 沈佳 李凯 邹岳琳 郭江涛 刘昆 国网新疆电力有限公司信息通信公司 摘 要： 近年来, 随着电力行业缴费平台的建设, 实现了多种平台的缴费接入, 方便了 广大用户的用电缴费, 为了进一步提高电力优质服务水平, 采用了基于 Hadoop 的大数据分析挖掘技术, 对现有营销类系统的数据做了统一整合分析, 结合用 户分布密集程度、用户缴费行为习惯、周边营业网点分布等关联信息, 为缴费网 点新增及现有布局优化提供有力的数据支撑, 提高了决策水平和优质服务水平。 本文首先介绍了缴费行为和网点布局优化大数据分析应用主要功能及技术路线 选型, 随
2、后就后续使用过程中取得的成效进行了总结, 最后对缴费大数据分析 挖掘的意义和前景做了展望。 关键词： 缴费; 网点布局; 大数据; 作者简介：沈佳, 国网新疆电力有限公司信息通信公司。 作者简介：李凯, 国网新疆电力有限公司信息通信公司。 作者简介：邹岳琳, 国网新疆电力有限公司信息通信公司。 作者简介：郭江涛, 国网新疆电力有限公司信息通信公司。 作者简介：刘昆, 国网新疆电力有限公司信息通信公司。 近年来, 随着电力行业缴费平台的建设, 实现了金融渠道 (各银行) 、 非金融渠 道、电力POS终端、电力自助缴费终端、95598 互动网站、手机等渠道的缴费接 入, 这些缴费渠道的接入运行大大
3、方便了广大用户的用电缴费行为, 也为深化 缴费渠道建设提供了良好的基础和契机。 为了在缴费渠道建设中避免经验主义的主观臆断, 更好的贴合实际情况, 科学 的指导新增和优化缴费网点建设, 在实际操作中充分应用大数据分析技术, 考 虑用户分布密集程度、用户缴费行为习惯、周边营业网点分布情况等因素, 提高 决策水平和优质服务水平。 1 缴费行为和网点布局优化分析主要功能及技术路线 缴费行为和网点布局优化分析主要实现了以下几方面功能: 一是网点展示, 结合收费网点及终端的地理位置信息, 在地图上对网点及终端 的分布情况进行展示。可采用分层、按区域等查看方式, 按照类别、范围对各类 收费网点即终端的分布
4、情况进行筛选、查看。 二是网点 (终端) 分布分析, 依托缴费渠道的基础信息及地理位置信息, 与客 户缴费记录进行关联, 以半径示意的方式进行网点及终端的覆盖能力展示, 覆 盖能力可通过客户缴费密度参数进行控制, 以获得实际有效的覆盖范围。 根据网 点类型及地市、县、乡三类区域进行网点分布分析, 分析结果可为 10分钟缴费 圈建设提供依据。 三是客户缴费渠道偏好分析, 依托缴费渠道的基础信息及地理位置信息, 与客 户缴费记录进行关联, 按照客户类型、 客户缴费频率、 渠道类型、 渠道渗透率等, 进行缴费行为偏好的综合分析, 识别出当前客户最偏好、 实际利用率最高的缴费 渠道, 进而对出渠道建设
5、的投资方向提供依据。 四是缴费渠道成本效益分析, 基于缴费渠道运营投入的成本, 如:场地、设备、 人员工资绩效等信息, 结合电费回收额、 电费回收效率等客户交费信息, 进行缴 费渠道的成本效益综合分析, 从而对缴费渠道的运营成本及效益进行量化展示。 为了更好的为电力用户提供优质服务, 提高决策水平, 在分析应用技术路线选 型上, 确定了以 Hadoop 为基础, 广泛使用开源组件的大数据分析路线。 1) 海量数据采集和清洗。满足缴费网点用户档案、用户坐标、用户缴费等数据 分析, 大数据系统采用Hadoop作为底层架构, 构建Hive数据仓库, 通过Sqoop 实现跨数据的数据传递。 2) 分布
6、式海量数据存储技术。分布式存储 (HDFS) 解决了缴费网点缴费数据 10G/年以上的基础数据存储问题, 容错性较好, 能提供高吞吐量的数据访问, 对部署环境要求较低。以往 10GB、甚至TB以上的历年缴费、缴费数据与网点交 叉连接运算在关系型数据库中无法实现, 在 HDFS支持下海量数据延时数据分析 具备可能性, 可以支持历年数据分析, 汇总, 并从中找到支撑运营管理的分析 结论。 3) 海量数据分析技术。网点规划中, 需要结合可视区域缴费网点、缴费网点历 年缴费数据、缴费网点 GIS数据、缴费网点客户档案数据、GIS距离运算进行即 时数据运算与输出。 技术选型选型采用 Spark, 支持交
7、互式内存运算, 比Hadoop 运算快100倍以上。 4) 高可用集群自动管控技术。缴费网点大数据需要每天自动采集增量数据, 并 提供延时和即时数据统计分析服务, 为确保集群稳定性, 在用Zookeeper 集群管理技术, 监控系统运行, 并提供Master-Slave自动枚举和分配技术, 确保平 台高可用。 2 应用成效分析 缴费行为和网点优化大数据分析场景在实际工作中取得了较好的应用效果。 一是通过对数据的综合利用, 由表及里、 由点及面, 紧密结合实际, 排除了主观 臆断, “人、财、物”兼顾, 为管理者的决策提供可靠有力的根据, 缩短了决策 周期, 节省了投资成本, 提高了决策的科学性
8、和及时性。 二是有效减少了服务盲区, 优化了缴费网点的设置。 结合了渠道信息、 区域信息、 网点建设及服务能力信息、用户信息、用户缴费习惯信息等进行综合分析, 提高 了对未有网点覆盖的盲区的识别效率, 同时可根据数据分析结果, 更加合理的调整人力及自主缴费终端等资源, 从而 提高资源利用率。 三是减少了网点建设的人工工作量。 对于缴费网点的增改, 将原本需要人工进行 现场勘查决策工作任务, 通过线上全方位分析后, 大大缩小了勘查范围, 降低 了人工工作量, 提高了工作效率。 四是提高了优质服务水平, 通过对网点数据、 用户分布数据以及用户缴费行为习 惯的分析, 做出合理的网点布置建议、 资源调
9、配建议, 从而以最快的速度满足用 户需要, 达到提升服务水平的目的。 五是通过使用基于 Hadoop 的大数据分析技术, 提高了海量数据的分析计算水平, 使得各类数据汇集后能快速的得出分析结果, 有力地支撑了业务分析决策。 3 结论 目前, 缴费行为和网点布局优化分析已在实际生产环境中得到了广泛的使用, 并取得了一定的成果, 为业务决策提供了坚实的数据支撑。 后续, 在持续扩大该场景应用范围的基础上, 将进一步发掘和探索如何使用大 数据新技术进一步提高服务水平, 充分挖掘数据价值, 实现用数据管理企业、 用 信息驱动业务的宏伟目标。 参考文献 1卢艳艳.基于Hadoop 的大数据存储关键技术研究D.北京:华北电力大学, 2016. 2单士华, 曹社香.基于 Hadoop 处理大数据分析J.创新科技, 2013 (12) :66-67. 3华隽, 胡宗山, 闫利, 等.基于大数据技术的电力缴费渠道效能分析 J.2016.
