1、腾讯游戏大数据产品体系解密iData腾讯游戏数据服务农益辉腾 讯互动娱乐运营部数据中心总监腾讯游戏大数据产品如何建设数据服务闭环 数据化运营思路01 02 03腾讯游戏大数据产品01游戏运营团队需要更精细化运营游戏2006 2010 2014 2016页游爆发手游爆发游戏数量、品类繁多 用户群大，偏好各异200+款游戏 5亿 +自然用户游戏数据化运营服务 iData1234蛮荒时代通过游戏运维在文本日志中进行数据统计石器时代机械时代提供分析框架降低统计分析成本iData-自动化时代一 站式数据分析服务基于用户生命周期的数据化方案随着精细化的需要团队不断变革由专门的数据开发人员提供统计分析页面2
2、006年 2008年2012年智能化时代2亿人次30亿400+次iData是这样帮助游戏运营的某业务，新版本上线后，新手次日存留只有 20%，严重低于正常值新手存留预警iData是这样帮助游戏运营的新手任务门槛太高导致用户流失大幅增加新手存留预警 新手 存留分析iData是这样帮助游戏运营的通过配置新手任务赠送，调整新手任务，降低任务门槛新手干预措施新手存留预警 新手存留分析iData是这样帮助游戏运营的效果跟踪活动上线后实时跟踪活动效果做调整，新手存留上升新手干预措施新手存留预警 新手存留分析腾讯游戏大数据产品如何建设数据服务闭环01 02秒级数据采集计算帮助游戏及时了解游戏运营状况1 发现
3、问题3 解决问题秒级多维数据分析帮助产品快速定位问题，分析决策低成本运营策略实施帮助游戏快速响应，即时调整策略新进转化活跃及付费转化流失干预2 分析问题覆盖用户生命周期数据化运营闭环通过 iData实现精细化运营的闭环数据接口中心数据分析引擎运营规则引擎用户触达中心报表统计数据分析运营活动游戏功能触达运营平台组件数据接入实时传输离线传输数据处理实时计算引擎离线计算引擎数据存储KV存储DB存储位图索引HDFS游戏内产品渠道平台组件 服务引擎数据源 业务应用数据采集分析系统应用系统用户触达存储计算 应用落地元数据管理 用户自助中心准实时传输外部信息应用模型精准推荐引擎精准推荐用户画像算法库规则库数
4、据服务闭环的基础：多维数据分析游戏产品自助化用户分析平台数据服务闭环的基础：多维数据分析数据一体化 数据分析引擎 多维分析可视化数据服务闭环的基础：多维数据分析数据一体化 数据分析引擎 多维分析可视化原始事实表 清理原子数据 动态宽表 立方体构成标准聚合计算和复杂计算 app可视化TRedis结果 DB可视化分析线上服务事实表 Sql统计计算 可视化报表数据一体化传统方法数据服务闭环的基础：多维数据分析数据一体化 数据分析引擎 多维分析可视化分散的多种来源数据数据血缘管理维度与度量指标管理综合调度与计算统一的二次计算平台多种应用途径数据应用服务难度根源之一实现异常自动恢复的关键将零散的数据有序
5、管理数据统一中间规范形成自助化数据分析与应用工具自动统计自动构建cube自动明细规范中间表热区缓存数据分析数据应用异常监控故障自愈数据服务闭环的基础：多维数据分析Spark计算引擎计算调度ETL多维计算排序过滤算法模型实时计算号码转换位图引擎画像引擎 交叉引擎大盘交叉多包合并多包差集用户画像下钻分析多维交叉用户提取基础跟踪日志计算组合任务调度Spark调度TDW调度ES引擎用户提取特性跟踪位图调度ES调度交叉调度数据一体化 数据分析引擎 多维分析可视化全量数据流水更新全量数据数据服务闭环的基础：多维数据分析 分类型存储 结构化 Bitmap存储和计算 ProtoBuf存储 流水 全账号时间切分
6、和全时间账号切分 大区数据分片，全排序u i n / c o m m i d1 0 . . 0 1 . . 1 1 1 0 . . . . 1 1 0 . . . . 0 11 0 . . 1 01 2 个 月 3 6 6 天 8天最 后 登 录 时 间 l a s t _ l o g i n _ t i m eu i n / c o m m i d 文 件 偏 移 量 o f f f s e t13 6 6 天 以 前 是 否 活 跃位 图 文 件 数 据 结 构索 引 文 件 结 构最 后 消 费 时 间 l a s t _ p a y _ t i m e最 后 充 值 时 间 l a s
7、 t _ d e p o s i t _ t i m e1 0 . . 0 1 . . 0 1 0 0 . . . . 1 1 0 . . . . 0 01 0 . . 0 001 0 . . 0 1 . . 1 1 1 0 . . . . 1 1 0 . . . . 0 11 0 . . 1 01登 录 b i t消 费 b i t充 值 b i t冗 余 位2 4 4 字 节6 4 字 节uin/commid登录时间login_timeuin/commid注册时间register_timeuin/commid消费时间pay_time消费金额pay_accountuin/commid充值时间
8、deposit_time充值金额deposit_account注册文件 登录文件 消费充值文件 充值文件每日流水文件数据结构数据组织与更新策略数据一体化 数据分析引擎 多维分析可视化数据服务闭环的基础：多维数据分析多维分析引擎Block1 Block2 BlockStorage SchedulerData Stats GatherData ExtractSQL ParserQuery OptimizerExecution PlanBitcode EmitterExecute SchedulerCDB SchedulerBlock1 Block2 BlockDataNode-2Block1 Bl
9、ock2 BlockDataNode-3Bitmap Filter BuilderDynamic Bitmap Index CacheBitmap Index GeneratorExecute EngineData MapperCol-1 Col-1 ColAggregate MergerExecutor-1Bitmap Filter BuilderDynamic Bitmap Index CacheBitmap Index GeneratorExecute EngineData MapperCol-1 Col-1 ColAggregate MergerExecutor-2Bitmap Fil
10、ter BuilderDynamic Bitmap Index CacheBitmap Index GeneratorExecute EngineData MapperCol-1 Col-1 ColAggregate MergerExecutor-3HDFSBlock1 Block2 Block3 BlockData RepresentationDataNode-1数据一体化 数据分析引擎 多维分析可视化数据服务闭环的基础：多维数据分析均衡存储并行计算即时编译编译执行最优化机器指令动态位图索引性别男年龄 30成本低命中率高减少 IO可支持大量列数据一体化 数据分析引擎 多维分析可视化分布式列式
11、存储数据服务闭环的基础：多维数据分析主界面状态栏 热点图指标编辑指标菜单 表格控制指标区间指标调整大数据表格X表头 Y表头滑动条指针 标尺X滑动条 Y滑动条 文本修改器控件层业务处理层数据一体化 数据分析引擎 多维分析可视化数据服务闭环的核心：场景化用户精细化干预游戏主体功能与运营旁路的游戏运营引擎场景触发实时反馈关注游戏主体功能与玩法的研发和策划游戏策划与研发关注用户在不同场景的状态和需要，做更精细化的运营游戏运营数据服务闭环的核心：场景化用户精细化干预游戏内 游戏外规则引擎If A ， Than B条件 动作推荐引擎算法 模型用户画像系统用户触达管理实时数据通道用户数据和场景状态实时获取通
12、过内外部数据更新用户画像通过用户对渠道、内容的偏好针对性投放，提高有效性通过低成本人工规则和精准的推荐，做到用户分群运营干预效果评估体系 根据不同目标的运营（拉新、活跃、回流、收入），针对性的评估实验效果数据 +画像规则 +推荐效果评估用户触达管理数据服务闭环的核心：实时规则引擎用户状态和触发条件 规则给予的干预动作If A ， Than B双周活跃用户活跃度下降用户游戏副本 A结束后与好友组团推送一个消息赠送一个道具推荐一个活动推荐一个任务双周活跃用户，且游戏副本 A结束后，推送一个任务 B活跃度下降用户，与好友组队完成后，赠送一个道具数据服务闭环的核心：实时规则引擎案例：刺激新用户存留新
13、用户邀请好友对局结束后给予奖励数据服务闭环的核心：实时规则引擎实时计算消息队列KafkaKafka上海周浦 IDC上海南汇 IDC实时计算平台（ Billow-RT）任务开发调度T-SQL实时计算引擎StormTRedisRocksDBTGlogCheckSvr实时事件消息总线Event Table Bus实时指标一致性存储规则计算RT-Rule数据服务闭环的核心：场景化用户精细化干预单机 8W QPS混合读写能力；存储容量 TB级别，分布式平行扩容 ;单操作一读一写更新在 25MS完成；独立 开发 SQL化的计算任务树，自动解析映射 Storm计算引擎；以前 硬编码开发时长从小时级别降低到配
14、置开发 10分钟级别；采用 异步本地 RocksDB存储 +远程 Tredis对账一致性纠错计算机制；保证实时计算指标的最终一致性。一些优化 基于 SSD+RocksDB+Redis构建分布式大数据缓存 SSDB-TRedis T-SQL的任务配置开发计算模板 实时指标最终一致性保障机制数据服务闭环的核心：场景化用户精细化干预方案好处 游戏服务解耦；不依赖游戏版本开发节奏规则热更新、快速试错、调整运营 节奏 多维度 +多度量 +用户画像标签 规则灵活组合 维度度量指标一次开发，游戏、渠道、营销多方平台多次复用 实时性满足日常营销规则场景（ 200600ms）数据服务闭环的核心 ：需要更全面的用户数据用户在游戏内行为数据用户在公司其他产品行为数据用户在渠道行为数据游戏与产品在外部数据形成 6大类标签， 4.5万维特征财富自然人游戏特性SNS渠道兴趣
