1、Adfaith Management Consulting Beijing 数据挖掘在用户行为分析中的应用 培训师：赵颖 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 1页 提纲 1. 市场营销中的 数据挖掘 a) 用户的生存周期 b) 用户获取与关系管理 c) 数据 挖 掘任务 d) 如何将市场用户的问题转化为数据挖掘任务？ 2. 产品推荐以及精准营销 a) 产品推荐 b) 精准营销 3. 各类数据挖掘算法以及数据挖掘环境 a) 数据挖掘算法 b) 数据挖掘环境 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 2页 市场营
2、销中的数据挖掘 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 3页 是一个循环的过程 转换数据：使用数据挖掘技术将数据转换成可行动的信息 采取行动：基于得到的信息 衡量结果：是否有所获利 发现商机：从分析数据可得 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 4页 市场营销中的数据挖掘 市场营销中的数据挖掘 a) 用户的生存周期 b) 用户获得与关系管理 c) 数据挖掘任务 d) 如何将市场用户的问题转化为数据挖掘任务？ 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 5页 用户的生存周期
3、 潜在客户 新客户 固定客户 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 6页 用户获得与关系管理 潜在客户 新客户 固定客户 客户的获得：吸引潜在客户使其成为正式客户。 1. 谁是潜在客户？ 2. 什么时机使其成为正式客户？ 3. 数据挖掘可以发挥什么作用？ 用户关系管理：目标就是增加客户价值。 1. 都有哪些种类？ 2. 数据挖掘可以发挥什么作用？ 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 7页 用户获得与关系管理 客户的获得：吸引潜在客户使其成为正式客户 1. 谁是潜在客户？ 根据已有客户的历史数据来判断 发展
4、新型的客户群体 2. 什么时机使其成为正式客户？ 对推出新产品是否有反应？ 对广告促销是否有反应？ 3. 数据挖掘可以发挥什么作用？ 精准营销（直接广告投放） 1.什么是 response model?：给出每个潜在用户回应的概率 2.投放模型？：试图找到投放的人群，每个潜在用户通过模型得到一个值，希望这个值与回应率很好地对应 3.收集用户信息：希望模型更精准，信息量过大 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 8页 用户获得与关系管理 用户关系管理：目标就是增加客户价值。 1. 都有哪些种类？ 让客户购买更高端的产品： 98套餐升级到 198套餐 让
5、客户购买更多种类的产品：从书扩展到其他 让客户购买得更频繁： 确定客户终身价值 2. 数据挖掘可以发挥什么作用？ 产品推荐 降低信用风险 确定客户价值 客户流失分析 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 9页 数据挖掘任务 数据挖掘的类型： 假设检验： 通过统计的方法对假设进行检验：例如某营销模型的确立基于一些假设的，那么验证这些假设是否成立是非常必要的 直接数据挖掘： 目标是很具体的一个或多个变量，并且已经针对这些变量进行了历史数据收集，目标也是为了解释这些变量。在统计学上，也称为“ predictive modeling”，例如回归分析等 间接数
6、据挖掘： 没有目标变量，目标是找出所有可能的模式，例如聚类、模式发现等。虽然没有目标变量，但商业目标还是存在的。 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 10页 数据挖掘任务 假设检验： 得到假设：要可检验的和容易行动的 “家里有高中生的家庭更容易接受家用电气的营销” “买不同种类商品的客户总的花销也高” 用已有数据进行检验： 需要科学的方法来进行这样的检验： Test/Control分组 A/B检验 选择统计模型 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 11页 数据挖掘任务 数据挖掘任务是那些用来实现某些具体
7、商业目的的技术行为。 一个商业目标如果合适用数据挖掘来解决，那么它往往可以表达成下面的任务： 对数据进行准备 探索性的数据分析 0/1回应模型（也称为 0/1分类） 对离散值进行分类 对数值进行估计 寻找聚簇和关联规则 在新数据上使用模型 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 12页 数据挖掘任务 对数据进行准备 得到客户信息：有非常多需要考虑的因素 从已有信息推导得出一些信息： 单变量的变换： Scaling, 离散化，数值化 联合多个变量：比如计算 BMI 变量中关联性： 如何从地理信息中获取特征 如何消减信息的维度： 特征太多 数据太稀疏 特征
8、选择 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 13页 数据挖掘任务 0/1分类： 有些商业目标就是分清楚两类事物 例如，精准营销中就是要分清楚会回应的和不会回应的 分类： 将新的事物分到已有的类别中去，目标是对已有类别建好模型，并且能够对新来的事物进行分类 例子： 将用户的风险评级为：低、中、高 选择在一个网页上面展示什么内容 依据一个工作的描述将其归入工作类型 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 14页 数据挖掘任务 估计： 当输出是连续的数字时，需要估计而不是分类 例如： 估计一个家庭的年收入 估计一个
9、客户的生命时长 寻找簇、关联规则： 购买行为相似的客户被称为是细分市场（ market segment），销售情况相似的产品被称为是亲缘组（ affinity groups） 聚类：将异构的数据分成更加同构的组。可以是建立细分市场的第一步 关联规则：啤酒和尿布 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 15页 如何将市场用户的问题转化为数据挖掘任务？ 商业目标 数据挖掘 任务 数据挖掘 技术 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 16页 从商业目标到数据挖掘任务 举例：一个公司想要开拓新客户。它应该去 Goog
10、le上做广告？还是打电视广告？还是去杂志？去哪家杂志？ 相关的因素：总的成本、 per impression的成本， per conversion的成本 数据挖掘任务可以辅助，但是不能完成整个目标 可能的任务： 构建客户概况（ customer profile） 考虑同样的因素定义广告途径的受众 计算广告途径与目标客户之间的距离 选择距离最小的那种途径 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 17页 数据挖掘任务到数据挖掘技术 有目标还是一些目标？ 目标数据应该是什么样的？ 输入数据是什么样的？ 好用性是否是因素？ 模型的效率是否是因素？ 数据挖掘在用
11、户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 18页 常见的解决方案 任务 最佳模型 也可以考虑的 分类与预测 决策树；逻辑回归； SVM 相似性模型、最近邻 模型、贝叶斯模型 估计 线性回归；神经网络 回归树、最近邻 0/1分类 逻辑回归；决策树 相似性模型、最近邻 模型、贝叶斯模型 寻找簇以及模式 任意聚类算法 关联规则 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 19页 产品推荐以及精准营销 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 20页 产品推荐以及精准营销 产品推荐以及精准营销 a
12、) 产品推荐： I. 基于内容的 II. 基于用户的 III. 基于产品的 IV. 基于潜在因素分解的 b) 精准营销： I. 如何表示用户： II. 如何对用户进行分组： III. 如果将用户与广告进行匹配： 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 21页 P 21 推荐系统 推荐系统： 个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。 研究价值： 信息过载。推荐系统就是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢。 输入数据： 什
13、么会影响用户的购买需求？ 输出数据： 向用户推荐商品 评价标准 ： top5P， RMSE等 用户行为 数据量大小 点击 Very large 下载 large 评分 middle 好友圈（可由系统自动支持） Large to middle 推荐给好友 small 评论 small 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 22页 P 22 推荐系统 User-based： GroupLens发表在 Comm. Of ACM Item-based： A发表在INTERNET COMPUTING LFM： Koren赢得 Netflix大奖，发表在 Com
14、puter 19941997 20012003 20072009 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 23页 P 23 推荐系统 User-based ： GroupLens John Riedl University of Minnesota 推荐思想： 基于用户的 对用户进行聚类以降低评分数据的稀疏性 实证： 在 4个 news groups 7周 250个用户使用该推荐系统阅读news groups中推送的新闻 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 24页 P 24 推荐系统 Item-based
15、： A 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 25页 P 25 推荐系统 Latent Factor Model: Wining Netflix Yehuda Koren Yahoo research 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 26页 P 26 推荐系统 New Trends: Consider Friendship 实证 :Yahoo! Pulse 提供基本社交网络功能，并且可以上传下载应用，并邀请好友来试用 386个应用、 1.2M用户、 6.1M个好友关系、 29M兴趣交叉 Yahoo!
16、Labs: Like like alike Joint Friendship and Interest Propagation in Social Networks. In WWW2011 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 27页 P 27 推荐系统 新趋势 : 考虑友情关系 实证 :Yahoo! Pulse 提供基本社交网络功能，并且可以上传下载应用，并邀请好友来试用 386个应用、 1.2M用户、 6.1M个好友关系、 29M兴趣交叉 Yahoo! Labs: Like like alike Joint Friendship and Inte
17、rest Propagation in Social Networks. In WWW2011 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 28页 P 28 Case Study：在德国电信手机商城上的实证 由德国电信公司提供的移动互联网业务，用户可以从手机客户端浏览以及下载App和 Game 考虑了 6种推荐系统： TopSeller TopRanking 基于产品的协同过滤（ ） SlopeOne 基于内容的（ TF-IDF， cosine） Hybrid 15万用户分成 7个组 通过不同客户端界面访问 RecSys09， ” A Case Study
18、 on the Effectiveness of Recommendations in the Mobile Internet”, Prof. Dietmar Jannach, Technische Universitat Dortmund, Germany 数据挖掘在用户行为分析中的应用 2013年 3月 8日 版权所有 ,不得翻印 第 29页 计算广告学 Andrei Broder and Dr. Vanja(2011) Find the “best match“ between a given user u in a given context c and a suitable advertisement a. 广告主选择受众 受众定向（特征提取） 广告主选择媒体 约束优化（ Online Allocation） 媒体选择广告主 机制设计 媒体选择受众 点击率预估 推荐技术
