分享
分享赚钱 收藏 举报 版权申诉 / 24

类型推荐系统架构.pptx

  • 上传人:weiwoduzun
  • 文档编号:5696042
  • 上传时间:2019-03-13
  • 格式:PPTX
  • 页数:24
  • 大小:374.20KB
  • 配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    推荐系统架构.pptx
    资源描述:

    1、大数据环境下的推荐系统架构,汇报人:余俊良,背景,毫无疑问,这是一个数据爆发的时代。一分钟内,推特上有 20 万条新消息被发送;在“Facebook”上用户浏览的信息超过 1000 万条。人们在享受网络带来便捷的同时,产生了大量的新型多结构数据。有人说,世界的本质就是数据,大数据将开启一次重大的时代转型。,背景,当然,如果处理不好大数据,人类可能会被大数据“反噬”,找到自己需要的信息变得更困难,迷失于大数据之中。有用的信息埋没于繁杂的数据中的 现象被称为“信息过载”。 在大数据时代,让用户从海量的信息中找到自己想要的信息实在是有点强人所难。时代变了,用户获取知识的方式也应随之改变:利用推荐技术

    2、向用户推送个性化服务。,推荐系统研究现状,目前推荐系统的研究内容和方向主要包括以下几个方面: 1、推荐技术的研究 2、推荐的实时性与推荐质量 3、利用云计算提高推荐系统计算能力 4、推荐系统的可解释性 5、用户隐私问题,推荐系统组成,产品,核心数据算法,推荐系统组成,产品,同类或者相关商品、店铺推荐买了还买、看来还看等猜你喜欢群体信息披露热门排行榜etc,推荐系统组成,数据,显式数据:能准确的反应用户对物品的真实喜好,但需 要用户付出额外的代价 -用户收藏 -用户评价隐式数据:通过一些分析和处理,才能反映用户的喜好, 只是数据不是很精确,有些行为的分析存在较大的噪音 -用户浏览 -页面停留时间

    3、 -访问次数,推荐系统组成,算法,算法类型:基于内存的算法基于模型的算法基于内容的算法LR算法计算方式: 离线:用户偏好分析、用户购买力分析、关联性分析在线:排序、过滤、增量计算,传统的推荐系统框架,用户,用户行为日志存储系统,UI,日志 系统,推荐 系统,数据反馈,传统的推荐系统框架,传统的推荐系统框架通常只能应对少量的推荐需求,面对如今的多用户反馈,多商品信息,要求根据上下文进行实时性推荐等是无能为力的。 通过将推荐系统部署在云平台,利用集群的计算能力解决大数据下的推荐问题,已是大势所趋。,大数据环境下的推荐系统,大数据环境下推荐系统的挑战,海量,用户,商品,行为,流量,实时,实时采集,实

    4、时计算,实时预测,精准,用户体验,业界口碑,大数据环境下的推荐系统,一个好的推荐系统,分析处理海 量数据,快速处理新 增数据和实 时交互,灵活加入和 迭代各种推 荐算法,低延迟响应 高QPS的推 荐请求,大数据环境下的推荐系统,基于云平台的推荐系统分层架构,大数据环境下的推荐系统,整个推荐系统的底层运转和计算大量依赖于 Hadoop生态系统,计算, 超过20000个 MapReduce 任 务 超过100个 Spark任务,存储, 超过200TB HDFS存储 超过20TB Hbase使用 每天新生成数 据超过1TB,数据流, 处理超过 500GB的数据 流 处理超过10亿 条消息,大数据环境

    5、下的推荐系统,Spark与推荐算法 基于内存的数据缓存和计算 基于RDD的数据集逻辑结构 Scala简洁的基于函数式的编程体验,Map Reduce,Spark,计算,大数据环境下的推荐系统,存储,HDFS 分布式文件系统,Hive 基于HDFS的数据仓库 类SQL查询语言,HBase分布式Key-Value Schema Free,大数据环境下的推荐系统,数据流,Flume, 高可用的,高可靠的,,分布式的海量日志采 集、聚合和传输,Kafka 分布式消息队列 Push & Pull,Storm 实时计算框架,技术架构,技术架构,Online,服务引擎 高并发、低延迟、高稳定 Load Ba

    6、lance / Scalability在线计算数据缓存 Couchbase / Redis 数据加载和更新 运算和预测,技术架构,Nearline,用户行为收集 从日志服务器收集用户行为 基于Apache Flume进行读取分发用户行为分发 近在线部分将事件发送给Kafka 离线部分将数据存储到HDFS,技术架构,Nearline,基于Kafka + Storm 高稳定性 高实时性 高并发度实现分布式的实时数据计算 内容相关性计算 Online Learning,技术架构,Offline,数据建模用户兴趣建模/商品建模 用户/商品聚类 内容去重推荐算法Item CF 矩阵分解 基于内容的推荐机器学习排序模型 CTR预估,推荐流程,上线与迭代,理论支持,线下测试,在线A/B测试,全量上线,测试失败,

    展开阅读全文
    提示  道客多多所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:推荐系统架构.pptx
    链接地址:https://www.docduoduo.com/p-5696042.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    道客多多用户QQ群:832276834  微博官方号:道客多多官方   知乎号:道客多多

    Copyright© 2025 道客多多 docduoduo.com 网站版权所有世界地图

    经营许可证编号:粤ICP备2021046453号    营业执照商标

    1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png



    收起
    展开