1、2018/12/14,电子商务推荐系统介绍,报告人：邓爱林,2018/12/14,提纲,电子商务推荐系统简介 电子商务推荐系统技术介绍 基于关联规则的推荐算法 基于最近邻居的协同过滤算法 基于项目的协同过滤算法,2018/12/14,电子商务推荐系统简介,Harvard商学院的Joe Ping在大规模定制一文中认为现代企业应该从大规模生产(以标准化的产品和均匀的市场为特征)向大规模定制(为不同客户的不同需求提供不同的商品)转化 电子商务推荐系统(Recommendation System)向客户提供商品信息和建议，模拟销售人员帮助客户完成购买过程,2018/12/14,电子商务推荐系统简介,电
2、子商务推荐系统的作用： 将电子商务网站的浏览者转变为购买者(Converting Browsers into Buyers) 提高电子商务网站的交叉销售能力(Cross-Sell) 提高客户对电子商务网站的忠诚度(Building Loyalty),2018/12/14,电子商务推荐系统简介,电子商务推荐系统的界面表现形式分类： Browsing：客户提出对特定商品的查询要求，推荐系统根据查询要求返回高质量的推荐 Similar Item：推荐系统根据客户购物篮中的商品和客户可能感兴趣的商品推荐类似的商品 Email：推荐系统通过电子邮件的方式通知客户可能感兴趣的商品信息 Text Comme
3、nts：推荐系统向客户提供其他客户对相应产品的评论信息,2018/12/14,电子商务推荐系统简介,电子商务推荐系统的界面表现形式分类(续)： Average Rating：推荐系统向客户提供其他客户对相应产品的等级评价 Top-N：推荐系统根据客户的喜好向客户推荐最可能吸引客户的N件产品 Ordered Search Results：推荐系统列出所有的搜索结果，并将搜索结果按照客户的兴趣降序排列,2018/12/14,电子商务推荐系统简介,电子商务推荐系统的输入： 客户输入(Targeted Customer Inputs) 隐式浏览输入(Implicit navigation)：客户的浏览
4、行为作为推荐系统的输入，但客户并不知道这一点 显式浏览输入(Explicit navigation) ：客户的浏览行为是有目的向推荐系统提供自己的喜好 关键词和项目属性输入(Keywords and Item attributes)：客户输入关键词或项目的有关属性以得到推荐系统有价值的推荐 用户购买历史(Purchase history)：用户过去的购买纪录,2018/12/14,电子商务推荐系统简介,电子商务推荐系统的输入(续)： 社团输入(Community Inputs) 项目属性(Item Attribute)：社团对商品风格和类别的集体评判 社团购买历史(Community Purc
5、hase History)：社团过去的购买纪录 文本评价(Text Comments)：其他客户对商品的文本评价，计算机并不知道评价是好是坏 评分(Rating)：其他客户对商品的评分，计算机可以对评分进行处理,2018/12/14,电子商务推荐系统简介,电子商务推荐系统的输出： 建议(Suggestion) 单个建议(Single Item) 未排序建议列表(Unordered List) 排序建议列表(Ordered List) 预言(Prediction)：系统对给定项目的总体评分 个体评分(Individual Rating)：输出其他客户对商品的个体评分 评论(Review)：输出其
6、他客户对商品的文本评价,2018/12/14,电子商务推荐系统简介,推荐技术分类标准： 自动化程度(Degree of Automation)：客户为了得到推荐系统的推荐是否需要显式的输入信息 持久性程度(Degree of Persistence)：推荐系统产生推荐是基于客户当前的单个会话(Session)还是基于客户的多个会话,2018/12/14,电子商务推荐系统简介,推荐技术分类 Non-Personalized Recommendation：推荐系统的推荐主要基于其他客户对该产品的平均评价，这种推荐系统独立于客户，所有的客户得到的推荐都是相同的 (自动，瞬时) Attributed-
7、Based Recommendation：推荐系统的推荐主要基于产品的属性特征 (手工) Item-to-Item Correlation：推荐系统根据客户感兴趣的产品推荐相关的产品 (瞬时) People-to-People Correlation：，又称协同过滤，推荐系统根据客户与其他已经购买了商品的客户之间的相关性进行推荐 (自动，持久),2018/12/14,电子商务推荐系统简介,电子商务推荐系统研究热点与方向： 对当前的电子商务推荐系统进行改进，以使得推荐系统能产生更加精确的推荐 将数据挖掘技术及Web挖掘技术应用到电子商务推荐系统中，产生完全自动化的推荐，使用户感受到完全个性化的购
8、物体验 将电子商务推荐系统由虚拟的销售人员转变为市场分析工具 开发销售方的电子商务推荐系统，为商家的产品定价、促销活动及交叉销售等提供推荐,2018/12/14,电子商务推荐系统技术介绍,电子商务推荐系统使用的技术主要有： Bayesian网络(Bayesian Network) 关联规则(Association Rules) 聚类(Clustering) Horting图(Horting Graph) 协同过滤技术(Collaborative Filtering),2018/12/14,电子商务推荐系统技术介绍,电子商务推荐系统中的Bayesian网络技术利用训练集创建相应的模型，模型用决策
9、树表示，节点和边表示客户信息。 模型的建立可以离线进行，一般需要数小时或数天，得到的模型非常小，对模型的使用非常快 这种方法适合客户的兴趣爱好变化比较慢的场合 推荐精度和最近邻技术差不多,2018/12/14,电子商务推荐系统技术介绍,电子商务推荐系统中的关联规则技术根据关联规则发现算法和客户当前的购买行为向用户产生推荐 关联规则的发现也可以离线进行 推荐精度比最近邻技术略差 具体介绍见第三节,2018/12/14,电子商务推荐系统技术介绍,电子商务推荐系统中的聚类技术将具有相似爱好的客户分配到相同的族中，聚类产生之后，根据族中其他客户对某商品的评价就可以得到系统对该商品的评价 聚类过程可以离
10、线进行 聚类产生之后，性能比较好 如果某客户处于一个聚类的边缘，则对该客户的推荐精度比较低 推荐精度比最近邻技术略差,2018/12/14,电子商务推荐系统技术介绍,电子商务推荐系统中的Horting图技术是一种基于图的方法，节点代表客户，边代表两个客户之间的相似度。在图中寻找近邻节点，然后综合近邻节点的观点形成最后的推荐 Horting图技术可以跳过中间节点寻找最近邻居，考虑了节点之间的传递相似关系 推荐精度优于最近邻技术,2018/12/14,电子商务推荐系统技术介绍,电子商务推荐系统中的协同过滤技术一般采用最近邻技术，利用客户的历史喜好信息计算客户之间的距离，目标客户对特定商品的喜好程度
11、由其最近邻居对商品评价的加权平均值来计算 可以处理客户数据变化比较快的情况 在大型数据库中搜索最近邻居非常耗时，实时性不好,2018/12/14,电子商务推荐系统技术介绍,协同过滤算法的主要挑战： 算法的适应能力：处理大规模的数据 推荐精度，使用如下两个指标来度量： False negatives：客户喜欢但推荐系统并没有推荐的商品 False positive：推荐系统推荐但客户并不喜欢的商品,2018/12/14,基于关联规则的推荐算法,关联规则的意义，支持度置信度等概念大家都很熟悉，简单介绍一下 关联规则就是在一个交易数据库中统计购买了商品集X的交易中有多大比例的交易同时购买了商品集Y，
12、得到的关联规则表示为：X=Ys%,c% s表示关联规则的支持度，c表示关联规则的置信度 关联规则的发现算法很多，如Apriori，AprioriTid，DHP，FP-tree等,2018/12/14,基于关联规则的推荐算法,算法过程： 使用关联规则发现算法找出所有满足最小支持度和最小置信度的关联规则R 找出R中所有被客户支持的关联规则R1，即关联规则左边的所有商品都被客户购买 找出被关联规则R1所预测并且没有被客户所购买的所有商品P 根据P中商品在关联规则R1中的置信度排序，如果某商品被多个规则预测，则取置信度最大者作为排序依据，挑选前N个商品作为算法输出,2018/12/14,基于关联规则的
13、推荐算法,算法分析： 第一步关联规则的发现最耗时，是算法的瓶颈，但可以离线进行 实时性比较好，因为后三步不会太耗时,2018/12/14,基于最近邻居的协同过滤算法,基本思想：使用统计技术寻找与目标客户有相同喜好的邻居；然后根据目标客户多个邻居的观点产生向目标客户的推荐,2018/12/14,基于最近邻居的协同过滤算法,算法分为三个主要的阶段： 表示(Representation)：对客户已经购买的商品进行建模 邻居形成(Neighborhood Formation)：寻找目标客户所对应的邻居 推荐产生(Recommendation Generation)：从目标客户的邻居中产生N项产品推荐,
14、2018/12/14,基于最近邻居的协同过滤算法,表示阶段：用m*n阶客户-商品矩阵表示 Ri, j = 1，如果第i个客户购买了第j件商品 Ri, j = 0，如果第i个客户没有购买第j件商品,2018/12/14,基于最近邻居的协同过滤算法,上述表示称为原始表示(Original Representation)，这种表示的主要问题有： 稀疏性(Sparsity)：大部分的客户购买的商品不到全部商品的1%，从而使得推荐精度很低 适应性(Scalability)：计算代价随着客户数目和商品数目的增加而增加，很难满足实时性要求 同义词问题(Synonymy)：同一类商品的名字不一样,2018/1
15、2/14,基于最近邻居的协同过滤算法,通过奇异值分解(Singular Value Decomposition)将m*n阶客户-商品矩阵变换为m*k阶矩阵，这种表示称为降维表示(Reduced Dimensional Representation)，可以部分解决原始表示存在的稀疏性、缩放性和同义词问题,2018/12/14,基于最近邻居的协同过滤算法,邻居形成阶段：关键在于计算客户之间的相似性。 目标：对于每个客户u，找到它的l个邻居N = N1, N2, , Nl，使得sim(u, N1)最大， sim(u, N2)次之，。,2018/12/14,基于最近邻居的协同过滤算法,相似性度量方法：
16、 相关性(Correlation)：使用Pearson相关系数表示,余弦相似性(Cosine)：将客户a和客户b看作两个向量， 客户之间的相似性通过向量之间的于弦夹角来表示,2018/12/14,基于最近邻居的协同过滤算法,推荐产生阶段：由目标客户的邻居产生N件商品推荐，可以采用如下两种不同方法产生推荐 最频繁项目推荐(Most-frequent Item Recommendation)：扫描目标客户每一个邻居的购买数据，对其购买的商品进行计数，选择出现频率最高且目标客户没有购买的前N件商品最为推荐结果 基于关联的推荐(Association Rule-based Recommendation
17、)：类似于前面介绍的基于关联规则的推荐算法，只是将目标客户的邻居作为算法的输入,2018/12/14,基于项目的协同过滤算法,基本思路：根据目标客户已经评价过的项目与目标项目的相似性，选择k个最相似的项目i1, i2, , ik，同时得到k个最相似的项目与目标项目的相似度，记为si1, si2, , sik，然后将目标客户对这k个最相似的项目的评分及这k个最相似的项目与目标项目的相似度的加权平均值作为对目标项目的评分,2018/12/14,基于项目的协同过滤算法,本算法主要分两步： 项目相似性计算 产生推荐,2018/12/14,基于项目的协同过滤算法,计算项目i和j之间的相似性： 从所有的用
18、户中分离出同时对项目i和项目j进行评价的用户 根据上面得到的数据计算项目i和项目j的相似性,2018/12/14,基于项目的协同过滤算法,相似性度量跟基于最近邻技术的协同推荐系统类似： 基于相关性的相似性(Correlation-based Similarity)：Pearson相关系数 基于余弦的相似性(Cosine-based Similarity),2018/12/14,基于项目的协同过滤算法,产生推荐的方法很简单，根据目标客户对最相似项目的评分及最相似项目与目标项目的相似度产生推荐,2018/12/14,基于项目的协同过滤算法,性能分析： 在基于最近邻技术的协同过滤推荐算法中，邻居生成阶段，特别是客户相似性计算是算法提高性能的瓶颈，使得大规模电子商务网站的实时推荐不能实现 本算法将邻居生成阶段和推荐产生阶段分离，使得邻居生成阶段可以离线进行，从而使得电子商务网站的实时推荐得以实现,
