1、一种基于用户交易行为的隐语义模型推荐算法 梁婧文 蒋朝惠 贵州大学计算机科学与技术学院 摘 要： 通过分析目前推荐技术在电子商务系统中的应用优势, 并针对当前产品交易系统的无评分、产品量大和难以分类等现状与问题, 设计了一种基于用户交易行为的隐语义模型推荐算法。该算法从用户的隐式交易行为出发, 采用隐语义模型推荐算法, 构建用户-产品兴趣模型, 并加入 K 均值算法划分隐式特征聚类。实验验证表明, 该算法在满足用户的个性化需求的同时, 可提高电子商务系统的产品推荐效率。关键词： 推荐算法; 用户交易行为; 隐语义模型; K 均值算法; 作者简介：梁婧文 (1990-) , 女, 硕士研究生,
2、主要研究方向:数据库与软件工程。作者简介：蒋朝惠 (1965-) , 通信作者, 男, 硕士, 教授, 主要研究方向:数据库与软件工程、网络与信息安全。E-mail:。收稿日期：2017-05-10基金：贵州省基础研究重大项目 (黔科合 JZ 字20142001-21) Latent factor model recommendation algorithm based on user transaction behaviorLiang Jingwen Jiang Chaohui College of Computer Science and Technology, Guizhou Unive
3、rsity; Abstract： Through analysis of the application advantages of recommendation technology in e-commerce system, and in order to solve the present situation and problems of the product trading system without scoring, large volume of products and difficult classification, a latent factor model reco
4、mmendation algorithm based on user transaction behavior was designed, which starts from the implicit user transaction behavior, and constructs the interest model between users and products, which uses latent factor model recommendation algorithm, and K-means algorithm is used to cluster implicit fea
5、ture. The experimental results show that the algorithm meets the individual needs of users, and can improve the recommendation efficiency of e-commerce system.Keyword： recommendation algorithm; user transaction behavior; latent factor model; K-means algorithm; Received： 2017-05-100 引言电子商务网站是个性化推荐系统的
6、一个重要应用领域, 各种著名的电子商务网站, 例如亚马逊、淘宝、Netflix、京东等, 都在各个方面使用到了个性化推荐, 是个性化推荐技术最积极的应用者和推广者。在主流的电子商务系统中大都采用协同过滤 (Collaborative Filtering, CF) 推荐算法1, 该算法是基于用户行为数据分析设计的, 并且基于一种假设:用户过去喜欢的在未来也同样喜欢。最广泛使用的协同过滤算法有: (1) 基于邻域 (Neighborhood-based) 的方法, 包括基于用户 (Userbased) 和基于产品 (Item-CF) 的, 通过分析与用户之前喜好相似的产品或者推荐给用户与他喜好相似
7、的用户所关注的产品来构成推荐模型; (2) 隐语义模型 (Latent Factor Model, LFM) , 使用某些隐含特征来关联用户兴趣和产品, 并据此构建推荐模型。对于电子商务推荐系统来说, 如何建立用户的偏好模型是首要问题, 但当前产品交易系统存在无评分、产品量大、难以分类等问题, 同时对协同过滤算法中隐式反馈方面的研究也越来越广泛。因此本文从用户的隐式交易行为出发, 设计了一种基于用户交易行为的隐语义模型推荐算法 (User Transaction Behavior for Latent Factor Model, UTB-LFM) 。1 相关工作自 Netflix Prize
8、推荐系统大赛之后, 研究者对隐式反馈信息和隐语义模型越来越关注, 近几年人们对 LFM 的应用与研究也越来越深入。2014 年, YIN F L、CHAI J P2等人在数字电视节目的推荐中使用了隐式特征模型, 通过对观众行为进行分析, 确定观众兴趣与观看电视节目之间的关系, 并据此为观众建议节目类型。CHEN C、ZHENG L3等人在 LFM 中加入偏置项, 证明推荐的准确度较原始的 LFM 推荐模型有所提高。2015 年, 张玉连4等人提出了一种通过建立隐语义模型, 分析用户和论文的特征向量进行科技论文的推荐, 获得了较好的准确度。2016 年, 文献5将用户的某些属性信息融合到 LFM
9、 上, 即使用户历史行为数据稀疏, 也可根据用户属性来寻找邻域用户, 解决了稀疏问题。上述研究都涉及到用户的隐式行为, 隐式获取用户信息的方式主要包括:访问用户日志和挖掘、跟踪用户行为两个方面。同时, 隐语义模型以其基于用户隐式行为设计的优势, 通过收集用户隐式反馈信息来获取用户偏好的方式, 已是目前信息提供服务领域关注的热点之一, 为推荐技术的发展奠定了理论基础。因此, 将隐语义模型推荐算法与电子商务系统结合, 通过获取用户隐式的交易行为产生推荐, 更加具有研究和应用前景。2 基于用户交易行为的隐语义模型2.1 隐语义模型2006 年, Koren 提出了隐语义模型, 简称 LFM。从矩阵分
10、解方法出发, 假设用户 u 对产品 i 的评分矩阵 R 可以分解为用户特征矩阵 P、产品特征矩阵 Q, 两矩阵的乘积表示用户-产品评分矩阵, 如式 (1) 所示:其中 PR fm和 QR fn是两个低维度矩阵。预测评分通过式 (2) 计算得到, 其中 puf=P (u, f) , qif=Q (i, f) :为了求解该模型中各参数值, 定义了损失函数如式 (3) 所示:通过对上述损失函数求偏导数得到式 (4) 、式 (5) , 利用随机梯度下降法不断迭代4, 即最小化损失函数求出 P、Q 中的参数, 得递推公式 (6) 和式 (7) :其中涉及的重要参数包括: 表示学习速率, 表示正则化参数。
11、迭代次数根据实际误差情况进行调整。由于实际的推荐系统有很多固定属性与用户、产品无关, 而上述隐语义模型并没有考虑这种影响, 因此, 又进一步得到另一种 LFM 模型的预测公式 (8) :其中 +b u+bi称为偏置项, 是训练数据集中全部评分值的全局平均数, 描述系统属性对用户的影响;b u是用户偏置项, 描述和产品无关的用户习惯;b i是产品偏置项, 描述与用户无关的产品属性。再根据随机梯度下降法, 得到式 (9) 式 (12) 的递推公式:2.2 基于用户交易行为的隐语义模型构建用户兴趣模型的输入数据总体分为用户数据和产品数据, 用户数据又包括用户自身的属性数据、评分数据、行为模式数据等,
12、 用户在产品交易时, 有一些常见的情况, 比如用户不希望通过对产品评分来表达个人的喜好, 或者该系统并没有提供评分的功能, 系统能够获得的仅仅是用户的交易行为。此外, 一个系统拥有的产品数量非常巨大, 难以通过人为手段对产品进行分类, 直接计算相似性效率较低, 且推荐不够准确。针对上述问题, 本文首先在交易数据中提取用户有过购买行为的数据, “1”表示推测用户喜欢该产品, “0”表示推测用户不喜欢该产品或不知道该产品, 使用二进制反馈数据, 也可以说是表示为 0-1 数据6, 构建初始化的用户-产品兴趣度矩阵。然后根据隐语义模型的思想, 把用户-产品兴趣度矩阵分解为两个低维度的矩阵P 和 Q,
13、 P 是用户-隐式特征矩阵, 表示用户对隐类的偏好程度, Q 是隐式特征-产品矩阵, 表示每个产品属于隐类的概率, 用 P 和 Q 两个矩阵的乘积表示实际评分, 这样得到的预测评分会更接近实际评分。最后, 利用式 (3) 、式 (6) 、式 (7) 得到 P、Q 特征矩阵。采用上述方法构建基于用户交易行为的隐语义模型, 既解决人为分类产品导致的推荐不准确问题, 又通过隐语义模型达到对用户交易行为矩阵降维的目的。3 算法设计基于用户交易行为的隐语义模型推荐算法 (UTB-LFM) 的流程如图 1 所示。UTB-LFM 的具体流程如下:(1) 基于用户交易记录, 有过购买行为的产品选为正样本, 设
14、兴趣度 Rui=1, 采集同等数量的负样本, 设兴趣度为 Rui=0, 使用 0、1 初始化用户-产品矩阵 R;(2) 利用式 (3) 、式 (6) 、式 (7) 对矩阵 R 进行分解, 得到针对隐类的用户特征矩阵 P 和产品特征矩阵 Q;(3) 对产品特征矩阵 Q 使用 K 均值聚类算法7进行聚类, 得到 K 个小规模的产品特征矩阵;(4) 根据目标用户的交易记录, 找到已购产品所属类别, 在相应类别中, 根据产品的特征权值, 计算产品之间的相似性, 其中相似度计算使用余弦相似性度量方法, 如式 (13) 所示8。产品 i 与产品 j 的相似度公式中的 Ri, f和 Rj, f分别表示产品
15、i 属于 f 个隐式特征的权值和产品 j 属于 f 个隐式特征的权值, 选取的隐式特征个数用 F 表示。图 1 UTB-LFM 算法流程图 下载原图(5) 根据所得相似性, 计算目标用户对未知产品的预测评分 Qu, i, 选择加权求和再平均的方法, 如式 (14) , 计算出产品的评分, 评分最高的产品作为推荐产品, U 是相似类别下目标用户未购买产品的集合, Q u, j是用户 u 对产品 j 的评分。4 实验数据及结果分析4.1 实验环境及数据集实验使用 Movie Lens 数据集, 其中包括 943 个用户和 1 682 个电影资源组成的100 KB 的评分数据 (15) 。反复测试实
16、验误差, 选择 80%的实验数据作为训练数据, 20%的实验数据作为测试数据, 表 1 是实验运行环境。表 1 实验环境表 下载原表 4.2 评价指标推荐准确度是评价推荐算法最基本的指标之一, 由于推荐系统的主要工作是根据用户的偏好提供给他可能喜欢的产品, 所以将准确度看作是用户对推荐结果的认可程度。最常用的评价推荐准确度的方法是均方根误差 (Root Mean Square Error, RMSE) 9, 准确度越高则该值越小。因此, 本文使用 RMSE 来衡量推荐算法的准确度。此外, 通过推荐运行时间对使用 K 均值聚类缩小查找范围的效率进行评估。RMSE 表达准确度如式 (15) , 其
17、中 T 为预测评分的总个数。4.3 结果分析4.3.1 推荐模型评估采用 RMSE 比较本文设计的 UTB-LFM、User-CF 和 Item-CF 三种算法的预测准确性;并比较隐式特征 F 的不同值对推荐模型效果的影响。(1) 不同隐式特征个数 F 对应的 RMSE本文选择 =0.006, =0.015 进行实验, 在训练集上迭代 14 次, 并且学习速率按照每次迭代缩减 0.9 倍的速度递减。实验结果如图 2 所示, 其中 User-CF算法选择最优的邻居数为 80 个。图 2 不同 F 值在各推荐模型下测试的 RMSE 值 下载原图通过实验发现, 由于 UTB-LFM 中包括学习的过程
18、, 因此算法的 RMSE 较 User-CF和 Item-CF 小, 推荐的准确度高。同时随着隐式特征个数 F 值的增加, UTB-LFM算法的准确度也随之提高。而两种基于邻域的协同过滤推荐算法没有引入隐式特征值, 算法的准确度不会变化。(2) 不同学习速率和迭代次数对 RMSE 的影响选择隐式特征 F 值为 200, 通过改变学习速率和迭代次数, 保证基本相近的RMSE 值, 实验结果如表 2 所示。表 2 不同学习速率和迭代次数对 RMSE 值的影响 下载原表 从表 2 得出, 学习速率从 0.005 增加到 0.01 的过程中, 保证准确度的前提下, 迭代次数逐渐减少, 构建模型时间变短
19、。因此可以通过增加学习效率来减少算法迭代次数, 提高效率。4.3.2 产生推荐时间评估比较 UTB-LFM、User-CF 和 Item-CF 三种推荐算法的推荐运行时间, 并验证不同聚类数 K 值对 UTB-LFM 产生推荐运行时间的影响, 实验结果如图 3 所示。图 3 不同 K 值在各模型下的推荐运行时间 下载原图通过实验比较发现, UTB-LFM 算法的推荐时间比 User-CF 和 Item-CF 算法短, 且随着 K 值的增加推荐时间逐渐降低, 提高了推荐效率。5 结论本文主要对隐语义模型推荐算法进行研究, 并针对当前电子商务系统以及交易数据存在的问题, 提出了一种基于用户交易行为
20、的隐语义模型推荐算法 (UTB-LFM) , 该算法能够在电子商务系统中通过获取用户的隐式交易行为, 为用户提供产品推荐。通过与基于用户的协同过滤推荐算法和基于产品的协同过滤推荐算法的比较实验, 验证了算法的准确性和推荐效率均有所提高。参考文献1马小龙.基于协作过滤算法的电子商务个性化推荐系统的研究J.微型机与应用, 2014, 33 (15) :13-15. 3CHEN C, ZHENG L, THOMO A, et al.Comparing the staples in latent factor models for recommender systemsC.ACM Symposium
21、on Applied Computing.ACM, 2014:91-96. 4张玉连, 袁伟.隐语义模型下的科技论文推荐J.计算机应用与软件, 2015, 32 (2) :37-40. 5巫可.基于隐语义模型的个性化推荐算法的研究D.广州:广东工业大学, 2016. 6HAHSLER M.Recommenderlab:a framework for developing and testing recommendation algorithmsEB/OL. (2015-XXXX) 2017-04-20.https:/cran.r-project.org/web/packages/recommenderlab/vignettes/recommenderlab.pdf. 7何佳知, 谢颖华.基于密度的优化初始聚类中心 K-means 算法研究J.微型机与应用, 2015, 34 (19) :17-19. 8付芬, 豆育升, 韩鹏, 等.基于隐式评分和相似度传递的学习资源推荐J.计算机应用研究, 2017, 34 (12) :1-8. 9程超, 杨力, 陈嘉鑫.融合语义关联挖掘的文本情感分析算法研究J.硅谷, 2013, 56 (13) :99-103.
