基于电商数据的推荐算法研究及应用

发布时间：2020-11-13 06:58

　　 随着互联网科技的发展,人们获取信息的方式越来越多,信息的数量爆炸式增长,内容的复杂度也不断提高,简单的信息检索技术已经无法满足大部分人的需求,并且我们的时代已经由物品匮乏的时代转化为了物品丰富的时代,随着物品数量和种类的增多,人们的注意力成为了稀缺资源。电子商务的确面临上述问题,如何在海量的数据中快速找到用户需要的物品变得非常重要,因此电商场景下的个性化推荐系统应运而生。目前电子商务迅猛发展,中国代表的有淘宝、京东、苏宁等等,其中包含了大量的用户和商品数据,对于大量的随机性数据,传统的推荐算法不能很好地对用户预购买商品进行预测。针对上述问题,我将推荐问题变换成分类问题,使用淘宝用户-商品数据集,对用户行为数据进行特征提取,再利用机器学习中的分类算法,对用户喜好的商品进行预测,实验结果发现强化学习中GBDT模型的F1分数比逻辑回归算法的F1分数提升了近一倍,GBDT算法在处理随机性较强的数据具有明显的优势,在电商推荐数据集上取得了很好地效果。由于电商场景下根据传统的推荐算法利用的是评分数据集,然而商品数据集中面临着评分数据缺失严重或没有评分数据问题,针对这个问题,本文通过在传统的推荐算法基础上,引入用户行为变量,在Jaccard相似度基础上,提出一种新的用户之间相似度计算方法和用户-商品得分计算方法,通过两者结合进行用户间的协同过滤推荐。通过在阿里的天池平台下载的淘宝用户行为和物品信息数据选取部分用户进行实验,实验结果F1分数值为0.154,并与传统协同过滤算法实验结果进行比较,F1分数有很大的提升。由此可以得出:新的用户相似度计算方法可以更有效的找到目标用户的近邻用户,从而提高推荐的准确率,而且新的相似度计算公式没有用到用户评分数据,所以在一定程度上解决了评分数据稀疏的问题。
【学位单位】：山东大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：F724.6;F224
【部分图文】：

?山东大学硕士学位论文???第２章个性化推荐系统和算法介绍??２．１个性化推荐系统??个性化推荐系统可以通过收集用户信息，生成用户画像，根据用户特征画像，??比如片ｊ户的兴趣偏好，为用户做出符合用户的个性化推荐。一个推荐系统是包括??Ｎ个推荐引笮的，通过Ｎ个推荐引擎共同产生初步的推荐结果，然后进行过滤、??排名和推荐解释，最终生成推荐。??＇推荐引擎???？?推荐引擎２??????Ｕｓｅｒ?——＞＜?＞■?＞初步推荐结果?＾过滤??－?？?？?？?－Ｘ?＾??推荐引擎Ｎ?ｒ－ｆｉｎ??Ｌ?Ｊ?丨排名????ｖ??推荐结果（推荐解释???????图２．?１．?１个性化推荐系统架构??一个比较好的个性化推荐系统需要涵盖以下三个方面的作用：??１．提高用户在浏览电子商务网站时的购买欲望。个性化推荐系统可以推荐??给用户他们感兴趣的物品，比起用户漫无目的的进行商品的浏览，用户可以更有??效率的找到自己想要购买的商品，从而提高了用户的购买率。??２．增强电子商务网站的各种商品间的交互销售能力。对用户来说，一些商??品属于隐性商品，就是用户在网上确实需要购买，但是当时没有考虑到这种商品；??个性化推荐系统需要给这样的用户进行商品推荐，比如互补性商品推荐，从而提??高电商网站的交互销售能力。??３．增加用户对电商网站的粘合度，让用户依赖上电商平台。当前电子商务??公司很多，竞争激烈，而且对于用户来说在各大电商网站切换时很容易的事情，??７??

?ｆｉｌｔｅｒｉｎｇ?ａｌｇｏｒｉｔｈｍ）以及無合推荐（ｈｙｂｒｉｄ?ａｌｇｏｒｉｔｈｍ）?［１］。??基于荇容的算法??基于筠设的算法?????Ｉ?基于愚产釣饬问过潘????－????????按：荐震法一ｉ?ｒ－??基于疼存＿挢同过緣ｉ????、猶…＂■？‘’’”１，＇＇＇＇＿＇＿．—－脚幽＂圓？＂＂＂？””’＂＂’?，？■？？？＜？＜？碌滅》－＞－？？？．－＜■、??謂过■算泫?￣?，基于辕細測过ｆｉ??－?基于琪型的热同过德??？灌会鱗紐??图２．?１．２推荐算法图??２．?２基于协同过滤的推荐??Ｇｏｌｄｂｅｒｇ等人在１９９２年的一篇文献中提出了协同过滤（Ｃｏｌｌａｂｏｒａｔｉｖｅ??Ｆｉｌｔｅｒｉｎｇ）?［８］，Ｂｒｅｅｓｅ将协同过滤推荐算法［Ｍ］主要分为两大类：基于内存的协同??过滤（Ｍｅｍｏｒｙ－ｂａｓｅｄ?ＣＦ）和基于模型的协同过滤算法（Ｍｏｄｅｌ－ｂａｓｅｄＣＦ）?〇??协同过滤又可以分为基于用户的协同过滤和基于物品的协同过滤。??２．２．１基于用户的协同过滤??基于用户的协同过滤算法［２］是推荐系统中最传统的推荐算法，这个算法的诞??生也导致了个性化推荐系统的产生。该算法是在１９９２年提出的，并且应用在邮??件过滤系统，１９９４年被ＧｒｏｕｐＬｅｎｓ应用在新闻过滤方面。??８??

?⑴东大学硕士学位论文???－８＾Ｔｚｒ??乂?用户Ｂ?物品Ｃ??—￣??ｍ?物品?〇???？?用户ｃ????图２－２－１基于用户的协同过滤??如果你想学习新的知识，但是你对此方面的学习方法不了解，你可能会向学??习过这些知识的人质询一些关于学习这方面知识的书籍和方法，他们会根据自己??的经验来给你推荐＋?？些他们认为学＞」起来比较好的书籍，但是最终你根据自己的??实际选择适合自己的书籍和方法。这就是一个基于用户协同过滤的例子。在个性??化推荐过程中，基于用户协同过滤的方法，是通过目标用户的一些列的信息，找??到与其拥有较高相似度的用户，通过这些用户的购买信息，最后把这些相似用户??以前购买过的但目标用户没有购买的给目标用户进行推荐。??对于含有ｍ位用户和ｎ件物品的ｍ＊ｔｌ的评分矩阵Ｒ?＝?ｌｒＵ｜ｊ，?表示己被用户??（行）ｕ评价过的物品的序列。比如，如果用户（行）ｕ对第?＇、第四、第五件??物品（列）评价是己经知道的（观测到的），其余是为重的，那么就有Ｉｕ?＝｛１，４，５｝。??用户１］和乂都评价过的物品集合用／，，门／、，进行表示。例如，如果用户ｖ对前４??个物品进行了评价，那／１，?＝?｛１，２，３，４｝，丨１，＾二丨１，４｝。然而／？门／１１有可能是空集，??因为用户－商品评分矩阵一般都是稀疏的。??利用Ｐｅａｒｓｏｎ相关系数用来衡量用户ｕ和用户ｖ之间评分向量的相似程度??Ｓｉｍ（ｕ，?Ｖ）。／，，门／ｖ代表了用户ｕ和用户ｖ均做出评分的物品序列集，在用户ｕ??和ｖ共同评分的数据集上计算相关系数。先利用每位用户的评分来计算每位用户??的平均评分：??９??
【参考文献】

相关期刊论文 前8条

1 贺桂和;;基于用户偏好挖掘的电子商务协同过滤推荐算法研究[J];情报科学;2013年12期

2 贾冬艳;张付志;;基于双重邻居选取策略的协同过滤推荐算法[J];计算机研究与发展;2013年05期

3 张玉芳;代金龙;熊忠阳;;分步填充缓解数据稀疏性的协同过滤算法[J];计算机应用研究;2013年09期

4 王雪蓉;万年红;;云模式用户行为关联聚类的协同过滤推荐算法[J];计算机应用;2011年09期

5 刘枚莲;刘同存;李小龙;;基于用户兴趣特征提取的推荐算法研究[J];计算机应用研究;2011年05期

6 刘旭东;葛俊杰;陈德人;;一种基于聚类和协同过滤的组合推荐算法[J];计算机工程与科学;2010年12期

7 郭艳红;邓贵仕;;协同过滤系统项目冷启动的混合推荐算法[J];计算机工程;2008年23期

8 游文;叶水生;;电子商务推荐系统中的协同过滤推荐[J];计算机技术与发展;2006年09期

相关博士学位论文 前1条

1 赵向宇;Top-N协同过滤推荐技术研究[D];北京理工大学;2014年

相关硕士学位论文 前9条

1 胡杨;基于深度学习的混合协同过滤推荐算法的研究与应用[D];江苏大学;2019年

2 张滨;基于混合模型的推荐系统的研究[D];吉林大学;2018年

3 张颖;基于用户画像特征数据集的个性化推荐算法研究[D];西安电子科技大学;2018年

4 魏全彬;基于协同过滤和属性关联规则混合推荐算法研究[D];西南交通大学;2018年

5 王海燕;电子商务协同过滤推荐算法的优化研究[D];河北工程大学;2016年

6 赵伟明;基于用户行为分析和混合推荐策略的个性化推荐方法研究[D];北京工业大学;2014年

7 袁利;基于聚类的协同过滤个性化推荐算法研究[D];华中师范大学;2014年

8 朱文奇;推荐系统用户相似度计算方法研究[D];重庆大学;2014年

9 黄洋;基于聚类和项目类别偏好的协同过滤推荐算法研究[D];浙江理工大学;2014年

本文编号：2881887