基于SVD与LightGBM的音乐推荐算法研究

发布时间：2020-07-05 20:31

【摘要】：随着信息技术与“互联网+”的快速发展,人类社会迈入了一个信息爆炸的大数据时代。与日俱增的信息为我们的日常生活提供了更加自由的选择空间,但也使得我们在面对如此庞大的信息量时如何快速精准的获取目标信息变得无从下手。因此,具有个性化、智能化的推荐系统作为解决信息过载的有效工具应运而生,并在电子商务、社交平台等多个领域展现出极具潜力的发展前景与应用前景。推荐系统的核心是推荐算法。本文首先分析了传统推荐算法的基本原理与主要内容,包括协同过滤推荐算法、基于内容的推荐算法、基于关联规则的推荐算法等。针对这些算法中存在的数据稀疏性、计算可扩展性差、个性化能力不足等问题,本文提出了一种全新的推荐算法理论框架,并应用于在线音乐服务网站的歌曲推荐上。在算法改进方面,本文提出了基于SVD与LightGBM的音乐推荐算法,简称为SVD-LGBM。该算法的核心在于推荐最符合用户偏好的歌曲名单。整个算法包含两部分内容:第一部分,为了缓解用户-项目评分矩阵的数据稀疏性和计算可扩展性差的问题,本文引入奇异值分解方法实现对稀疏矩阵的快速填充,通过抽取用户-项目评分数据的关键特征,得到相应的用户特征矩阵与音乐特征矩阵,并对用户进行基于奇异值分解的歌曲评分预测;第二部分,为了进一步提高歌曲推荐的准确性,在用户特征矩阵与音乐特征矩阵的基础上,结合用户属性、歌曲属性、用户的操作行为等数据,进行特征工程建设,构建更加完善的用户画像,考虑到用户的行为偏好会随着时间推移而发生改变,引入时间衰减函数进行数据修正。然后使用LightGBM算法对用户进行未收听歌曲的评分预测,并与基于SVD所得到的预测评分进行加权融合,得到最终的歌曲推荐列表。最后,将改进后的算法在KKBOX数据集上进行实证分析,确定改进算法的最优参数,并通过与其他算法对比验证改进的有效性。实验结果表明,SVD-LGBM算法在提升推荐准确度、缓解数据稀疏性、提高算法运行效率等方面都有着出色的表现。
【学位授予单位】：浙江工商大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：C81;J605
【图文】：

框架图,论文,框架图

图１－１论文研宄框架图逡逑７逡逑

推荐系统,音乐

这些推荐模型也和Ｓｐｏｔｉｆｙ其它更大的生态系统连接在一起，其中包括利用逡逑海量的数据存储以及非常多的Ｈａｄｏｏｐ集群来做推荐服务的扩展，使得引擎得以逡逑进行大规模数据计算，完整的Ｓｐｏｔｉｆｙ音乐推荐流程如图２－４所示。逡逑ｍ邋Ｃｈａｎｄｒａ逦ＨＤＦＳ逡逑＇ｒ邋＊逡逑＾＊＊邋—邋—＊１邋邋邋邋邋邋邋？邋邋＾：逡逑ｒ逦：－逡逑、邋：ＯＴ－逦＇邋卜、逡逑－ｔｏｇａ逦Ｍｅｔａｄａｔａ邋：逦ａｎｄ邋捕逡逑知j_逦．．．．．．－、丨．逦＼Ｊ逦．邋邋逦１逦—？．逦了一—：：广逡逑Ｄａｃｏｖ？＂邋Ｄ？＊ｃｏｖ＃ｒ逦ｒ逦ｆ邋ｋ邋ｆ邋．．ＸＺ；逡逑Ｌ邋ｒ邋）邋Ｊ５ＪＪ２Ｊ２Ｌｉ，逦８ａｔｃ＾邋：逡逑＇＜逦？，逦Ｒａｗ邋ＡｊＸＳｊｏ逡逑導一逦＾邋Ａ逡逑ｃ邋娜麟邋ａ：逦１逦逦邋一；逦＾邋ｖ逡逑＇二■私一逦逦逡逑Ａｕ３？ｏ逡逑Ｍｃｘｓｅ＾逡逑图２－４邋Ｓｐｏｔｉｆｙ音乐推荐系统逡逑二、国内音乐推荐系统的发展现状逡逑在基于协同过滤、基于内容的推荐算法的应用基础上，国内在音乐推荐的应逡逑用创新上主要受到ｗｅｂ２．０与社交网络的迅速发展的影响，用户偏好与行为信息逡逑被大量地记录在社交网络数据中，以网易云音乐、虾米音乐为代表的国内主要音逡逑乐网站也越来越重视将传统的推荐算法与社交网络结合起来，在进行音乐、歌单、逡逑１８逡逑

示意图,矩阵分解,实际情况,实验结果

由于对角矩阵Ｓｒｎｘｕ中的奇异值是从大到小进行排列的，那么前个Ａ值也就逡逑代表了前／Ｃ个次对／？ｍｘｎ矩阵的贡献大小。假设我们只需要选取１个奇异值就可以逡逑保留绝大多数信息，那么原始矩阵／？ｍｘｎ就可由图３－１所示的三个灰色小矩阵来逡逑近似描述。逡逑Ｌｅｆｔ邋ｓｉｎｇｕｌａｒ邋ｖｅｃｔｏｒ邋ｏｆ邋Ｒ逦ｓｉｎｇｕｌａｒ邋ｖａｌｕｅ逦Ｒｉｇｈｔ邋ｓｉｎｇｕｌａｒ邋ｖｅｃｔｏｒ邋ｏｆ邋Ｒ逡逑逦ｎ逦ｊ／逦ｋ逦￣￣逦＾邋ｋ邋「：逦’逦ｎ逡逑ｒ逦＾逦ｌ＂＇＂＇逦逦＇逡逑ｘ邋＼邋ｘ逦ｖｊ逡逑ｋ逦ｋｌ逡逑Ｒ逦＾邋ｉ邋Ｑｉ逡逑ｍ邋逦邋ｍ邋—：逦逡逑图３－１邋ＳＶＤ矩阵分解示意图（ｋ＝ｌ）逡逑在实际情况中，ｆｃ值的选取一般需要多次实验结果来确定。当选定／ｃ值后，对逡逑角矩阵Ｓｍｘｒｉ可简化为Ｅｆｃｘｆｃ，Ｑｍｘｍ后Ｗ邋—邋列无效可简化为Ｑｍｘｆｃ，以ｘｎ后ｎ邋—／Ｃ逡逑行无效可简化为，公式（３－１）可表示为逡逑＾ｍｘｎ邋￣邋＾ｍｘｋ邋＊邋＾ｎｘｋ邋＞邋＾ｍｘｋ邋￣￣邋Ｑｍｘｋ邋＊邋Ｘｆｅｘｆｃ逦（３＿３）逡逑在用户－项目评分矩阵中，定义ｍ为用户总数，ｎ为项目总数，那么ＬＵＸ；Ｃ就为逡逑用户特征矩阵，为项目特征矩阵。逡逑第二节利用ＳＶＤ计算音乐评分逡逑给定用户－音乐评分矩阵／？ｍｘ？邋＝＝逦７＾表示用户〖对歌曲ｙ做出的喜好，逡逑若用户４未听过歌曲ｓｏｎ％，对应的值缺失。ＳＶＤ算法的目的在于对这些矩阵逡逑中的缺失值做出预测

【相似文献】