基于Hadoop的改进聚类协同推荐研究
发布时间：2022-08-02 19:15
随着互联网的普及应用,人们可以根据自身需求从网络中获取需要的文本、图片以及视频等信息,满足了人们的多样化信息需求。但是当前的网络中充斥着大量的无用信息,使得人们难以在短时间内获取到真正需求的信息。这就是随着网络发展而带来的信息过载问题,这种现象降低了人们获取信息的效率,影响人们的网络体验。很多企业以及研究机构对此进行了研究,并提出了不同的策略来解决信息过载的问题。其中推荐系统是一种常用的方法,主要是根据用户信息、兴趣爱好以及用户历史行为数据等设计合适的推荐算法,然后推荐出与用户喜好较为一致的信息,采用这种方式可以将用户可能需要或者感兴趣的东西直接推荐给用户,节省了用户巨大的时间和精力。协同推荐算法虽然得到了一定的应用,但是也存在数据稀疏性、冷启动、推荐速度等亟需解决的问题。本文主要针对以上三个问题进行研究与分析,研究的主要内容包括:1本文基于粒子群优化算法（PSO）对传统的K-means算法进行改进。改进后的算法（Deep-K-means算法）不会受到初始聚类中心的影响,同时也不会出现局部最优的情况。该聚类算法具有较强的优势,应用在协同推荐算法上能够有效解决数据稀疏性问题,并能提高推荐...
【文章页数】：60 页
【学位级别】：硕士
【文章目录】：
中文摘要
英文摘要
1 绪论
1.1 课题背景和课题来源
1.2 研究现状
1.2.1 聚类算法研究
1.2.2 推荐算法研究现状
1.2.3 协同推荐算法应用的主要问题
1.3 论文主要研究内容
1.4 论文章节安排
2 研究关键技术
2.1 Hadoop平台
2.1.1 HDFS分布式系统
2.1.2 MapReduce分析
2.2 K-means聚类算法
2.3 几种常见协同过滤算法介绍
2.3.1 基于内存的协同过滤算法
2.3.2 基于模型的协同过滤算法
2.4 相似度算法
2.5 本章小结
3 Deep-K-means聚类算法改进与设计
3.1 聚类算法的主要问题
3.2 粒子群优化算法
3.3 Deep-K-means算法设计
3.3.1 粒子群编码方案
3.3.2 粒子变异操作
3.3.3 算法具体设计
3.4 本章小结
4 基于Hadoop平台的改进算法实现
4.1 解决冷启动问题的推荐算法设计
4.2 稀疏数据处理
4.3 高维数据度量
4.4 Deep-K-means的并行化处理
4.4.1 并行化处理要点
4.4.2 并行PSO算法
4.4.3 并行K-means算法
4.4.4 并行K-means算法设计
4.5 推荐算法的并行化实现
4.6 本章小结
5 实验与实验分析
5.1 实验环境
5.2 实验数据说明
5.3 实验评价指标
5.4 实验结果分析
5.4.1 聚类算法效果对比分析
5.4.2 最优适应值对比
5.4.3 聚类算法时间对比分析
5.4.4 高维数据度量公式验证实验
5.4.5 最近邻数选择实验
5.4.6 冷启动问题算法实验
5.4.7 Hadoop集群加速比实验
5.5 本章小结
6 总结与展望
6.1 总结
6.2 展望
参考文献
附录
致谢
【参考文献】：
期刊论文
[1]基于长尾理论的物品协同过滤Top-N推荐算法[J]. 刘向举,袁煦聪,刘鹏程. 齐齐哈尔大学学报(自然科学版). 2019(02)
[2]改进的基于物品的协同过滤推荐算法[J]. 石京京,肖迎元,郑文广. 天津理工大学学报. 2019(01)
[3]融合用户兴趣分布变化和特征差异的协同过滤推荐算法[J]. 毕孝儒. 计算机时代. 2019(01)
[4]一种基于用户的协同过滤推荐算法[J]. 张双庆. 电脑知识与技术. 2019(01)
[5]结合物品类型和密度峰值聚类的协同过滤推荐算法[J]. 陈帆,孙自强. 华东理工大学学报(自然科学版). 2018(06)
[6]基于信任聚类的协同过滤推荐算法[J]. 王菲,黄刚,朱峥宇. 计算机技术与发展. 2019(05)
[7]复杂情境感知下用户聚类协同推荐算法[J]. 毕孝儒. 现代计算机(专业版). 2018(34)
[8]融合社交网络与关键用户的并行协同过滤推荐算法[J]. 肖成龙,王宁,王永贵. 计算机应用研究. 2019(10)
[9]基于改进聚类和矩阵分解的协同过滤推荐算法[J]. 王永贵,宋真真,肖成龙. 计算机应用. 2018(04)
[10]融合协同过滤的线性回归推荐算法[J]. 庞海龙,赵辉,李万龙,马莹,崔岩. 计算机应用研究. 2019(05)
硕士论文
[1]改进的萤火虫算法及其应用研究[D]. 王艳.西安理工大学 2018
[2]相关性加权K-means算法的改进及其应用[D]. 吴斌.江西理工大学 2018
[3]基于近邻的聚类算法研究[D]. 冯柳伟.北京交通大学 2018
[4]K-means算法的改进及其在文本聚类中的应用研究[D]. 李敏.江南大学 2018
[5]基于SVD和用户聚类的协同过滤算法研究[D]. 王冲.青岛理工大学 2018
[6]基于用户兴趣变化和排序的个性化推荐[D]. 赵春秀.大连海事大学 2018
[7]基于Spark大数据处理的协同过滤推荐系统研究与实现[D]. 王娜.兰州大学 2017
[8]社交网络热点推荐算法的研究与应用[D]. 张乘斐.电子科技大学 2018
[9]基于大数据的协同过滤推荐算法研究[D]. 曹萍.南京农业大学 2014
[10]个性化推荐系统优化及其大数据处理研究[D]. 李星.哈尔滨工程大学 2014
本文编号：3669090
【文章页数】：60 页
【学位级别】：硕士
【文章目录】：
中文摘要
英文摘要
1 绪论
1.1 课题背景和课题来源
1.2 研究现状
1.2.1 聚类算法研究
1.2.2 推荐算法研究现状
1.2.3 协同推荐算法应用的主要问题
1.3 论文主要研究内容
1.4 论文章节安排
2 研究关键技术
2.1 Hadoop平台
2.1.1 HDFS分布式系统
2.1.2 MapReduce分析
2.2 K-means聚类算法
2.3 几种常见协同过滤算法介绍
2.3.1 基于内存的协同过滤算法
2.3.2 基于模型的协同过滤算法
2.4 相似度算法
2.5 本章小结
3 Deep-K-means聚类算法改进与设计
3.1 聚类算法的主要问题
3.2 粒子群优化算法
3.3 Deep-K-means算法设计
3.3.1 粒子群编码方案
3.3.2 粒子变异操作
3.3.3 算法具体设计
3.4 本章小结
4 基于Hadoop平台的改进算法实现
4.1 解决冷启动问题的推荐算法设计
4.2 稀疏数据处理
4.3 高维数据度量
4.4 Deep-K-means的并行化处理
4.4.1 并行化处理要点
4.4.2 并行PSO算法
4.4.3 并行K-means算法
4.4.4 并行K-means算法设计
4.5 推荐算法的并行化实现
4.6 本章小结
5 实验与实验分析
5.1 实验环境
5.2 实验数据说明
5.3 实验评价指标
5.4 实验结果分析
5.4.1 聚类算法效果对比分析
5.4.2 最优适应值对比
5.4.3 聚类算法时间对比分析
5.4.4 高维数据度量公式验证实验
5.4.5 最近邻数选择实验
5.4.6 冷启动问题算法实验
5.4.7 Hadoop集群加速比实验
5.5 本章小结
6 总结与展望
6.1 总结
6.2 展望
参考文献
附录
致谢
【参考文献】：
期刊论文
[1]基于长尾理论的物品协同过滤Top-N推荐算法[J]. 刘向举,袁煦聪,刘鹏程. 齐齐哈尔大学学报(自然科学版). 2019(02)
[2]改进的基于物品的协同过滤推荐算法[J]. 石京京,肖迎元,郑文广. 天津理工大学学报. 2019(01)
[3]融合用户兴趣分布变化和特征差异的协同过滤推荐算法[J]. 毕孝儒. 计算机时代. 2019(01)
[4]一种基于用户的协同过滤推荐算法[J]. 张双庆. 电脑知识与技术. 2019(01)
[5]结合物品类型和密度峰值聚类的协同过滤推荐算法[J]. 陈帆,孙自强. 华东理工大学学报(自然科学版). 2018(06)
[6]基于信任聚类的协同过滤推荐算法[J]. 王菲,黄刚,朱峥宇. 计算机技术与发展. 2019(05)
[7]复杂情境感知下用户聚类协同推荐算法[J]. 毕孝儒. 现代计算机(专业版). 2018(34)
[8]融合社交网络与关键用户的并行协同过滤推荐算法[J]. 肖成龙,王宁,王永贵. 计算机应用研究. 2019(10)
[9]基于改进聚类和矩阵分解的协同过滤推荐算法[J]. 王永贵,宋真真,肖成龙. 计算机应用. 2018(04)
[10]融合协同过滤的线性回归推荐算法[J]. 庞海龙,赵辉,李万龙,马莹,崔岩. 计算机应用研究. 2019(05)
硕士论文
[1]改进的萤火虫算法及其应用研究[D]. 王艳.西安理工大学 2018
[2]相关性加权K-means算法的改进及其应用[D]. 吴斌.江西理工大学 2018
[3]基于近邻的聚类算法研究[D]. 冯柳伟.北京交通大学 2018
[4]K-means算法的改进及其在文本聚类中的应用研究[D]. 李敏.江南大学 2018
[5]基于SVD和用户聚类的协同过滤算法研究[D]. 王冲.青岛理工大学 2018
[6]基于用户兴趣变化和排序的个性化推荐[D]. 赵春秀.大连海事大学 2018
[7]基于Spark大数据处理的协同过滤推荐系统研究与实现[D]. 王娜.兰州大学 2017
[8]社交网络热点推荐算法的研究与应用[D]. 张乘斐.电子科技大学 2018
[9]基于大数据的协同过滤推荐算法研究[D]. 曹萍.南京农业大学 2014
[10]个性化推荐系统优化及其大数据处理研究[D]. 李星.哈尔滨工程大学 2014
本文编号：3669090
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3669090.html
