模糊聚类算法基于Spark的实现与应用

发布时间：2021-09-25 11:47

　　在数据规模呈现出指数增长趋势的今天,如何借助数据挖掘技术从海量数据中快速准确地抽取最精简、最有价值的信息,已经成为当前的研究热点。同时,如何利用数据挖掘技术来提高推荐系统的推荐准确度也成为了重要课题。本文重点对模糊聚类算法及其在协同过滤推荐中的应用进行研究。首先以提高模糊聚类算法的效率为目标,利用大数据处理平台Spark的特点进行了模糊聚类算法FCM的并行化方案设计与实现,该方案用HDFS对底层数据进行分布式存储,用RDD机制进行计算过程中的数据转换,用持久化技术实现中间结果的重用;在KDD CUP99数据集上的聚类实验结果验证了基于Spark平台的并行化FCM算法具有更好的聚类精度和时效性。然后,将并行化的FCM算法与基于用户的协同过滤推荐算法UserCF相结合,设计了融合FCM的UserCF算法,命名为FCM-UserCF算法,该算法首先使用FCM算法将所有用户聚类成几个局部用户群,使UserCF算法查找最近邻居的计算从全局变为局部;用Slope One算法填充用户-项目评分矩阵,以改善数据稀疏性和计算的实时性;用UserCF算法计算用户间的相似度和最近邻,产生预测评分和进行TOP... 

【文章来源】：南京邮电大学江苏省

【文章页数】：61 页

【学位级别】：硕士

【部分图文】：

电子商城推荐原型系统架构

开发环境 版本Java JDK8Maven 3.5.0SpringMVC 5.1.4Spring 5.1.4Mybatis 3.4.6Vue.js 2.6.10MySQL 8.0.15境主要为Spark集群环境，具体的Spark集群环系统网页包括注册登录页面、完善属性信息页网页如图 5.4 至图 5.8 所示。

登录页面效果图


本文编号：3409675