基于ADMM的分布式矩阵分解

发布时间：2017-08-24 00:09

  本文关键词：基于ADMM的分布式矩阵分解

  更多相关文章： 机器学习 推荐系统 ADMM 分布式算法 随机学习

【摘要】：矩阵分解因其模型简单但是效果显著而成为推荐系统领域非常流行的模型之一。但是在互联网时代,在线信息量呈爆发式增长。这种发展趋势一方面促进了个性化推荐系统的广泛应用,另一方面要求数据挖掘类算法向并行分布式方向转变。只有具有良好可扩展性的分布式算法才能处理日益庞大的数据集。因此,近几年来,大数据研究人员致力于研究大规模矩阵分解问题的分布式解决方案。而已有方案在效率、可扩展性等方面仍有很大提升空间。因此,本文提出了一种新的解决方案并将其命名为DS-ADMM(Distributed Stochastic Alternating Direction Methods of Multipliers)。该方案首先提出了一种新的数据分割策略。该策略能够将分布式矩阵分解问题分解成适用于ADMM框架的结构。在此基础上,本文设计并提出了DS-ADMM。为了评测该算法的性能,本文使用MPI(Message Passing Interface)实现该算法,并设计了多组实验测量DS-ADMM和多个已有算法在若干真实数据集上的运行性能。实验结果表明,不论是在效率还是在精度上,DS-ADMM都明显优于已有的分布式矩阵分解模型。
【关键词】：机器学习 推荐系统 ADMM 分布式算法 随机学习
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：O151.21
【目录】：

• 摘要3-4
• ABSTRACT4-10
• 主要符号对照表10-11
• 第一章 绪论11-17
• 1.1 研究意义及目的11-14
• 1.2 本文贡献14-15
• 1.3 本文结构15-17
• 第二章 基础知识17-25
• 2.1 符号说明17
• 2.2 矩阵分解17-18
• 2.3 基于ALS的分布式矩阵分解18-19
• 2.4 基于SGD的分布式矩阵分解19-21
• 2.5 ADMM简介21-22
• 2.6 本章小结22-25
• 第三章 基于ADMM的分布式矩阵分解25-43
• 3.1 大规模矩阵分解问题的分割策略25-30
• 3.1.1 适用于ALS的分割策略26-27
• 3.1.2 适用于SGD的分割策略27-28
• 3.1.3 适用于ADMM的分割策略28-30
• 3.2 分布式ADMM30-31
• 3.3 随机分布式ADMM31-38
• 3.3.1 更新V31-32
• 3.3.2 批处理学习32-38
• 3.3.3 随机学习38
• 3.4 调度策略分析38-40
• 3.5 复杂度分析40-41
• 3.6 本章小结41-43
• 第四章 实验结果和分析43-55
• 4.1 实验设置43-47
• 4.1.1 实验平台43
• 4.1.2 实验数据集43-45
• 4.1.3 基准算法介绍45-46
• 4.1.4 参数设置46-47
• 4.2 实验结果47-53
• 4.2.1 准确性和运行效率实验47-50
• 4.2.2 可扩展性实验50-51
• 4.2.3 超参数敏感度实验51-53
• 4.3 本章小结53-55
• 第五章 全文总结55-57
• 5.1 结论55
• 5.2 展望55-57
• 参考文献57-61
• 致谢61-63
• 攻读学位期间发表的学术论文目录63-65
• 攻读学位期间参与的项目65-67

【相似文献】

中国期刊全文数据库 前10条

1 鄂国康;;矩阵分解的一般定理及基本分析[J];西南民族学院学报(自然科学版);1991年04期

2 田钟颖,严克明;矩阵分解在运动分析中的应用初探[J];甘肃工业大学学报;1989年04期

3 王群英;;矩阵分解方法的探究[J];长春工业大学学报(自然科学版);2011年01期

4 张海建;;分布式矩阵分解算法在推荐系统中的研究与应用[J];科技通报;2013年12期

5 李华云;;F范数及矩阵分解实例研究[J];现代情报;2008年10期

6 汤彬;段波;;伽马测井分层解释的单一系数分解法[J];物探化探计算技术;1989年04期

7 陈伯伦;陈];邹盛荣;徐秀莲;;基于矩阵分解的二分网络社区挖掘算法[J];计算机科学;2014年02期

8 范云鹏;周水生;;矩阵分解[J];数学学习与研究;2012年03期

9 贺超波;汤庸;沈玉利;石玉强;;应用非负值矩阵分解模型的社区挖掘方法[J];小型微型计算机系统;2014年06期

10 胡家赣;尺度变换和矩阵分解的收敛性[J];计算数学;1983年01期

中国重要会议论文全文数据库 前2条

1 王春江;钱若军;王人鹏;杨联萍;;矩阵分解在张力集成体系模态分析中的应用[A];第九届全国结构工程学术会议论文集第Ⅰ卷[C];2000年

2 王春江;王人鹏;钱若军;王颖;;矩阵分解技术在体系性态综合分析中的初步应用[A];“力学2000”学术大会论文集[C];2000年

中国博士学位论文全文数据库 前5条

1 李英明;矩阵分解在数据挖掘中的应用[D];浙江大学;2014年

2 赵科科;低秩矩阵分解的正则化方法与应用[D];浙江大学;2012年

3 郭亦鸿;利用穆勒矩阵分解定量测量各向异性介质微观结构[D];清华大学;2014年

4 胡惠轶;基于分解的系统辨识方法研究[D];江南大学;2014年

5 陈根浪;基于社交媒体的推荐技术若干问题研究[D];浙江大学;2012年

中国硕士学位论文全文数据库 前10条

1 秦晓晖;个性化微博推荐方法研究[D];华南理工大学;2015年

2 刘凤林;基于矩阵分解的协同过滤推荐算法研究[D];南京理工大学;2015年

3 李源鑫;基于提升的信任融合矩阵分解推荐算法[D];福建师范大学;2015年

4 陈洪涛;基于矩阵分解的常规与长尾捆绑推荐的博弈研究[D];福建师范大学;2015年

5 张济龙;基于概率矩阵分解的推荐算法研究[D];燕山大学;2015年

6 邓志豪;基于物品相似度和主题回归的矩阵分解推荐算法[D];浙江大学;2015年

7 余露;利用矩阵分解算法建模数据稀疏环境下用户协同行为[D];杭州师范大学;2015年

8 倪泽明;混合用户行为建模的概率矩阵分解推荐算法[D];浙江大学;2015年

9 丁浩;基于协同矩阵分解的药物靶标相互作用关系预测[D];复旦大学;2014年

10 吴世伟;社会网络中的链接分析[D];复旦大学;2014年

，

本文编号：728083