基于层叠架构推荐系统的研究与设计
发布时间：2021-12-18 16:30
随着科技的不断进步,人们的生活质量有了明显的提高,当今社会已经步入大数据与智能化快速发展的阶段,信息爆炸是互联网赋予现代社会的特征,人工智能和大数据技术的普及,促进了推荐系统的快速发展。通过对海量信息的挖掘与分析,可以使推荐更符合人们的选择,打破了传统推荐系统挖掘分析不充分的壁垒。本文在仔细研究国内外关于推荐系统相关算法的基础上,结合当前最新的大数据技术,成功设计出基于分布式,层叠模式,B/S架构,高并发,响应快,精度高的推荐系统。本文利用基于Hadoop生态系统组件,包括HBase,Spark框架,结合Web后端技术,通过层叠架构的混合推荐算法,部署了整个基于海量数据的推荐系统算法与软件工程协同设计方案。设计了基于层叠架构的混合推荐算法工程,整个算法流程分为三个阶段,首先在Spark平台下将基于记忆的物品协同相似度算法和基于TF-IDF的内容相似度算法通过RDD方式构建DAG有向无环图形成第一阶段的相似度模型进行物品的关联获取。接着采用特征编码方式构建用户画像模型和物品画像模型引入分类样本,最后构建DNN深度神经网络分类器,该网络将Embedding作为输入层,多个隐藏层,Softm...
【文章来源】：广西师范大学广西壮族自治区
【文章页数】：62 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 课题研究背景及意义
1.2 推荐系统研究现状
1.3 本文的主要研究内容及工作安排
第2章 层叠式推荐系统整体架构
2.1 系统的整体架构
2.2 系统的元数据信息
2.2.1 数据获取
2.2.2 数据预处理
2.3 推荐混合算法设计流程
2.4 推荐系统协同设计流程
2.5 本章小结
第3章 层叠式混合算法建模设计
3.1 算法建模总流程
3.2 相似度模型设计
3.2.1 基于记忆的物品协同相似度算法
3.2.2 基于TF-IDF的内容相似度算法
3.2.3 基于Spark框架的算法实现
3.3 用户画像和物品画像模型设计
3.3.1 用户画像和物品画像的简介
3.3.2 用户画像和物品画像建模
3.4 推荐分类器的设计
3.4.1 词嵌入和DNN的简介
3.4.2 推荐分类模型结构
3.4.3 推荐分类模型优化
3.5 本章小结
第4章 层叠式推荐系统协同设计
4.1 系统服务总流程
4.2 推荐系统平台的环境部署设计
4.2.1 Web引擎层的配置设计
4.2.2 大数据平台的框架配置设计
4.3 模型文件表设计
4.3.1 HBase简介
4.3.2 HBase表设计
4.4 模型存储设计
4.5 模型查询设计
4.6 上游服务器推荐流程软件工程设计
4.7 本章小结
第5章 实验结果和系统测试分析
5.1 推荐系统性能测试
5.1.1 相似度模型算法性能测试
5.1.2 分类模型算法性能测试
5.2 推荐系统服务测试
5.2.1 AB压力性能测试
5.2.2 前端推荐展示
5.3 本章小结
第6章 总结与展望
6.1 总结
6.2 展望
参考文献
攻读硕士学位期间的科研成果
致谢
【参考文献】：
期刊论文
[1]基于混合maxout单元的卷积神经网络性能优化[J]. 赵慧珍,刘付显,李龙跃,罗畅. 通信学报. 2017(07)
[2]面向用户兴趣与社区关系的微博话题检测方法[J]. 刘志雄,贾彩燕. 智能系统学报. 2016(03)
[3]基于Hadoop平台协同过滤推荐算法[J]. 杨志文,刘波. 计算机系统应用. 2013(07)
[4]一种基于Hadoop的个性化推荐系统架构[J]. 张永霞,王洪波,程时端. 新型工业化. 2012(08)
[5]基于Hadoop的Web日志挖掘[J]. 程苗,陈华平. 计算机工程. 2011(11)
[6]协同过滤系统项目冷启动的混合推荐算法[J]. 郭艳红,邓贵仕. 计算机工程. 2008(23)
[7]基于BSP模型的大规模线性规划并行算法研究[J]. 田媛,彭勤科. 微机发展. 2005(12)
硕士论文
[1]基于深度学习的Web社区推荐算法研究与应用[D]. 刘宇宁.西南交通大学 2018
[2]基于HBase的车辆轨迹数据管理与分析[D]. 雷云鹏.西南交通大学 2017
[3]基于稀疏自动编码器和边缘降噪自动编码器的深度学习算法研究[D]. 邓俊锋.武汉科技大学 2016
[4]基于MapReduce的热点话题发现及演化分析方法研究[D]. 谭真.国防科学技术大学 2014
[5]基于混合模式的个性化推荐系统的应用研究[D]. 石静.武汉理工大学 2010
[6]分布式并行文件系统DPFS的SSI技术[D]. 严功军.电子科技大学 2004
本文编号：3542768
【文章来源】：广西师范大学广西壮族自治区
【文章页数】：62 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 课题研究背景及意义
1.2 推荐系统研究现状
1.3 本文的主要研究内容及工作安排
第2章 层叠式推荐系统整体架构
2.1 系统的整体架构
2.2 系统的元数据信息
2.2.1 数据获取
2.2.2 数据预处理
2.3 推荐混合算法设计流程
2.4 推荐系统协同设计流程
2.5 本章小结
第3章 层叠式混合算法建模设计
3.1 算法建模总流程
3.2 相似度模型设计
3.2.1 基于记忆的物品协同相似度算法
3.2.2 基于TF-IDF的内容相似度算法
3.2.3 基于Spark框架的算法实现
3.3 用户画像和物品画像模型设计
3.3.1 用户画像和物品画像的简介
3.3.2 用户画像和物品画像建模
3.4 推荐分类器的设计
3.4.1 词嵌入和DNN的简介
3.4.2 推荐分类模型结构
3.4.3 推荐分类模型优化
3.5 本章小结
第4章 层叠式推荐系统协同设计
4.1 系统服务总流程
4.2 推荐系统平台的环境部署设计
4.2.1 Web引擎层的配置设计
4.2.2 大数据平台的框架配置设计
4.3 模型文件表设计
4.3.1 HBase简介
4.3.2 HBase表设计
4.4 模型存储设计
4.5 模型查询设计
4.6 上游服务器推荐流程软件工程设计
4.7 本章小结
第5章 实验结果和系统测试分析
5.1 推荐系统性能测试
5.1.1 相似度模型算法性能测试
5.1.2 分类模型算法性能测试
5.2 推荐系统服务测试
5.2.1 AB压力性能测试
5.2.2 前端推荐展示
5.3 本章小结
第6章 总结与展望
6.1 总结
6.2 展望
参考文献
攻读硕士学位期间的科研成果
致谢
【参考文献】：
期刊论文
[1]基于混合maxout单元的卷积神经网络性能优化[J]. 赵慧珍,刘付显,李龙跃,罗畅. 通信学报. 2017(07)
[2]面向用户兴趣与社区关系的微博话题检测方法[J]. 刘志雄,贾彩燕. 智能系统学报. 2016(03)
[3]基于Hadoop平台协同过滤推荐算法[J]. 杨志文,刘波. 计算机系统应用. 2013(07)
[4]一种基于Hadoop的个性化推荐系统架构[J]. 张永霞,王洪波,程时端. 新型工业化. 2012(08)
[5]基于Hadoop的Web日志挖掘[J]. 程苗,陈华平. 计算机工程. 2011(11)
[6]协同过滤系统项目冷启动的混合推荐算法[J]. 郭艳红,邓贵仕. 计算机工程. 2008(23)
[7]基于BSP模型的大规模线性规划并行算法研究[J]. 田媛,彭勤科. 微机发展. 2005(12)
硕士论文
[1]基于深度学习的Web社区推荐算法研究与应用[D]. 刘宇宁.西南交通大学 2018
[2]基于HBase的车辆轨迹数据管理与分析[D]. 雷云鹏.西南交通大学 2017
[3]基于稀疏自动编码器和边缘降噪自动编码器的深度学习算法研究[D]. 邓俊锋.武汉科技大学 2016
[4]基于MapReduce的热点话题发现及演化分析方法研究[D]. 谭真.国防科学技术大学 2014
[5]基于混合模式的个性化推荐系统的应用研究[D]. 石静.武汉理工大学 2010
[6]分布式并行文件系统DPFS的SSI技术[D]. 严功军.电子科技大学 2004
本文编号：3542768
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3542768.html
