基于Hadoop平台的个性化新闻推荐系统的设计与实现
发布时间：2021-10-05 02:54
这是一个追求信息的时代,随着互联网技术的普及,人们获取信息的途径越来越容易了。为了满足人们对信息的渴望追求,各种各样的新闻资讯类应用开发层出不穷,网络新闻通过新闻展示,超链接等方式可以容纳海量的信息,新闻也更丰富,也越来越多样化。但是互联网上信息数据以爆炸式的速度快速增长,产生了许多的垃圾信息并导致了信息过载出现并变得越来越严重,信息过载慢慢成为人们迅速尔高效获取有用资讯信息的一个巨大的障碍,这导致消费者想从大量信息（物品）中找到自己感兴趣的信息,信息产出者想让自己生产的信息脱颖而出从而得到关注都是一件很难的问题,推荐系统的任务就是连接用户和信息（物品）。在信息过载的推动下,推荐系统成为了各大互联网公司攻城略地开疆拓土的必备良器。个性化新闻推荐系统就是为了解决信息过载这个问题。为了实现精准的个性化服务首先便是对用户进行建模,完善用户画像,其次使用现有的推荐算法作为召回操作并参考实际业务需求添加符合业务的召回方法,为个性化推荐提供较好的推荐底层数据,然后使用机器学习算法中的逻辑回归模型做点击率预估,在这个部分之前我们使用到了最优化算法与特征提取等方法对模型进行优化,这提高了我们的模型的准...
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
图３－１用户画像功能用例图??Ｆｉｇｕｒｅ?３－１?Ｕｓｅｒ?Ｐｏｒｔｒａｉｔ?Ｕｓｅ?Ｃａｓｅ?Ｄｉａｇｒａｍ??为了实现新闻的个性化推荐，我们要对每一个用户进行用户行为挖掘计算得??
召回功能又被细化为六种具体的召回功能，其中包括：热点召回功能，基于??用户的协同过滤召回功能，兴趣点召回功能，矩阵分解召回功能，高质量文章召??回功能，分类召回功能，用例图如图３－２。??热点召回的主要功能是找到实时的热点新闻，更新频率是每一个小时进行一??次。热点召回功能又被分为两个部分：热点公式计算召回与分群热点模型召回。??分群热点模型召回它主要使用了用户人口画像进行用户分群，在使用单位时间窗??口内的统计数据与新闻数据通过逻辑回归模型进行用户分群下热点新闻的精确召??回。热点公式计算的主要作用是使用统计数据通过新闻热点公式计算每条新闻的??热点得分，以此为新闻热点评判的标准。??矩阵分解召回功能中只是使用到了用户ＩＤ与新闻ＩＤ进行计算，它通过补全用??户－新闻矩阵来粗略的计算用户对未点击新闻的预测点击率，并按照用户数量进行??召回，召回数量按照预测点击率进行排序并截取。??１３??
?＼??ｙｍｍｉｎ）??图３－２召回功能用例图??Ｆｉｇｕｒｅ?３－２?Ｕｓｅ?Ｃａｓｅ?Ｄｉａｇｒａｍ?ｏｆ?Ｒｅｃａｌｌ?Ｆｕｎｃｔｉｏｎ??在兴趣点召回功能使用的召回维度是所有兴趣点，对每个兴趣点进行单独召??回，并使用新闻得分进行排序，以此选择每个兴趣点得分高的的文章。??新闻得分功能是使用新闻与用户的统计数据通过的新闻得分计算公式进行计??算并保存，其中计算公式是使用的新闻点击率，时间差等进行加权计算的。??高质量新闻召回是在新闻入库之时，编辑会对文章进行检验，并将高质量文??１４??
【参考文献】：
期刊论文
[1]循环神经网络研究综述[J]. 杨丽,吴雨茜,王俊丽,刘义理. 计算机应用. 2018(S2)
[2]基于Spark的并行化协同深度推荐模型[J]. 贾晓光. 计算机工程与应用. 2018(14)
[3]深度学习下的推荐系统研究[J]. 王涛,李明. 电脑知识与技术. 2017(25)
[4]基于巴氏系数和Jaccard系数的协同过滤算法[J]. 杨家慧,刘方爱. 计算机应用. 2016(07)
[5]基于MDLP-Apriori算法的离散Shannon熵值标签排序[J]. 于磊,王普,赵寒,翁壮. 计算机应用研究. 2016(06)
[6]社会化推荐系统研究[J]. 孟祥武,刘树栋,张玉洁,胡勋. 软件学报. 2015(06)
[7]个性化推荐系统概述[J]. 高凤丽,孙连山. 技术与市场. 2015(02)
[8]深度学习研究综述[J]. 尹宝才,王文通,王立春. 北京工业大学学报. 2015(01)
[9]基于MapReduce的矩阵分解推荐算法研究[J]. 张宇,程久军. 计算机科学. 2013(01)
[10]个性化推荐系统的研究进展[J]. 刘建国,周涛,汪秉宏. 自然科学进展. 2009(01)
硕士论文
[1]基于内容的推荐与协同过滤融合的新闻推荐研究[D]. 唐瑞.重庆理工大学 2016
本文编号：3418859
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
图３－１用户画像功能用例图??Ｆｉｇｕｒｅ?３－１?Ｕｓｅｒ?Ｐｏｒｔｒａｉｔ?Ｕｓｅ?Ｃａｓｅ?Ｄｉａｇｒａｍ??为了实现新闻的个性化推荐，我们要对每一个用户进行用户行为挖掘计算得??
召回功能又被细化为六种具体的召回功能，其中包括：热点召回功能，基于??用户的协同过滤召回功能，兴趣点召回功能，矩阵分解召回功能，高质量文章召??回功能，分类召回功能，用例图如图３－２。??热点召回的主要功能是找到实时的热点新闻，更新频率是每一个小时进行一??次。热点召回功能又被分为两个部分：热点公式计算召回与分群热点模型召回。??分群热点模型召回它主要使用了用户人口画像进行用户分群，在使用单位时间窗??口内的统计数据与新闻数据通过逻辑回归模型进行用户分群下热点新闻的精确召??回。热点公式计算的主要作用是使用统计数据通过新闻热点公式计算每条新闻的??热点得分，以此为新闻热点评判的标准。??矩阵分解召回功能中只是使用到了用户ＩＤ与新闻ＩＤ进行计算，它通过补全用??户－新闻矩阵来粗略的计算用户对未点击新闻的预测点击率，并按照用户数量进行??召回，召回数量按照预测点击率进行排序并截取。??１３??
?＼??ｙｍｍｉｎ）??图３－２召回功能用例图??Ｆｉｇｕｒｅ?３－２?Ｕｓｅ?Ｃａｓｅ?Ｄｉａｇｒａｍ?ｏｆ?Ｒｅｃａｌｌ?Ｆｕｎｃｔｉｏｎ??在兴趣点召回功能使用的召回维度是所有兴趣点，对每个兴趣点进行单独召??回，并使用新闻得分进行排序，以此选择每个兴趣点得分高的的文章。??新闻得分功能是使用新闻与用户的统计数据通过的新闻得分计算公式进行计??算并保存，其中计算公式是使用的新闻点击率，时间差等进行加权计算的。??高质量新闻召回是在新闻入库之时，编辑会对文章进行检验，并将高质量文??１４??
【参考文献】：
期刊论文
[1]循环神经网络研究综述[J]. 杨丽,吴雨茜,王俊丽,刘义理. 计算机应用. 2018(S2)
[2]基于Spark的并行化协同深度推荐模型[J]. 贾晓光. 计算机工程与应用. 2018(14)
[3]深度学习下的推荐系统研究[J]. 王涛,李明. 电脑知识与技术. 2017(25)
[4]基于巴氏系数和Jaccard系数的协同过滤算法[J]. 杨家慧,刘方爱. 计算机应用. 2016(07)
[5]基于MDLP-Apriori算法的离散Shannon熵值标签排序[J]. 于磊,王普,赵寒,翁壮. 计算机应用研究. 2016(06)
[6]社会化推荐系统研究[J]. 孟祥武,刘树栋,张玉洁,胡勋. 软件学报. 2015(06)
[7]个性化推荐系统概述[J]. 高凤丽,孙连山. 技术与市场. 2015(02)
[8]深度学习研究综述[J]. 尹宝才,王文通,王立春. 北京工业大学学报. 2015(01)
[9]基于MapReduce的矩阵分解推荐算法研究[J]. 张宇,程久军. 计算机科学. 2013(01)
[10]个性化推荐系统的研究进展[J]. 刘建国,周涛,汪秉宏. 自然科学进展. 2009(01)
硕士论文
[1]基于内容的推荐与协同过滤融合的新闻推荐研究[D]. 唐瑞.重庆理工大学 2016
本文编号：3418859
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3418859.html
