基于主题抽取演化模型的实时新闻推荐系统

发布时间：2017-04-30 03:12

  本文关键词：基于主题抽取演化模型的实时新闻推荐系统，由笔耕文化传播整理发布。

【摘要】：随着互联网尤其是移动互联网的飞速发展,越来越多的人选择使用网络获取新闻资讯。然而,由于互联网信息量太大,在海量新闻资讯面前,人类却无从选择。因此,如何在海量新闻资讯中找到用户真正感兴趣的新闻并将其推荐给用户成为了业界研究的热点。实时新闻推荐系统能够实现对新闻资讯的自动化处理,通过新闻主题演化抽取算法,结合用户画像技术,把新闻内容和用户联系起来,采用大数据实时流处理技术,能够解决大数据背景下的新闻精准推荐问题。本文对新闻主题抽取演化方法和实时推荐系统相关技术进行了研究,主要工作包括：1、提出基于LDA (Latent Dirichlet Allocation)的新闻主题提取和话题演化算法。该算法在传统LDA算法基础上,增加了时间演化的推演过程,通过构建新闻和时间级联表来计算独立性检验卡方参数,更能追踪新闻事件的时效演化特性,可以更有效的抽取出新闻的主题；同时,将基于solrcloud的分布式索引技术应用于新闻文本处理,实现了高性能分布式计算。2、提出一种基于用户画像技术的交替最小二乘UP-ALS的协同推荐算法。新算法结合用户画像标签权重和交替最小二乘ALS预测评分矩阵完成协同推荐的计算,更精准地定位用户喜好；为满足大数据环境下实时计算的需要,采用Spark分布式流处理框架实现了UP-ALS算法；实验仿真表明,与矩阵分解模型MFM和ALS算法相比,UP-ALS算法提高了推荐的准确度。3、利用分布式架构构建了实时推荐系统,并对系统的性能进行了调优,展示了系统实现的最终效果,能很好满足用户的个性化阅读需求。
【关键词】：LDA 主题演化 用户画像 实时流处理 分布式索引
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3
【目录】：

• 摘要4-5
• ABSTRACT5-13
• 第一章 绪论13-18
• 1.1 研究背景和意义13-14
• 1.2 国内外研究现状14-15
• 1.2.1 新闻主题抽取演化模型14-15
• 1.2.2 实时推荐系统15
• 1.3 本文所做工作15-16
• 1.4 论文章节安排16-18
• 第二章 相关概念18-32
• 2.1 新闻文本处理18-21
• 2.1.1 主题抽取模型18-19
• 2.1.2 新闻索引19-21
• 2.2 实时系统21-26
• 2.2.1 Storm实时系统22-23
• 2.2.2 Spark实时系统23-26
• 2.3 用户画像26-29
• 2.3.1 用户画像概念26-27
• 2.3.2 构建用户画像27-29
• 2.4 推荐系统29-32
• 2.4.1 推荐算法29-30
• 2.4.2 向量相似度30-32
• 第三章 面向新闻推荐的主题演化算法32-44
• 3.1 主题演化算法32-38
• 3.1.1 LDA主题抽取算法32-36
• 3.1.2 新闻主题动态演化算法36-37
• 3.1.3 主题动态抽取注意事项37-38
• 3.2 SOLR管理新闻索引38-41
• 3.2.1 solr管理索引38-39
• 3.2.2 solrcloud39-40
• 3.2.3 zookeeper管理集群40
• 3.2.4 基于SolrCloud的新闻文本处理40-41
• 3.3 实验分析41-43
• 3.3.1 集群性能指标测试实验41-42
• 3.3.2 新闻主题抽取实验42-43
• 3.4 本章小结43-44
• 第四章 基于UP-ALS的协同推荐算法44-53
• 4.1 最小二乘法44-45
• 4.1.1 RMSE44
• 4.1.2 最小二乘法44-45
• 4.2 SPARK实现非负最小二乘法45-48
• 4.3 UP-ALS协同推荐算法48-50
• 4.3.1 ALS算法48-50
• 4.3.2 UP-ALS算法50
• 4.4 实验分析50-52
• 4.5 本章小结52-53
• 第五章 实时新闻精准推荐系统53-59
• 5.1 系统总体架构图53-54
• 5.2 新闻精准推荐实时处理系统54-56
• 5.2.1 新闻热度54-55
• 5.2.2 实时推荐55-56
• 5.3 新闻精准推荐系统实现56-59
• 总结和展望59-61
• 参考文献61-64
• 攻读硕士学位期间发表的学术论文64-66
• 致谢66

【相似文献】

中国期刊全文数据库 前10条

1 米可菲;张勇;邢春晓;蔚欣;;面向大数据的开源推荐系统分析[J];计算机与数字工程;2013年10期

2 脱建勇;王嵩;李秀;刘文煌;;精品课共享中的推荐系统框架与实现[J];计算机工程与设计;2006年17期

3 苏冠贤;张丽霞;林丕源;刘吉平;;生物信息学推荐系统的设计与实现[J];计算机应用研究;2007年05期

4 王改芬;;推荐系统研究综述[J];软件导刊;2007年23期

5 叶群来;;营销与网络推荐系统[J];电子商务;2007年10期

6 李媚;;个性化网络学习资源推荐系统研究[J];福建电脑;2008年12期

7 潘冉;姜丽红;;基于经济学模型的推荐系统的研究[J];计算机应用与软件;2008年03期

8 刘鲁;任晓丽;;推荐系统研究进展及展望[J];信息系统学报;2008年01期

9 刘小燕;陈艳丽;贾宗璞;沈记全;;基于增强学习的旅行计划推荐系统[J];计算机工程;2010年21期

10 曹畋;;智能推荐系统在知识浏览领域的应用[J];硅谷;2011年21期

中国重要会议论文全文数据库 前8条

1 张燕;李燕萍;;基于内容分析和点击率记录的混合音乐推荐系统[A];2009年通信理论与信号处理学术年会论文集[C];2009年

2 赵欣;寇纲;邬文帅;卢艳群;;基于时间密集性的推荐系统攻击检测[A];第六届（2011）中国管理学年会论文摘要集[C];2011年

3 张玉连;张波;张敏;;改进的个性化信息推荐系统的设计与实现[A];2005年全国理论计算机科学学术年会论文集[C];2005年

4 王君;许洁萍;;层次音乐推荐系统的研究[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

5 潘宇;林鸿飞;杨志豪;;基于用户聚类的电子商务推荐系统[A];第三届学生计算语言学研讨会论文集[C];2006年

6 尤忠彬;陈越;张英;朱扬勇;;基于Web服务的技术转移平台推荐系统研究[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

7 王国霞;刘贺平;李擎;;二部图影射及其在推荐系统中的应用[A];第25届中国控制与决策会议论文集[C];2013年

8 王雪;董爱华;吴怡之;;基于RFID技术的智能服装推荐系统设计[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年

中国重要报纸全文数据库 前2条

1 ;大数据如何“落地”[N];中国新闻出版报;2014年

2 本报记者 邹大斌;大数据：电商新武器[N];计算机世界;2012年

中国博士学位论文全文数据库 前10条

1 周魏;推荐系统中基于目标项目分析的托攻击检测研究[D];重庆大学;2015年

2 王宏宇;商务推荐系统的设计研究[D];中国科学技术大学;2007年

3 杨东辉;基于情感相似度的社会化推荐系统研究[D];哈尔滨工业大学;2014年

4 曹渝昆;基于神经网络和模糊逻辑的智能推荐系统研究[D];重庆大学;2006年

5 王立才;上下文感知推荐系统若干关键技术研究[D];北京邮电大学;2012年

6 刘龙;一个能实现个性化实时路径推荐服务的推荐系统框架[D];中国科学技术大学;2014年

7 李涛;推荐系统中若干关键问题研究[D];南京航空航天大学;2009年

8 刘士琛;面向推荐系统的关键问题研究及应用[D];中国科学技术大学;2014年

9 李方方;非独立同分布推荐系统研究[D];北京理工大学;2014年

10 李晓建;基于语义的个性化资源推荐系统中关键技术研究[D];武汉大学;2010年

中国硕士学位论文全文数据库 前10条

1 朱孔真;基于云计算的电子商务智能推荐系统研究[D];武汉理工大学;2014年

2 郭敬泽;基于赋权评分和Dpark的分布式推荐系统研究与实现[D];天津理工大学;2015年

3 周俊宇;信息推荐系统的研究与设计[D];江南大学;2015年

4 李炜;基于电子商务平台的保险推荐系统的设计与实现[D];复旦大学;2013年

5 车丰;基于排序主题模型的论文推荐系统[D];大连海事大学;2015年

6 秦大路;基于因式分解机模型的上下文感知推荐系统研究[D];郑州大学;2015年

7 徐霞婷;动态路网监控与导航推荐系统的设计与实现[D];苏州大学;2015年

8 黄学峰;基于Hadoop的电影推荐系统研究与实现[D];南京师范大学;2015年

9 路小瑞;基于Hadoop平台的职位推荐系统的设计与实现[D];上海交通大学;2015年

10 李爱宝;基于组合消费行为分析的团购推荐系统的设计与实现[D];哈尔滨工业大学;2015年

  本文关键词：基于主题抽取演化模型的实时新闻推荐系统，由笔耕文化传播整理发布。

，

本文编号：336134