新闻事件的分布式混合推荐算法

发布时间：2018-04-27 09:54

  本文选题：Spark + 分布式　； 参考：《北京理工大学学报》2017年07期

【摘要】：针对新闻的个性化服务差及推荐效率低的问题,提出了一种新闻事件的分布式混合推荐算法.该算法改进了传统的层次聚类算法用于新闻事件发现,通过协调簇中心距离和簇间最远距离的权重解决了传统层次聚类中的大簇问题;使用混合推荐算法进行事件推荐,引入了事件的多重特征来计算用户兴趣模型,更准确地表示用户的兴趣偏好;采用Spark分布式计算平台实现该算法,可处理大数据的个性化推荐问题.在公开数据集上的实验结果表明本文方法有效.
[Abstract]:A distributed hybrid recommendation algorithm for news events is proposed to solve the problems of poor personalized service and low recommendation efficiency. This algorithm improves the traditional hierarchical clustering algorithm for news event discovery, solves the problem of large clusters in traditional hierarchical clustering by coordinating the distance between the center of the cluster and the weight of the longest distance between clusters, and uses the hybrid recommendation algorithm to recommend events. The multi-feature of events is introduced to calculate user interest model, and the Spark distributed computing platform is used to implement the algorithm, which can deal with big data's personalized recommendation problem. Experimental results on open data sets show that the proposed method is effective.
【作者单位】： 北京理工大学计算机学院;北京市海量语言信息处理与云计算应用工程技术研究中心;
【基金】：国家自然科学基金资助项目(61370137)
【分类号】：TP391.3

【参考文献】

相关期刊论文 前3条

1 孙玲芳;周加波;徐会;许锋;候志鲁;;基于改进K-means的网络舆情热点事件发现技术[J];计算机与现代化;2014年04期

2 于洪;李转运;;基于遗忘曲线的协同过滤推荐算法[J];南京大学学报(自然科学版);2010年05期

3 李忠俊;周启海;帅青红;;一种基于内容和协同过滤同构化整合的推荐系统模型[J];计算机科学;2009年12期

相关硕士学位论文 前3条

1 杨志伟;基于Spark平台推荐系统研究[D];中国科学技术大学;2015年

2 唐真;基于hadoop的推荐系统设计与实现[D];电子科技大学;2013年

3 周昭涛;文本聚类分析效果评价及文本表示研究[D];中国科学院研究生院（计算技术研究所）;2005年

【共引文献】

相关期刊论文 前10条

1 汪佩;梁立;甘健侯;;基于用户兴趣变化的隐语义协同过滤算法[J];云南师范大学学报(自然科学版);2017年04期

2 牛振东;王帅;王诗航;陈杰;;新闻事件的分布式混合推荐算法[J];北京理工大学学报;2017年07期

3 曲朝阳;徐鹏飞;娄建楼;颜佳;曲楠;;基于协同过滤的电力信息运维知识个性化推荐模型[J];东北师大学报(自然科学版);2017年02期

4 朱海东;李蓓;潘倩;李颖;高健;;基于遗忘曲线理论的作业布置模型研究[J];浙江水利水电学院学报;2017年02期

5 方璐;;移动互联网下本地生活服务O2O个性化推荐策略研究[J];科技创业月刊;2017年06期

6 余鹏程;李烨;;基于属性规则与关联规则的推荐模型设计[J];电子科技;2017年03期

7 王丽颖;葛丽娜;张翼鹏;王红;;增量式聚类的新闻热点话题发现研究[J];计算机与现代化;2017年03期

8 梁婷婷;李春青;李海生;;基于内容过滤PageRank的Top-k学习资源匹配推荐[J];计算机工程;2017年02期

9 赵文涛;成亚飞;王春春;;基于Logistic时间函数和用户特征的协同过滤算法[J];计算机应用与软件;2017年02期

10 孙克雷;陈安东;;基于用户兴趣的个性化推荐算法研究[J];安徽建筑大学学报;2017年01期

相关硕士学位论文 前10条

1 王祥如;基于Hadoop平台的个性化推荐算法研究与应用[D];安徽大学;2016年

2 陈茂军;基于云平台下的数据挖掘研究[D];华东交通大学;2016年

3 刘颖莹;基于密度的聚类算法及在新闻话题发现中的应用研究[D];山东师范大学;2016年

4 张贤德;基于Spark平台的实时流计算推荐系统的研究与实现[D];江苏大学;2016年

5 张韬;基于在线视频用户数据的DMP系统的设计与实现[D];北京交通大学;2016年

6 周文韬;基于Spark平台的混合推荐算法的研究与实现[D];北京交通大学;2016年

7 盛华;聚类分析在文本挖掘中的应用与研究[D];江南大学;2016年

8 李琛轩;面向推荐的大数据计算与存储平台设计与实现[D];哈尔滨工业大学;2016年

9 韩硕;并行程序性能建模关键技术研究[D];哈尔滨工业大学;2016年

10 刘珊珊;基于云计算平台Hadoop的聚类神经网络算法的研究与实现[D];贵州大学;2016年

【二级参考文献】

相关期刊论文 前10条

1 岳香芬;;网络舆情文献聚类分析[J];科技创业月刊;2012年06期

2 刘勘;朱怀萍;胡航;;网络伪舆情的特征研究[J];情报杂志;2011年11期

3 柳虹;徐金华;;网络舆情热点发现研究[J];科技通报;2011年03期

4 郑魁;疏学明;袁宏永;;网络舆情热点信息自动发现方法[J];计算机工程;2010年03期

5 曾润喜;;网络舆情信息资源共享研究[J];情报杂志;2009年08期

6 王伟;许鑫;;基于聚类的网络舆情热点发现及分析[J];现代图书情报技术;2009年03期

7 董丽;邢春晓;王克宏;;基于不同数据集的协作过滤算法评测[J];清华大学学报(自然科学版)网络.预览;2009年04期

8 许海玲;吴潇;李晓东;阎保平;;互联网推荐系统比较研究[J];软件学报;2009年02期

9 周建频;;供应链信息共享与利用的相关模式[J];重庆工学院学报(自然科学版);2009年02期

10 邢春晓;高凤荣;战思南;周立柱;;适应用户兴趣变化的协同过滤推荐算法[J];计算机研究与发展;2007年02期

相关硕士学位论文 前3条

1 梁彦;基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D];中山大学;2014年

2 邱荣财;基于Spark平台的CURE算法并行化设计与应用[D];华南理工大学;2014年

3 冯琳;集群计算引擎Spark中的内存优化研究与实现[D];清华大学;2013年

【相似文献】

相关期刊论文 前10条

1 徐义峰;徐云青;刘晓平;;一种基于时间序列性的推荐算法[J];计算机系统应用;2006年10期

2 余小鹏;;一种基于多层关联规则的推荐算法研究[J];计算机应用;2007年06期

3 张立燕;;一种基于用户事务模式的推荐算法[J];福建电脑;2009年03期

4 王晗;夏自谦;;基于蚁群算法和浏览路径的推荐算法研究[J];中国科技信息;2009年07期

5 周珊丹;周兴社;王海鹏;倪红波;张桂英;苗强;;智能博物馆环境下的个性化推荐算法[J];计算机工程与应用;2010年19期

6 王文;;个性化推荐算法研究[J];电脑知识与技术;2010年16期

7 张恺;秦亮曦;宁朝波;李文阁;;改进评价估计的混合推荐算法研究[J];微计算机信息;2010年36期

8 夏秀峰;代沁;丛丽晖;;用户显意识下的多重态度个性化推荐算法[J];计算机工程与应用;2011年16期

9 杨博;赵鹏飞;;推荐算法综述[J];山西大学学报(自然科学版);2011年03期

10 尹长青;杨单稷;;基于视频的智能推荐算法[J];科技传播;2011年22期

相关会议论文 前7条

1 王韬丞;罗喜军;杜小勇;;基于层次的推荐:一种新的个性化推荐算法[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

2 唐灿;;基于模糊用户心理模式的个性化推荐算法[A];2008年计算机应用技术交流会论文集[C];2008年

3 秦国;杜小勇;;基于用户层次信息的协同推荐算法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

4 梁莘q，

本文编号：1810254