基于HITS算法的微博采集系统设计与实现

发布时间：2021-04-18 05:48

　　微博是微型博客的简称,属于博客的一种形式,是通过用户之间的关注关系来分享短小、即时信息的广播式的网络社交方式。微博在近几年迎来了爆炸式的发展,并且逐步成为目前网上最流行的社交场所之一。截至2017年9月,新浪微博的月活跃用户已经达到了3.76亿,每天的活跃用户已经达到1.65亿,微博活跃用户持续稳步增长。目前,微博网络的影响力越来越大,政府、企业、学校、明星甚至各大新闻媒体网站都开通的微博。越来越多的人们参与进来,使微博上每天都产生大量新的信息。为了利用好海量微博信息,挖掘微博的潜在价值,对微博关键信息特别是一些具有大量粉丝的在微博网络中具有较高影响力的用户所发布的微博信息的采集,在网络舆情分析中是很有必要的。因此,本文致力于研究微博信息的采集以及微博用户影响力的分析,并设计实现了一种基于Hits算法的微博采集系统。本系统主要实现的功能为对微博内容进行基于关键字的采集并根据微博用户的影响力大小对采集结果进行排序进而呈献给用户。本文主要工作包括以下几个方面:（1）阅读大量的文献和相关资料并对到目前为止的微博微博信息采集和结果排序算法研究现状进行了初步了解,在掌握微博信息采集和排序的研究背... 

【文章来源】：山东师范大学山东省

【文章页数】：54 页

【学位级别】：硕士

【部分图文】：

系统层次设计图

图 4-4 系统整体4.4.1 获取授权模块设计要想获得新浪 API 接口的使用权，必须要经台创建自己的微博应用来获取 App Key 才行。关里介绍一下微博应用的创建过程，如图 4-5 所示图 4-5 微博应为了获得较高频率的 API 调用权限，本文系

图 4-4 系统整体功能结构图4.4.1 获取授权模块设计要想获得新浪 API 接口的使用权，必须要经过授权，而获取授权则要利用台创建自己的微博应用来获取 App Key 才行。关于 API 接口与微博应用前文已里介绍一下微博应用的创建过程，如图 4-5 所示。

【参考文献】：
期刊论文
[1]基于微博信息的关键词库爬虫策略[J]. 林红静,黄梦醒.  海南大学学报(自然科学版). 2016(02)
[2]社交网络挖掘方案研究[J]. 俞忻峰.  现代电子技术. 2015(04)
[3]基于MapReduce的HITS算法的实现[J]. 余辉,王笑梅.  上海师范大学学报(自然科学版). 2013(05)
[4]基于Visual Studio 2010的员工信息数据库设计和实现[J]. 张运诗,仲兆准,钟胜奎,谢光伟.  电脑知识与技术. 2013(28)
[5]基于API的微博信息采集系统设计与实现[J]. 吴斌杰,徐子玮,虞飞华.  电脑知识与技术. 2013(17)
[6]微博意见领袖的评估模型[J]. 李玉贞,胡勇,熊熙,马晓娟,张敏.  信息安全与通信保密. 2013(02)
[7]基于MapReduce的微博用户搜索排名算法[J]. 梁秋实,吴一雷,封磊.  计算机应用. 2012(11)
[8]浅谈SQL Server数据库的特点和基本功能[J]. 闫旭.  价值工程. 2012(22)
[9]基于OAuth2.0的认证授权技术[J]. 时子庆,刘金兰,谭晓华.  计算机系统应用. 2012(03)
[10]PageRank算法研究综述[J]. 李稚楹,杨武,谢治军.  计算机科学. 2011(S1)

硕士论文
[1]基于K-Shell算法的社交网络影响力主体识别方法研究[D]. 谭啸宇.北京交通大学 2017
[2]基于关键词的微博爬虫系统的设计与实现[D]. 叶婷.浙江工业大学 2016
[3]基于增量式爬虫的搜索引擎系统的设计与实现[D]. 韩逸.东北大学 2015
[4]基于用户反馈信息的新闻推荐系统设计与实现[D]. 何希真.山东师范大学 2015
[5]面向微博的数据采集和分析系统的设计与实现[D]. 冯典.北京邮电大学 2013
[6]基于云计算环境的web结构挖掘算法研究[D]. 李辉.浙江理工大学 2012
[7]基于搜索引擎网页排序算法研究[D]. 李宜兵.沈阳理工大学 2011
[8]模糊聚类在搜索引擎自动分类上的应用[D]. 严海兵.苏州大学 2009
[9]基于改进HITS算法及位置信息的关键网页信息抽取方法[D]. 陈翰生.复旦大学 2009
[10]PageRank的算法改进[D]. 王磊.上海交通大学 2009



本文编号：3144929