社交网络国民安全威胁来源搜索与追踪研究
【学位单位】:北京邮电大学
【学位级别】:硕士
【学位年份】:2018
【中图分类】:TP391.3
【部分图文】:
本章主要利用三种方法进行数据采集,分别为微博API数据接口、网络爬虫逡逑和开放数据集,完成社交网络时空数据的爬取任务,获取新浪微博为主的相关数逡逑据。数据采集的过程如图3-1所示。逡逑+申请通行证及秘钥一?微博API采集数据一逡逑国民安逦微博逦微博逡逑全相关邋,1逦,|使用Scray模型采集|逦数据逦数据逡逑事件关—^N丁.一用户信息一特征 ̄^初步逡逑键字逦提取逦过滤逡逑网络下载逦,逦逡逑1逦微博数据逦 ̄ ̄逦逦逡逑微博逡逑数据逦数据库逡逑分类 ̄",存储逡逑过滤逡逑图3-1社交网络数据的采集过程逡逑收集的微博数据内容为微博文本、微博发布时间、微博发布地点、微博转发逡逑文本、微博转发数量、微博评论数量、微博点赞数量和对应的微博用户id,微博逡逑用户内容为用户id、用户昵称、用户所在地点、用户所发微博数量、用户关注数逡逑量和用户粉丝数量。逡逑在微博数据的特征提取中,主要是指社交特征和用户特征两方面。社交特征逡逑是指微博传播网络相关的属性,例如转发量、评论量、点赞量等涉及到用户之间逡逑交互动作的数据。用户特征则是指与当前用户相关的特征
(Scheduler)、用于下载网页内容的下载器(Downloader)和用于提取网页内容的逡逑爬虫(Spiders)等基本组件,除此之外还有持久化处理数据的运输管道和位于不同逡逑组件之间处理请求及响应的中间件。本章具体的爬虫框架如图3-3所示。逡逑本章使用的Scrapy运行流程如下:逡逑(1)
fi是.逡逑(JSON格式(逡逑iiimssi逡逑图3-2使用微博API获取数据的流程图逡逑3.1.2使用网络爬虫获取微博用户数据逡逑在下载公开的微博数据集后,微博的主要信息以json数组的形式存储在txt逡逑文件中,包括发布时间、文本内容、图像链接等。通过提取数据中的用户id构逡逑成用户列表,构造URL,采用爬虫工具从网页中获取相关的用户信息。逡逑网络爬虫是指在互联网络上抓取所需信息的数据获取的工具。本节使用的爬逡逑虫软件主要为以python开发的一个快速的屏幕和网页抓取框架scrapy,用于从逡逑界面源代码中提取结构化的数据。Scrapy主要使用了异步Twisted网络库来处理逡逑网络通讯,包括了用来处理整个系统的数据流的引擎、用于决定URL的调度器逡逑(Scheduler)、用于下载网页内容的下载器(Downloader)和用于提取网页内容的逡逑爬虫(Spiders)等基本组件,除此之外还有持久化处理数据的运输管道和位于不同逡逑组件之间处理请求及响应的中间件。本章具体的爬虫框架如图3-3所示。逡逑本章使用的Scrapy运行流程如下:逡逑(1)
【参考文献】
相关期刊论文 前10条
1 徐杰;王菊韵;张海云;;基于复杂网络的社交网络用户影响力研究[J];中国传媒大学学报(自然科学版);2017年02期
2 游新年;刘群;;基于传染病模型的微博信息传播预测研究[J];计算机应用与软件;2016年05期
3 韩忠明;张梦;谭旭升;段大高;司慧琳;;基于自激点过程的网络热点话题传播模型[J];计算机学报;2016年04期
4 方星;黄培清;黄新华;;突发事件中不实信息传播的传染病模型研究[J];中国安全科学学报;2015年11期
5 吴岘辉;张晖;赵旭剑;李波;杨春明;;基于用户行为网络的微博意见领袖挖掘算法[J];计算机应用研究;2015年09期
6 杨善林;王佳佳;代宝;李旭军;姜元春;刘业政;;在线社交网络用户行为研究现状与展望[J];中国科学院院刊;2015年02期
7 樊兴华;赵静;方滨兴;李欲晓;;影响力扩散概率模型及其用于意见领袖发现研究[J];计算机学报;2013年02期
8 李玉贞;胡勇;熊熙;马晓娟;张敏;;微博意见领袖的评估模型[J];信息安全与通信保密;2013年02期
9 祝帅;郑小林;陈德人;;论坛中的意见领袖自动发现算法研究[J];系统工程理论与实践;2011年S2期
10 肖宇;许炜;夏霖;;网络社区中的意见领袖特征分析[J];计算机工程与科学;2011年01期
相关硕士学位论文 前6条
1 吴靓婵媛;基于社区发现的网络舆情热点主题识别研究[D];南京理工大学;2017年
2 周国兵;最少门结构的循环神经网络及其应用[D];南京大学;2016年
3 王欢欢;社交网络影响力最大化的研究[D];南京航空航天大学;2016年
4 耿大伟;基于Python技术的校园网搜索引擎的设计与实现[D];燕山大学;2015年
5 杨旭颖;基于SEIR的社交网络信息传播模型的研究[D];西安电子科技大学;2014年
6 李合莉;多层在线社交网络信息传播模型研究[D];山东财经大学;2013年
本文编号:2828852
本文链接:https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/2828852.html