社交网络结构特性研究

发布时间：2017-10-09 12:37

  本文关键词：社交网络结构特性研究

  更多相关文章： 社交网络 度分布 同配性 互相关注率 并行化 分布式

【摘要】：近年来,随着互联网技术的发展,尤其移动互联网的普及,社交网络作为一种比较真实,稳定的交友模式在社会上越来越受欢迎。尤其以Twitter, facebook,新浪微博为代表这类在线社交网络呈现爆炸式发展。新浪微博官方数据显示,截止到2013年3月,新浪微博的注册用户已经超过5.3亿。 社交网络作为现实生活中真实关系在网络上的一种拓展,所以具有一般人际网络的特征,相对有序,结构呈现一定的规律。基于此,我们认为对社交网络的结构进行研究是可行的,对于促进社交网络的进一步发展也具有重要意义。 本文以复杂网络的基础理论为依据,结合图论的相关知识,对社交网络的结构进行深入的研究。首先搭建了稳定的、高性能的数据采集平台。在平台上,使用并行化计算框架Hadoop作为核心技术设计了爬虫模块,对广度优先的基础上做出改进,提出加权的广度优先算法作为爬虫策略以实现随机抽样。在分布式存储模块,采用一致性哈希算法作为数据设备映射算法。对数据库采用读写分离技术以及副本集技术提高数据库集群的稳定性和响应速度。其次,对新浪微博真实网络和去除人工干预之后的网络做结构性分析。采用最大似然估计的方法拟合度分布的曲线分析网络的无尺度特性,基于Hadoop计算框架改进的dijkstra算法计算平局最短路径长度来分析网络的小世界特性,通过互相关注率分析网络的对称性,通过计算网络的皮尔逊系数来表征网络的同配性,通过联合度分布来测量网络的入度分布和出度分布的相关性。 经过分析得出新浪微博的真实网络更像是一个信息发布,传播的平台,经过去除人工干预之后的网络从结构上更像是经典的社交网络。
【关键词】：社交网络 度分布 同配性 互相关注率 并行化 分布式
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.092
【目录】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 绪论9-14
• 1.1 研究背景与意义9-10
• 1.1.1 研究背景9-10
• 1.1.2 研究意义10
• 1.2 国内外研究现状10-11
• 1.3 论文结构及研究内容11-14
• 第二章 社交网络数据挖掘原理14-25
• 2.1 数据采集与存储技术14-20
• 2.1.1 爬虫策略介绍14-15
• 2.1.2 并行式计算框架Hadoop15-18
• 2.1.3 数据库技术18-20
• 2.2 社交网络建模分析技术20-24
• 2.2.1 复杂网络模型20-22
• 2.2.2 复杂网络结构特征参数22-24
• 2.3 本章小结24-25
• 第三章 数据采集存储平台设计和实现25-43
• 3.1 整体框架设计25-26
• 3.2 采集平台26-31
• 3.2.1 爬虫策略26-28
• 3.2.2 分布式爬虫模块28-31
• 3.3 存储平台31-34
• 3.3.1 数据映射层32-33
• 3.3.2 分布式数据集群33-34
• 3.4 性能测试34-41
• 3.4.1 测试条件介绍35
• 3.4.2 测试结果分析35-39
• 3.4.3 数据结果描述39-41
• 3.5 本章小结41-43
• 第四章 社交网络结构特性分析43-63
• 4.1 无尺度特性44-50
• 4.1.1 计算过程45-46
• 4.1.2 结果分析46-50
• 4.2 小世界特性50-53
• 4.2.1 计算过程50-52
• 4.2.2 结果分析52-53
• 4.3 对称性53-55
• 4.3.1 计算过程53-54
• 4.3.2 结果分析54-55
• 4.4 同配性55-59
• 4.4.1 计算过程55-57
• 4.4.2 结果分析57-59
• 4.5 度相关性59-62
• 4.5.1 计算过程59
• 4.5.2 结果分析59-62
• 4.6 本章小结62-63
• 第五章 总结与展望63-65
• 5.1 本文工作成果总结63
• 5.2 下一步研究工作63-65
• 参考文献65-68
• 致谢68

【共引文献】

中国期刊全文数据库 前10条

1 汪涛,樊孝忠,顾益军,刘林;基于概念分析的主题爬虫设计[J];北京理工大学学报;2004年10期

2 毛晓蛟;;搜索引擎中网络蜘蛛的研究与实现[J];电脑编程技巧与维护;2010年18期

3 刘刚;于力超;;搜索引擎中网络蜘蛛的设计与实现[J];电脑与信息技术;2007年04期

4 包宇宁;使用Java编程解析HTML文档[J];福建电脑;2004年09期

5 付涛;戴玉刚;周登;;链接分析在主题信息检索系统中的应用[J];电脑与电信;2009年01期

6 朱丹浩;王东波;Saeed-Ul Hassan;Peter Haddawy;;知识组织视角下关键词网络中的小世界现象[J];图书与情报;2013年06期

7 李婵婵;蒋国平;宋玉蓉;;动态小世界社团网络上的病毒传播研究[J];复杂系统与复杂性科学;2014年03期

8 王洪伟;任豪;;社交网络的有效信息量研究:基于节点强度的分析[J];北京工业大学学报;2015年05期

9 王先培;田猛;董政呈;龙嘉川;代荡荡;朱国威;;通信光缆故障对电力网连锁故障的影响[J];电力系统自动化;2015年13期

10 张红斌;;网上求职机器人的软件设计[J];华东交通大学学报;2006年01期

中国重要会议论文全文数据库 前3条

1 吴春胤;陈联诚;俞守华;;基于AgMES的搜索引擎的设计与实现[A];农业工程科技创新与建设现代农业——2005年中国农业工程学会学术年会论文集第三分册[C];2005年

2 许映秋;杨占波;谈英姿;;基于多主体建模的危机信息传播与控制策略研究[A];2014第二届中国指挥控制大会论文集（下）[C];2014年

3 严岭;李逸群;;网络舆情事件中的微博炒作账号发现方法研究[A];第29次全国计算机安全学术交流会论文集[C];2014年

中国硕士学位论文全文数据库 前10条

1 雷斌;基于Java技术的智能化搜索引擎的研究与设计[D];哈尔滨工程大学;2010年

2 徐东丽;基于Crawler的Web服务搜索研究[D];大连海事大学;2011年

3 赵思佳;基于规则引擎的个性化网页爬虫研究[D];中南大学;2010年

4 金翠平;复杂网络上各向异性Ashkin-Teller模型的相变[D];江西师范大学;2011年

5 张志华;工程软件网络的复杂性与社团结构研究[D];石家庄铁道大学;2011年

6 乔小燕;一类图值过程不具有大团聚性的一个充分条件[D];南京航空航天大学;2010年

7 王晶;基于垂直搜索技术的竞争情报采集系统的设计与实现[D];上海交通大学;2011年

8 黄丹;考虑代价的无标度网络抗攻击性研究[D];中南民族大学;2011年

9 亓玉娟;基于复杂网络的病毒传播研究[D];华中科技大学;2011年

10 何速;社会电视用户行为分析[D];国防科学技术大学;2011年

，

本文编号：1000289