基于兴趣的微博网络社区发现

发布时间：2017-10-14 23:13

  本文关键词：基于兴趣的微博网络社区发现

  更多相关文章： 社区发现 链接 内容 Hadoop 微博

【摘要】：随着社会媒体(social media)的蓬勃发展,世界各地数以亿计的网民在互联网上交流经验、分享观点、发布帖子以及从事大量的日常活动,使得互联网成为一个充满活力与朝气的领域。这些海量信息由每一个社会中的个体收集、整理和发布,同时又被无数的用户阅读和传播并给予及时反馈。它在一定程度上代表了一个线上的人类社会,它积累了海量的可存储信息,这些信息涉及到人类生活的方方面面,蕴含着巨大的价值。微博网络便是社会媒体中的杰出代表,自从微博在中国建立,其便得到快速发展。时至今日,其已经对中国的社会形态产生了巨大的影响。微博已经积累的巨量的数据,有必要对其进行研究和挖掘,通过对微博数据的研究,可以更好的了解和理解人类的行为模式,同时也可以更好的指导产品的开发,进而更好的服务我们的生活。社会网络归根结底是一个网络,由结点和边组成。社区(community)是网络中的子图,社区内部的结点尽可能紧密,社区间的结点尽可能稀疏。对社会网络进行社区发现是了解和理解社会网络的一个重要途径。当前学者们已经提出了很多社区发现方法,但是具体到微博网络,依然需要改进和优化,本文根据微博网络的特点,研究对微博网络的社区发现方法。本文的主要研究工作如下：(1)对微博网络中用户关系进行分析,针对其具体的链接关系属性,提出了新的用户相似性和用户社区相似性度量方法,基于层次社区发现算法思想,构建了一个适用于微博网络的社区发现方法并通过实验分析表明了其有效性。(2)充分利用微博网络信息,对微博内容进行提取和量化,结合上边的链接相似性算法,提出了一种融合内容和链接的框架D-CODICIL,并通过分析表明了其有效性。(3)为了适应微博网络的海量数据,针对融合内容和链接的框架比较耗时的阶段,本文尝试对其进行分布式改造,基于Hadoop的MapReduce计算模型,通过三个MapReduce作业将其并行化,结果表明Hadoop的应用可以大大提高算法的计算效率。
【关键词】：社区发现 链接 内容 Hadoop 微博
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP393.09
【目录】：

• 致谢5-6
• 摘要6-7
• ABSTRACT7-12
• 1 引言12-22
• 1.1 研究背景12-13
• 1.2 研究的意义13-15
• 1.2.1 社区发现13-14
• 1.2.2 社区发现在微博分析的意义14-15
• 1.3 研究现状与面临的挑战15-20
• 1.3.1 常见社区发现方法15-19
• 1.3.2 社区发现面临的问题与挑战19-20
• 1.4 本文的主要研究内容20-21
• 1.5 本文组织结构21-22
• 2 社会媒体网络分析22-27
• 2.1 社会媒体网络属性22-24
• 2.1.1 度分布22-23
• 2.1.2 聚类系数23
• 2.1.3 平均路径长度23-24
• 2.2 微博网络24
• 2.3 本文数据集24
• 2.4 微博社区划分评价方式24-26
• 2.4.1 非量化方式25
• 2.4.2 量化方式25-26
• 2.5 本章小结26-27
• 3 基于关注度的微博社区发现算法27-37
• 3.1 社会媒体用户相似性27-29
• 3.2 微博用户相似性特点29-30
• 3.3 微博相似性30-31
• 3.3.1 用户间相似性30-31
• 3.3.2 社区间相似性31
• 3.4 算法总体思路31-32
• 3.5 算法伪代码32
• 3.6 算法流程图32-34
• 3.7 算法效果分析34-35
• 3.7.1 准确性和时间效率34
• 3.7.2 参数影响34-35
• 3.7.3 社区发现结果分析35
• 3.7.4 相似性分析35
• 3.8 本章小结35-37
• 4 融合内容和链接信息的社区发现算法37-49
• 4.1 相关背景37-39
• 4.1.1 融合信息社区发现发展37-38
• 4.1.2 CODICIL38-39
• 4.2 用户相似性39-40
• 4.2.1 TFIDF39-40
• 4.2.2 内容相似性40
• 4.2.3 融合内容和链接信息的相似性40
• 4.3 微博社区发现方法D-CODICIL详述40-43
• 4.3.1 微博内容向量化40-41
• 4.3.2 方法框架41-43
• 4.3.3 算法说明43
• 4.3.4 社区划分43
• 4.4 算法效果分析43-47
• 4.4.1 准确性与时间效率44-45
• 4.4.2 参数影响45-46
• 4.4.3 社区结点初步分析46-47
• 4.5 本章小结47-49
• 5 D-CODICIL的分布式处理49-64
• 5.1 HADOOP平台以及MAPREDUCE模型49-58
• 5.1.1 产生背景49
• 5.1.2 Hadoop49-51
• 5.1.3 HDFS文件系统51-54
• 5.1.4 MapReduce计算模型54-58
• 5.2 微博社区算法并行化58-62
• 5.2.1 传统算法分析58-59
• 5.2.2 算法并行化59-62
• 5.3 实验结果分析62-63
• 5.3.1 实验环境62
• 5.3.2 Hadoop安装62
• 5.3.3 实验结果62-63
• 5.4 本章小结63-64
• 6 结论64-66
• 6.1 本文主要工作64-65
• 6.2 未来展望65-66
• 参考文献66-69
• 作者简历及攻读硕士学位期间取得的研究成果69-71
• 学位论文数据集71

【相似文献】

中国期刊全文数据库 前10条

1 刘明忠;孙旭东;;网络、网络信息的安全与维护[J];科技信息(科学教研);2007年11期

2 姚俊萍;李新社;封富君;李晓军;;从美军网络空间发展看我军网络空间安全[J];才智;2013年10期

3 温道安,井辉;设计院组建网络浅析[J];安徽建筑;2000年03期

4 唐勇;构建新世纪的网络[J];微电脑世界;2002年07期

5 武海龙;;校园网络的安全分析及防范措施[J];科技信息;2009年02期

6 郭岩;卢涛;杨利伟;;对网络建设管理及其维护的探析[J];甘肃科技;2013年13期

7 郭波 ,施小蕾;网络经济安全与全球企业竞争新规范[J];黑龙江对外经贸;2002年Z1期

8 曹丹;杨莉军;;信息网络化与道德教育[J];电脑知识与技术;2006年14期

9 钱惠新;;网络空间安全技术博弈的成因探究[J];信息与电脑(理论版);2013年09期

10 孙国林;网络传播发展综述[J];成都大学学报(自然科学版);2004年01期

中国重要会议论文全文数据库 前2条

1 周云;;基于网络中心的信息服务模式[A];四川省通信学会2011年学术年会论文集[C];2011年

2 吕红庆;贾英民;;基于网络环境的H_∞状态反馈控制器设计[A];第二十四届中国控制会议论文集（上册）[C];2005年

中国重要报纸全文数据库 前10条

1 袁艺　郭静 唐振刚;网络空间不可“窄化”和“泛化”[N];中国国防报;2012年

2 ;为“超级碗”搭建临时网络[N];网络世界;2009年

3 ;构筑企业网络坚盾[N];中国计算机报;2005年

4 郝叶力;赛博空间：“狼烟四起”的新战场[N];解放军报;2011年

5 ;构建内外结合的防火墙结构[N];人民邮电;2006年

6 金非;“网络战争”只是“网络涂鸦”[N];经济日报;2003年

7 大庆油田有限责任公司录井公司 崔新 北京电信达网络技术有限公司 董为群;轻松把握网络脉博[N];网络世界;2001年

8 李庚辰;网络文化亟待建立道德规范[N];解放军报;2006年

9 陈维义;端点威胁就像禽流感[N];中国计算机报;2006年

10 本报记者 张旭军;有线无线统一管理成真[N];网络世界;2007年

中国博士学位论文全文数据库 前7条

1 柳爽;复杂网络同步控制的若干问题研究[D];上海大学;2015年

2 关晓兰;网络社会生态系统形成机理研究[D];北京交通大学;2011年

3 卢宏超;基于蛋白网络聚类的基因功能研究[D];中国科学院研究生院（计算技术研究所）;2006年

4 谭婷婷;网络微内容推荐方法及支持系统研究[D];华中科技大学;2011年

5 汪荣贵;Bayes网络理论及其在目标检测中应用研究[D];合肥工业大学;2004年

6 易军;针对不确定非线性对象的网络学习控制系统研究[D];上海大学;2007年

7 高建喜;网络的网络的鲁棒性及一致性研究[D];上海交通大学;2012年

中国硕士学位论文全文数据库 前10条

1 薛庆元;基于兴趣的微博网络社区发现[D];北京交通大学;2016年

2 彭军;蓝牙家居控制网络的研究与设计[D];大连理工大学;2006年

3 陆程遂;IMS网络DNS欺骗防御方法研究与实现[D];北京交通大学;2009年

4 侯田;基于多目标优化算法的网络社区检测方法研究[D];西安电子科技大学;2012年

5 孙鹏;基于无线网络的远程心电监护系统设计[D];天津理工大学;2012年

6 宋明浩;车载控制网络的应用节点设计与实现[D];清华大学;2005年

7 钟伟胜;基于网络的实时调度策略研究[D];湖南师范大学;2009年

8 邢晓庆;企业E-Learning网络学习行为分析及研究[D];昆明理工大学;2012年

9 赵新波;网络流量趋势预测算法及在网管中的应用[D];哈尔滨工程大学;2004年

10 杨政安;基于数据挖掘的网络流量异常检测系统研究[D];天津大学;2007年

，

本文编号：1033715