基于云计算平台的复杂网络分析关键算法研究

发布时间：2019-11-29 03:10

【摘要】：Internet的高速发展,将人们带入“知识爆炸”的时代,海量信息在带给人们方便的同时,也增加了人们在海量数据中获取有用知识的难度。复杂网络是20世纪以来出现的新型学科,随着大数据时代的到来,复杂网络进入快速发展的道路,在节点重要性排序、社团挖掘、传播动力学等方面开展了大量的研究,研究成果广泛应用到政治经济、社交媒体、物理生物等领域。但随着研究方法的深入与研究场景的延伸,复杂网络带给人们一个巨大的挑战是如何在大规模网络数据中有效地进行复杂网络研究分析。为应对这些挑战,人们开始使用Hadoop、Spark和GraphLab等大数据工具来进行大规模复杂网络研究分析。本文旨在针对基于云计算的复杂网络关键算法进行研究,设计并实现了三个具有代表性的复杂网络分析算法,这三个算法分别是:基于云计算的节点重要性排序算法、基于云计算的社团挖掘算法和基于云计算的SIR模型传播算法。首先,在对现有的云计算平台以及复杂网络的经典算法进行深入的研究之后,提出基于云计算,面向海量网络数据,可扩张的复杂网络分析算法。其次,根据每个算法的特点选择合适的云计算平台,设计适当的数据结构。不同的云计算平台有不同的应用场景,在合适的云计算平台上进行算法设计可以明显提高算法效率。最后,通过实验对上述三个算法进行正确性及效率验证。基于云计算的节点重要性排序算法利用LeaderRank中每个顶点只考虑与其邻居进行交互的思想,针对GraphLab和Hadoop两个平台进行算法实现。使用随机构造的小网络测试算法的准确性,使用Stanford SNAP上提供的Twitter、Friendster等顶点规模达到上千万的网络数据集来测试在面对大规模网络时的效率。基于云计算的社团挖掘算法利用标签传播的思想,针对GraphLab平台进行算法设计与实现。使用Zachary’s Karate Club这个真实社团结构以及模块度指标来测试算法的准确性,使用Stanford SNAP上的com-Orkut等公用数据集来测试算法在处理大规模网络时的效率。基于云计算的SIR模型传播算法使用度相关感染方式,模拟SIR模型。通过实验发现,本算法有很强的灵活性,可以模拟包括SI、SIS、SIRS等模型,同时在处理大规模网络时表现出高扩展性。通过大量的实验测试发现,本文提出的这三个算法在处理网络数据规模上表现出很高的扩展性,对进行大规模复杂网络分析有很大的优势。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：O157.5;TP301.6

【相似文献】

相关期刊论文 前10条

1 林皎;陈玉洁;张武生;徐伟平;杨广文;;高性能计算平台建设的探索与实践[J];实验技术与管理;2012年05期

2 邓文莲;;访问控制体系在云计算平台中的应用[J];科技通报;2012年12期

3 林皎;张武生;徐伟平;;高性能计算平台开放服务的探索与实践[J];实验技术与管理;2012年03期

4 ;北京建成国内最大工业云计算平台[J];中国科技信息;2010年22期

5 王锋;王金涛;;基于群论的可信云计算平台的研究与设计[J];科技信息;2013年04期

6 赵明明;林卫峰;张宏都;仲崇楠;;高校云计算平台建设的发展趋势[J];实验技术与管理;2011年07期

7 张惠然;戴佳筑;李芝龙;沈小龙;;基于云计算平台的医疗健康监视系统[J];上海大学学报(自然科学版);2013年01期

8 杨润芝;肖卫青;胡开喜;杨昕;王颖;马强;;云计算平台上实现30年气候资料整编的方法[J];计算技术与自动化;2013年03期

9 关伟豪;吴汝明;郭清顺;曾海标;;中山大学高性能计算服务平台的建设[J];实验技术与管理;2011年04期

10 董洋洋;严正伟;曹春军;唐文帅;;江苏省国土资源厅电子政务云计算平台建设研究[J];国土资源信息化;2014年01期

相关会议论文 前10条

1 唐玲;;云计算及其安全问题的研究[A];Proceedings of 2011 National Teaching Seminar on Cryptography and Information Security(NTS-CIS 2011) Vol.1[C];2011年

2 罗锐;;浅谈云计算平台资源优化和维护管理[A];第十四届中国科协年会第20分会场：转型创新促通信业新发展论坛论文集[C];2012年

3 张霖;张煜东;;云计算平台评测体系在新华社云平台的应用研究[A];中国新闻技术工作者联合会第六次会员代表大会、2014年学术年会暨第七届《王选新闻科学技术奖》和优秀论文奖颁奖大会论文集（二等奖）[C];2014年

4 陈红;任怡;刘晓建;;云计算平台下计费机制研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年

5 张大华;罗志明;王铁军;李凡;杨义彬;;云计算平台关键技术研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年

6 陈煜;王树伟;王冠华;;水利工程建设管理云计算平台的研究与实践[A];中国水力发电工程学会信息化专委会、水电控制设备专委会2013年学术交流会论文集[C];2013年

7 赵家敏;王颖;刘青;万金华;张洪伟;何建涛;贲岳;柳晓宁;马艳;赵琰;李勇;;高性能计算平台管理系统[A];电力行业信息化优秀成果集2013[C];2013年

8 吕京建;夏飞;孙磊;尚夏;宋建中;;影响未来汽车工业发展的汽车计算平台——FlexRay技术综述[A];中国汽车工程学会汽车电子技术分会第七届（2006）年会暨学术研讨会论文集[C];2006年

9 曾龙海;张博锋;张丽华;何冰;吴耿锋;徐炜民;;基于云计算平台的虚拟集群构建技术研究[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

10 陈敬东;;基于ATCA通信计算平台的建设与军事应用研究[A];中国造船工程学会电子技术学术委员会2006学术年会论文集（上册）[C];2006年

相关重要报纸文章 前10条

1 北京市计算中心主任 曾宇;以公共计算平台推动企业自主创新发展[N];中国电子报;2009年

2 阿珍;软件云计算平台步入“战国时代”[N];电脑报;2010年

3 记者 刘欢;北京建成国内最大工业云计算平台[N];北京日报;2010年

4 乐天 编译;构建云计算平台的三大误区[N];计算机世界;2010年

5 本报记者 霍光;2011年计算平台 智能终端推动变革[N];中国计算机报;2011年

6 本报记者 李奕;计算平台“应变”之路 三问微服务器[N];中国计算机报;2013年

7 记者　 赵凤华 通讯员　 周襄楠;超级计算平台“清华探索3号”向社会开放[N];科技日报;2006年

8 电脑报 熊雯琳;中化的“云”之路[N];电脑报;2009年

9 本报记者 李雪萌　见习记者 许凯;我省开建千万亿次超级计算平台[N];济南日报;2010年

10 ;微软高效能计算平台助力公共服务体系 为创意文化产业腾飞添翼[N];计算机世界;2008年

相关博士学位论文 前5条

1 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年

2 安鹏;基于四重化冗余技术的高可信性计算平台研究[D];清华大学;2009年

3 陈海波;云计算平台可信性增强技术的研究[D];复旦大学;2008年

4 郭羽成;MPI高性能云计算平台关键技术研究[D];武汉理工大学;2013年

5 赵丹枫;云计算平台下以Artifact为中心的BPMS体系结构研究[D];燕山大学;2012年

相关硕士学位论文 前10条

1 刘晓兰;云计算平台中数据安全机制及评估研究[D];北京邮电大学;2013年

2 李松;开源云计算平台管理支撑平台的研究与实现[D];山东大学;2013年

3 徐风;移动公司云计算平台原型的构建与测试[D];中南大学;2010年

4 虞柳青;基于化学计量学的远程计算平台[D];四川大学;2005年

5 李文雪;云计算平台的访问控制评测技术研究[D];哈尔滨工业大学;2013年

6 张容齐;基于云计算平台的服务自动化部署机制研究[D];北京邮电大学;2015年

7 李西予;云计算平台的访问控制模型的设计与实现[D];北京邮电大学;2015年

8 张升蓉;基于集群的代谢网络远程计算平台[D];华中科技大学;2006年

9 陈海勇;市级烟草公司云计算平台的设计与实现[D];厦门大学;2013年

10 m云龙;云计算平台下的数据挖掘研究[D];南京邮电大学;2013年

，

本文编号：2567289