Hadoop下基于边聚类的重叠社区发现算法研究

发布时间：2018-12-14 13:31

【摘要】：复杂网络发现算法旨在揭示网络的真实结构,对分析网络的拓扑结构、理解复杂网络的功能、寻找网络中隐藏的规律,不仅具有理论意义,而且具有广泛的应用前景。针对现有的复杂网络社区发现算法大都无法发现具有重叠性的社区结构,文中提出一种基于边的聚类算法,并且通过分布式计算的方法得到网络中节点的社区结构。实验结果表明,发现的社区结构明显优化,得到了符合真实世界的重叠社区划分。该算法能够有效发现重叠社区,运用分布式框架,在处理大规模图上实现对重叠社区的划分。
[Abstract]:The algorithm of complex network discovery aims to reveal the real structure of the network, and has not only theoretical significance but also wide application prospect for analyzing the topological structure of the network, understanding the functions of the complex network and finding the hidden laws in the network. In view of the fact that most of the existing community discovery algorithms in complex networks can not find overlapping community structures, an edge based clustering algorithm is proposed, and the community structure of nodes in the network is obtained by distributed computing. The experimental results show that the community structure is obviously optimized and overlapped community division is obtained according to the real world. The algorithm can find overlapped communities effectively and use distributed framework to realize the division of overlapped communities on the processing of large scale graphs.
【作者单位】： 安徽工业大学计算机学院;
【基金】：国家自然科学基金资助项目(61003311) 安徽省教育重大项目(ZD2008005-1)
【分类号】：O157.5;TP311.13

【参考文献】

相关期刊论文 前6条

1 武志昊;林友芳;田盛丰;唐锐;;高度重叠社区的社区合并优化算法[J];北京交通大学学报;2011年03期

2 骆志刚;丁凡;蒋晓舟;石金龙;;复杂网络社团发现算法研究新进展[J];国防科技大学学报;2011年01期

3 夏英;杨选伦;;云环境中基于金字塔模型的影像数据存储方法[J];重庆邮电大学学报(自然科学版);2012年06期

4 雒江涛;李晴川;;基于云存储的分组域监测系统[J];重庆邮电大学学报(自然科学版);2012年06期

5 赵卫中;马慧芳;傅燕翔;史忠植;;基于云计算平台Hadoop的并行k-means聚类算法设计研究[J];计算机科学;2011年10期

6 施伟;傅鹤岗;张程;;基于连边相似度的重叠社区发现算法研究[J];计算机应用研究;2013年01期

【共引文献】

相关期刊论文 前10条

1 李学良;刘艳;;路图与线图的一个综述[J];工程数学学报;2007年05期

2 陈其;金素萍;徐佳衡;杨双双;;基于彩虹着色的网络安全研究[J];科技创新与应用;2014年15期

3 宋玲;戚云枫;齐东阳;;分布式k-means聚类算法的改进[J];广西大学学报(自然科学版);2014年05期

4 丁智;林治;;MapReduce编程模型、方法及应用综述[J];电脑知识与技术;2014年30期

5 陈晨;张东;;基于实时负载的HDFS负载均衡改进与实现[J];计算机安全;2014年12期

6 郎福通;王鹏;;基于MapReduce的网格化优化CURE算法的实现[J];成都信息工程学院学报;2014年06期

7 许云峰;张妍;赵铁军;;基于云计算的商业情报采集系统[J];河北科技大学学报;2012年02期

8 柴变芳;贾彩燕;于剑;;基于统计推理的社区发现模型综述[J];计算机科学;2012年08期

9 王海峰;;快速复杂网络聚类图形处理器并行算法[J];计算机应用;2012年09期

10 张石磊;武装;;一种基于Hadoop云计算平台的聚类算法优化的研究[J];计算机科学;2012年S2期

相关会议论文 前3条

1 Yun Li;Gang Liu;Song-yang Lao;;Overlapping Community Detection in Complex Networks based on the Boundary Information of Disjoint Community[A];第25届中国控制与决策会议论文集[C];2013年

2 司炜;;IT支撑系统云计算资源池实现研究[A];2013年中国通信学会信息通信网络技术委员会年会论文集[C];2013年

3 司炜;;IT支撑系统云计算资源池实现研究[A];中国通信学会信息通信网络技术委员会2013年年会论文集[C];2013年

相关博士学位论文 前10条

1 尤著宏;基于图和复杂网络理论的蛋白质相互作用数据分析与应用研究[D];中国科学技术大学;2010年

2 薛占军;几类互连网络的容错哈密顿性[D];西安电子科技大学;2010年

3 陈海燕;图上随机游动的若干问题[D];厦门大学;2004年

4 尹美娟;基于Web和Email的多元社会网络抽取与分析关键技术研究[D];解放军信息工程大学;2012年

5 李新杰;河川径流时间序列的非线性特征识别与分析[D];武汉大学;2013年

6 史艳翠;基于通信数据的上下文移动用户偏好动态获取方法研究[D];北京邮电大学;2013年

7 陈洁;商空间的粒化关键技术及问题求解研究[D];安徽大学;2014年

8 郑晓峰;道路运输信息系统的数据挖掘方法研究与应用[D];华南理工大学;2014年

9 王海峰;图形处理器通用计算的功耗分析与优化研究[D];上海理工大学;2013年

10 朱牧;复杂网络中社区发现关键技术研究[D];中国矿业大学;2014年

相关硕士学位论文 前10条

1 王保才;（n，k）-Star图和（n，，k）-Arrangement图的反馈数[D];大连理工大学;2010年

2 董学智;广义Kautz有向图GK（d，n）和折叠立方体FQ_n的反馈数[D];大连理工大学;2010年

3 任巍英;基于属性扩展图的K-means聚类算法的研究[D];中北大学;2012年

4 王磊;广义Kautz有向图GK（2，n）和交错群图AG_n的反馈数[D];大连理工大学;2009年

5 段倩;动态网络社团挖掘算法研究[D];郑州大学;2012年

6 苗苗苗;数据挖掘中海量数据处理算法的研究与实现[D];西安建筑科技大学;2012年

7 刘发明;社会网络分析与社团发现[D];山东大学;2012年

8 程建平;基于网络化数据挖掘技术的银行间资金流网络研究[D];西南财经大学;2012年

9 廖松有;模糊C均值与K均值聚类算法及其并行化[D];太原科技大学;2013年

10 李礼;面向云计算的知识共享服务支持系统研究[D];武汉纺织大学;2013年

【二级参考文献】

相关期刊论文 前10条

1 李s

本文编号：2378694