基于并行聚类分析的复杂网络社区发现

发布时间：2020-06-13 06:13

【摘要】：在互联网科技高度发达的今天,大数据逐渐成为计算领域的关注点和难点,具有非常重要的理论意义和研究价值。复杂网络社区检测问题就是当前一个非常重要的研究热点。为了实现对复杂网络更高精度和更高效率的社区检测,本文主要是采用Hadoop并行计算平台进行算法并行化的设计,目的是有效解决大规模复杂网络的社区检测问题。首先,采用Hadoop平台对复杂网络社区检测过程进行分布式并行计算模型的设计,并结合HDFS模型进行复杂网络原始数据的并行化社区检测划分,然后结合HDFS模型并行批处理优势实现对复杂网络社区检测过程的并行化处理。(1)针对复杂网络社区发现采用Hadoop平台实现,并在此基础上实现对复杂网络的分布式社区并行发现。(2)基于Cluster-dp方法原理设计的基于秩的中心分散稀疏选择方法,对于社区发现过程的初始种子选取过程进行了改进,实现了较好的效果。结合传统的K-means聚类算法,对复杂社区网络中的节点进行类别的区分,实现社区结构的有效检测。专门针对网络社区中的个体的稀疏关系,设计了一种用于社区节点个体属性加强的聚类算法,称为EkNN算法,降低数据噪声对于社区发现过程产生的影响。(3)针对复杂网络社区中的重叠结构,考虑采用基于Hadoop框架设计并行KNN算法的复杂网络社区发现方法,目的是提高社区发现过程的算法性能。设计了基于Hadoop并行框架下的Mapreduce-KNN并行聚类算法,实现了社区发现过程的效率提升。(4)针对复杂网络社区检测问题,对关联规则算法进行改进,主要解决关联规则算法中存在的计算冗余问题,设计了具有单约束的社区检测关联规则算法,同时为了降低复杂网络社区检测算法中的计算量,本文结合Hadoop计算框架中的Mapreduce模型对关联规则算法进行并行化设计。实验结果显示,本文所提的复杂网络社区检测算法具有更佳的社区检测结果和检测效率,对于处理互联网科技高度发达今天的社区检测问题具有非常重要的研究价值。
【图文】：

HDFS系统

主要执行的合并操作，这种操作方式能够快速提升文件的访问时效性enode 还起到对文件系统和访问控制端之间的访问速度控制，Nameno用是对客户端数据访问起到一定的中介和媒介的作用，如果客户端能统中的元数据，则客户端可实现对 Datenode 数据的有效访问，并实现 D数据的同步写入。从数据的保密性上看，HDSF 系统对于客户端系统是透明的[79]，，用SF 系统的访问比较简单，而从内部看，HDSF 系统中的数据和文件可表据块形式，将这些数据信息进行单一节点的存储。这种存储方式的优以较为完整的保证系统的可靠性，用户交互过程中无需关注系统的复实现对 HDSF 系统的利用。(2) HBase：该分布式计算框架实质上是基于 HDSF 系统实现的，其实 NoSQL 数据库，这种分布式的计算形式非常适于大数据操作对象的动。HDSF 系统在结构实现上同关系类型的数据库之间存在较为显著的差对数据存储方式进行定义，具有典型的四维结构形式，见图 2-4 系统示。
【学位授予单位】：湖北工业大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.13;O157.5

【参考文献】

相关期刊论文 前10条

1 蒋盛益;杨博泓;王连喜;;一种基于增量式谱聚类的动态社区自适应发现算法[J];自动化学报;2015年12期

2 刘海洋;王志海;黄丹;孙艳歌;;基于评分矩阵局部低秩假设的成列协同排名算法[J];软件学报;2015年11期

3 李春英;汤庸;汤志康;黄泳航;袁成哲;赵剑冬;;面向大规模学术社交网络的社区发现模型[J];计算机应用;2015年09期

4 于海;赵玉丽;崔坤;朱志良;;一种基于交叉熵的社区发现算法[J];计算机学报;2015年08期

5 辛宇;杨静;谢志强;;基于数据场分析的语义重叠社区发现算法[J];中国科学:信息科学;2015年07期

6 张英杰;龚中汉;陈乾坤;;基于免疫离散差分进化算法的复杂网络社区发现[J];自动化学报;2015年04期

7 王淑敏;高媛;孙建飞;;兴趣社区引导的机会社会网络节点移动模型[J];计算机仿真;2015年02期

8 周小平;梁循;张海燕;;基于R-C模型的微博用户社区发现[J];软件学报;2014年12期

9 齐立磊;赵丹丹;;基于复杂网络的城市公交系统优化研究[J];西南师范大学学报(自然科学版);2014年07期

10 邹丹;窦勇;郭松;;基于GPU的稀疏矩阵Cholesky分解[J];计算机学报;2014年07期

本文编号：2710774