社团结构评测系统中关键技术的研究与实现
发布时间：2019-09-03 17:29
【摘要】：随着互联网的迅速发展,有关社会网络的研究逐渐成为热点。社会网络中节点众多、拓扑结构复杂,具有一定的分析难度。近年来,随着研究的不断深入,人们逐渐发现了一种独特的网络结构形式--社团。目前还没有对于社团结构正式、精确的定义,但其所代表的结构特性可以概括为同一社团的节点彼此之间联系紧密,不同社团的节点之间彼此联系稀疏。这种网络结构可以更好的描述社会网络所具有的特点。因此进行社团相关的研究具有一定的价值,同时也是十分必要的。近年来,社团领域相关的研究逐渐兴起。一系列的算法不断涌现,社团发现的应用场景不断扩展。涵盖了人们生活的方方面面。在本课题中,社团领域相关的研究内容主要包含以下几个方面的工作:动态人工网络合成模型的研究。在现实社会中,存在着纷繁复杂的社团结构。目前的现有社会网络数据一般具有以下特点,数量较少,规模较小,带有基准社团的网络就更是少之又少。本课题基于LFR模型,进行人工合成网络的研究,扩大其适用范围。动态社团发现算法的研究。目前应用最为广泛的是基于模块度的社团发现算法,但其受制于分辨率问题,适用范围有限。本课题基于距离动力学提出了扰动因子的概念,并提出一种动态社团发现算法,能够有效解决这一问题。社团结构评价指标的研究。本课题对目前主流的模块度指标存在的分辨率限制问题进行分析。提出了一种基于网络结构熵的评价指标,弥补了模块度的局限性。该指标能够更好的描述网络的社团特性。社团结构评测原型系统的设计与实现。上述三个研究点,都在算法方面对社团结构进行研究,研究结果可以作为评测系统的理论基础。本研究点旨在从工程角度将上述三个研究点结合起来作为评测系统的技术支持。在结合现有并行计算框架的基础上,通过提供简单、扩展性强的编程模式,简化在大规模数据集下进行社团结构研究的复杂性。
【图文】：
逦＾逡逑ｓｆｗｍｉ邋ｉＨｉＳｉａ邋ｉｉ＇ｊｆｇｉｉＳｉ逡逑图２－１邋Ｓｐａｒｋ生态系统图１１４１逡逑各模块主要功能如下：逡逑ＳＱＬ模块：Ｓｐａｒｋ邋ＳＱＬ可以支持对结构化数据进行并行查询。其对于结构化逡逑数据（Ｈｉｖｅ，邋Ａｖｒｏ，邋Ｐａｒｑｕｅｔ，ＯＲＣ，邋ＪＳＯＮ，邋ＪＤＢＣ邋等）提供邋了统一的访问接口。逡逑Ｓｔｒｅａｍｉｎｇ模块：Ｓｐａｒｋ邋Ｓｔｒｅａｍｉｎｇ为Ｓｐａｒｋ生态系统中进行流式处理的模块。逡逑该模块对于流式数据提供了统一的表达和计算方式。逡逑ＭＬｌｉｂ模块：逡逑ＭＬｌｉｂ模块是Ｓｐａｒｋ提供的分布式机器学习框架。其中对于大部分机器学习逡逑算法进行了分布式抽象。逡逑ＧｒａｐｈＸ邋模块：逡逑ＧｒａｐｈＸ是Ｓｐａｒｋ提供的有关并行图处理的框架。其提供了一种对于图模型逡逑进行分布式存储，计算的统一编程模式。如图２－２，对于同一份数据来说，，该模逡逑型能够同时提供两种访问方式（Ｔａｂｌｅ邋Ｖｉｅｗ和Ｇｒａｐｈ邋Ｖｉｅｗ），这极大的简化了开发逡逑者的编程难度。逡逑Ｍ逦，；＊，逡逑逦ｐ—逦＾逡逑Ｔａｂｌｅ邋Ｖｉｅｗ逦R囧澹牵颍幔穑桢澹郑椋澹麇义贤迹玻插澹牵颍幔穑瑁刂辛街址梦市问剑郏保担蒎义希保
本文编号：2531487
【图文】：
逦＾逡逑ｓｆｗｍｉ邋ｉＨｉＳｉａ邋ｉｉ＇ｊｆｇｉｉＳｉ逡逑图２－１邋Ｓｐａｒｋ生态系统图１１４１逡逑各模块主要功能如下：逡逑ＳＱＬ模块：Ｓｐａｒｋ邋ＳＱＬ可以支持对结构化数据进行并行查询。其对于结构化逡逑数据（Ｈｉｖｅ，邋Ａｖｒｏ，邋Ｐａｒｑｕｅｔ，ＯＲＣ，邋ＪＳＯＮ，邋ＪＤＢＣ邋等）提供邋了统一的访问接口。逡逑Ｓｔｒｅａｍｉｎｇ模块：Ｓｐａｒｋ邋Ｓｔｒｅａｍｉｎｇ为Ｓｐａｒｋ生态系统中进行流式处理的模块。逡逑该模块对于流式数据提供了统一的表达和计算方式。逡逑ＭＬｌｉｂ模块：逡逑ＭＬｌｉｂ模块是Ｓｐａｒｋ提供的分布式机器学习框架。其中对于大部分机器学习逡逑算法进行了分布式抽象。逡逑ＧｒａｐｈＸ邋模块：逡逑ＧｒａｐｈＸ是Ｓｐａｒｋ提供的有关并行图处理的框架。其提供了一种对于图模型逡逑进行分布式存储，计算的统一编程模式。如图２－２，对于同一份数据来说，，该模逡逑型能够同时提供两种访问方式（Ｔａｂｌｅ邋Ｖｉｅｗ和Ｇｒａｐｈ邋Ｖｉｅｗ），这极大的简化了开发逡逑者的编程难度。逡逑Ｍ逦，；＊，逡逑逦ｐ—逦＾逡逑Ｔａｂｌｅ邋Ｖｉｅｗ逦R囧澹牵颍幔穑桢澹郑椋澹麇义贤迹玻插澹牵颍幔穑瑁刂辛街址梦市问剑郏保担蒎义希保
本文编号：2531487
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/2531487.html
