基于Spark的无线城市社团发现算法研究
发布时间：2021-04-15 15:31
针对传统的社团发现算法存在生成结果冗余、复杂度高、大量迭代计算、没有考虑地理位置信息等问题,提出一种改进的社团发现算法SIACD（on Spark use Improved Apriori to achieve Community Detection algorithm）,通过改进关联规则算法在Spark集群上挖掘无线城市中的社团数据。首先,为解决传统的社团发现算法未考虑地理位置信息的问题,SIACD算法选用无线城市中MAC地址数据,并将该数据映射到布尔矩阵中进行数据预处理。其次,为解决传统的社团发现算法复杂度高及大量迭代计算的问题,SIACD算法利用基于项数的布尔向量交运算改进Apriori算法,减少非关键计算。最后,SIACD算法利用Spark基于内存计算的特性,在Spark集群平台上实现该算法的并行化计算。实验结果表明,传统的社团发现算法及Apriori算法均不满足大数据时代对计算速度的要求,SIACD算法能有效挖掘社团成员的频繁项集,具备可扩展性及并行化性能,解决了生成结果冗余、复杂度高、迭代计算等问题,对大数据的处理能力和计算效率更好。SIACD算法性能优势明显,降低了计算时...
【文章来源】：辽宁工程技术大学辽宁省
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
CS算法图解
辽宁工程技术大学硕士学位论文72.1.3T-CS算法针对CS算法在权重排序过程中生成大量冗余的边和团的问题。文献[27]提出了一种基于树的T-CS算法，该算法从二叉树的边存储结构，预先权重排序，有序团搜素等方面CS算法进行改进。T-CS算法在结果准确性的前提下，并解决了CS算法权重排序过程生成结果冗余的问题，同时也延续了CS算法优势。（1）特殊二叉树存储定义2.5连接节点：由左指针（向左子树）leftpoint、右指针（向右子树）rightpoint、节点名nodename、连接该节点的边数edagenumber四部分组成。定义2.6边节点：由左指针、节点名、权重weight、标志位flag（flag=1表示未遍历）四部分组成。定义2.7特殊的二叉树：由leftpoint、rightpoint、nodename、edagenumber、weight、flag组成，即由连接节点和边节点组成。根节点作为连接节点。连接节点的左子树为边节点，右子树为连接节点。边节点的左子树为边节点。特殊二叉树及其对应的无向有权图如图2.2和图2.3所示。图2.2特殊二叉树Figure2.2Specialbinarytrees图2.3无向有权图Figure2.3Undirectedweightedgraphs如图2.2所示，根节点A为连接节点，A的左子树为边节点C，A的右子树为连接节点B，C的左子树为边节点E，E左子树为空，B的左子树为边节点C，C的左子树为边节点D，D的左子树为空。
无向有权图
【参考文献】：
期刊论文
[1]试论全媒体时代的电视媒体变革:互联网+[J]. 李焕征,李聪. 当代电视. 2019(01)
[2]关联分析在学生成绩数据挖掘的应用[J]. 狄晓娇. 电脑知识与技术. 2018(34)
[3]无线城市社团发现的研究——在Spark上利用改进关联规则实现社团发现的算法[J]. 王永贵,徐山珊,肖成龙. 计算机科学与探索. 2019(09)
[4]改进CPM的移动通信用户关系圈挖掘[J]. 陈少权,杜翠凤. 移动通信. 2018(04)
[5]基于Spark无线城市社团发现算法的研究[J]. 王永贵,徐山珊,肖成龙. 计算机应用研究. 2018(12)
[6]一种基于Newman快速算法改进的社团划分算法[J]. 付常雷. 计算机技术与发展. 2018(01)
[7]一种基于结构信息的改进CNM算法[J]. 吕振,李苏雪,张传亭,袁东风. 山东大学学报(工学版). 2017(01)
[8]基于Spark的并行频繁模式挖掘算法[J]. 曹博,倪建成,李淋淋,于苹苹,姚彬修. 计算机工程与应用. 2016(20)
[9]IABS:一个基于Spark的Apriori改进算法[J]. 闫梦洁,罗军,刘建英,侯传旺. 计算机应用研究. 2017(08)
[10]基于Hadoop的关联规则挖掘算法研究——以Apriori算法为例[J]. 刘木林,朱庆华. 计算机技术与发展. 2016(07)
硕士论文
[1]基于数据挖掘的税收执法督察选案方法的研究与应用[D]. 刘笑笑.湖北大学 2018
[2]复杂网络重叠社团发现算法研究[D]. 邓国亮.兰州大学 2018
[3]基于Spark的高考推荐系统设计与实现[D]. 孟真.山东师范大学 2017
[4]复杂网络重叠社团划分算法研究与实现[D]. 康晓慧.电子科技大学 2016
[5]基于边聚类的加权网络社团发现算法研究[D]. 詹治海.华南理工大学 2015
[6]社交网络中基于地理位置特征的社团发现方法研究与实现[D]. 蒋江涛.北京航空航天大学 2014
本文编号：3139601
【文章来源】：辽宁工程技术大学辽宁省
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
CS算法图解
辽宁工程技术大学硕士学位论文72.1.3T-CS算法针对CS算法在权重排序过程中生成大量冗余的边和团的问题。文献[27]提出了一种基于树的T-CS算法，该算法从二叉树的边存储结构，预先权重排序，有序团搜素等方面CS算法进行改进。T-CS算法在结果准确性的前提下，并解决了CS算法权重排序过程生成结果冗余的问题，同时也延续了CS算法优势。（1）特殊二叉树存储定义2.5连接节点：由左指针（向左子树）leftpoint、右指针（向右子树）rightpoint、节点名nodename、连接该节点的边数edagenumber四部分组成。定义2.6边节点：由左指针、节点名、权重weight、标志位flag（flag=1表示未遍历）四部分组成。定义2.7特殊的二叉树：由leftpoint、rightpoint、nodename、edagenumber、weight、flag组成，即由连接节点和边节点组成。根节点作为连接节点。连接节点的左子树为边节点，右子树为连接节点。边节点的左子树为边节点。特殊二叉树及其对应的无向有权图如图2.2和图2.3所示。图2.2特殊二叉树Figure2.2Specialbinarytrees图2.3无向有权图Figure2.3Undirectedweightedgraphs如图2.2所示，根节点A为连接节点，A的左子树为边节点C，A的右子树为连接节点B，C的左子树为边节点E，E左子树为空，B的左子树为边节点C，C的左子树为边节点D，D的左子树为空。
无向有权图
【参考文献】：
期刊论文
[1]试论全媒体时代的电视媒体变革:互联网+[J]. 李焕征,李聪. 当代电视. 2019(01)
[2]关联分析在学生成绩数据挖掘的应用[J]. 狄晓娇. 电脑知识与技术. 2018(34)
[3]无线城市社团发现的研究——在Spark上利用改进关联规则实现社团发现的算法[J]. 王永贵,徐山珊,肖成龙. 计算机科学与探索. 2019(09)
[4]改进CPM的移动通信用户关系圈挖掘[J]. 陈少权,杜翠凤. 移动通信. 2018(04)
[5]基于Spark无线城市社团发现算法的研究[J]. 王永贵,徐山珊,肖成龙. 计算机应用研究. 2018(12)
[6]一种基于Newman快速算法改进的社团划分算法[J]. 付常雷. 计算机技术与发展. 2018(01)
[7]一种基于结构信息的改进CNM算法[J]. 吕振,李苏雪,张传亭,袁东风. 山东大学学报(工学版). 2017(01)
[8]基于Spark的并行频繁模式挖掘算法[J]. 曹博,倪建成,李淋淋,于苹苹,姚彬修. 计算机工程与应用. 2016(20)
[9]IABS:一个基于Spark的Apriori改进算法[J]. 闫梦洁,罗军,刘建英,侯传旺. 计算机应用研究. 2017(08)
[10]基于Hadoop的关联规则挖掘算法研究——以Apriori算法为例[J]. 刘木林,朱庆华. 计算机技术与发展. 2016(07)
硕士论文
[1]基于数据挖掘的税收执法督察选案方法的研究与应用[D]. 刘笑笑.湖北大学 2018
[2]复杂网络重叠社团发现算法研究[D]. 邓国亮.兰州大学 2018
[3]基于Spark的高考推荐系统设计与实现[D]. 孟真.山东师范大学 2017
[4]复杂网络重叠社团划分算法研究与实现[D]. 康晓慧.电子科技大学 2016
[5]基于边聚类的加权网络社团发现算法研究[D]. 詹治海.华南理工大学 2015
[6]社交网络中基于地理位置特征的社团发现方法研究与实现[D]. 蒋江涛.北京航空航天大学 2014
本文编号：3139601
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3139601.html
