基于大数据的目标关系图谱系统设计与实现
发布时间：2021-08-04 14:30
随着“大数据”时代的到来,我们正被数据所包围,而传统的数据处理和分析方式已经无法满足对指数级增长的数据以及各种各样相互之间有依赖关系的数据的处理。面向大规模数据的挖掘和运用已经渗透到当今的每一个领域,而随着各种关系网络的增长,对网络图谱的分析和研究成为各界关注的热点。本文瞄准军事通信网络图谱的特殊性,军事通信网络中的图关系数据与普通社交关系图谱不同,它具有虚假、实时和隐蔽等特征,军事目标之间的关系也更为复杂,依赖传统网络图谱排序的PageRank方法极难准确表征目标的重要程度。为了更好的掌握军事通信网络中不同节点的重要性,瞄准军事通信网络各级单位关系中虚假信息和隐蔽信息等新特性,提出面向军事通信网络的MilitaryRank方法。同时针对传统的依赖重要目标节点扩张的社区发现算法具有社区震荡等问题,提出弹性中心扩张子团的社区发现方法。构建基于Hadoop大数据平台的目标关系图谱挖掘系统框架,实现网络图谱节点排序和社区发现。本论文研究内容及创新点如下:1、对Hadoop平台整体架构进行了研究,了解数据存储层、资源管理器层和调度层各层之间的联系。同时研究、搜集与归纳各种军事通信网络规则,了解...
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：86 页
【学位级别】：硕士
【部分图文】：
HBase系统架构
根据相似度从强到弱自底向上依次连接节点对，构成树状图（Dendrogram），然后选择符合条件的分支位置进行横切，形成社区。如图 2.10：图2.10 凝聚层次聚类概念图Claust 等人的 CNM 算法[67]对 Newman 的快速贪心算法[68]进行改进，通过模块度Q（Modularity）在每次迭代中的增量变化来作为横向切分条件来合并节点对，当模块度的增量小于 0 时，结束迭代形成社区结构。分裂层次聚类与凝聚法恰好相反，通过给定阈值找到连接关系最弱的节点对，并删除他们之间的联系，将网络划分为越来越小的子图，此时连通的网络构成社区。Radicchi 算法[69]将边聚系数作为阈值，迭代删除边聚系数最小的边，判断子图是否符合强连通图条件来输出社区。Spectral 算法[70]则是根据特征向量找到最大特征值对应的特征向量
LFR仿真网络通信节点图谱
【参考文献】：
期刊论文
[1]基于改进加权PageRank的电子目标重要度评估方法[J]. 李政,祝利,高志扬. 指挥控制与仿真. 2016(03)
[2]战场态势信息量的一种度量方法[J]. 张东戈,孟辉,陶九阳. 指挥控制与仿真. 2014(01)
[3]邻域粗糙化的启发式重叠社区扩张方法[J]. 张泽华,苗夺谦,钱进. 计算机学报. 2013(10)
[4]基于MapReduce的分布式网络数据聚类算法[J]. 陈东明,刘健,王冬琦,徐晓伟. 计算机工程. 2013(07)
[5]基于Hadoop的云计算算法研究[J]. 辛大欣,屈伟. 电子设计工程. 2013(03)
[6]基于MapReduce的快速Newman并行算法[J]. 唐艳琴,潘志松,吴君青. 华中科技大学学报(自然科学版). 2012(S1)
[7]基于作者权威值的论文价值预测算法[J]. 刘大有,薛锐青,齐红. 自动化学报. 2012(10)
[8]有效改善标签传播算法鲁棒性的途径[J]. 季青松,赵郁忻,陈乐生,陈秀真,李生红. 信息安全与通信保密. 2012(09)
[9]社会网络中基于标签传播的社区发现新算法[J]. 赵卓翔,王轶彤,田家堂,周泽学. 计算机研究与发展. 2011(S3)
[10]基于Hadoop的分布式搜索引擎关键技术[J]. 王俊生,施运梅,张仰森. 北京信息科技大学学报(自然科学版). 2011(04)
博士论文
[1]大规模社交网络中局部兴趣社区发现研究[D]. 尹红军.中国科学技术大学 2014
[2]若干社区发现算法研究[D]. 潘磊.南京大学 2014
硕士论文
[1]PyGel：基于DPark的分布式图计算引擎的研究与实现[D]. 张杰.华南理工大学 2013
[2]基于改进PageRank算法的文献价值评估方法研究[D]. 乔红光.河北大学 2013
[3]基于标签传播的实时社区发现算法研究[D]. 信楠.浙江大学 2013
[4]基于MapReduce的个性化PageRank算法研究[D]. 刘记云.哈尔滨工程大学 2013
[5]社团划分算法并行化研究[D]. 李尚英.山东师范大学 2012
[6]基于BSP的大规模图处理系统中的任务调度与同步控制[D]. 袁方.东北大学 2012
[7]基于MapReduce的图聚类算法的研究与实现[D]. 何国雄.湖南大学 2012
[8]基于hadoop的海量图片存储模型的分析和设计[D]. 李林.杭州电子科技大学 2011
[9]基于Hadoop平台的社区发现算法研究[D]. 程鹏.东北大学 2011
[10]作战模拟系统中军事通信网络建模研究[D]. 侯绿林.国防科学技术大学 2010
本文编号：3321865
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：86 页
【学位级别】：硕士
【部分图文】：
HBase系统架构
根据相似度从强到弱自底向上依次连接节点对，构成树状图（Dendrogram），然后选择符合条件的分支位置进行横切，形成社区。如图 2.10：图2.10 凝聚层次聚类概念图Claust 等人的 CNM 算法[67]对 Newman 的快速贪心算法[68]进行改进，通过模块度Q（Modularity）在每次迭代中的增量变化来作为横向切分条件来合并节点对，当模块度的增量小于 0 时，结束迭代形成社区结构。分裂层次聚类与凝聚法恰好相反，通过给定阈值找到连接关系最弱的节点对，并删除他们之间的联系，将网络划分为越来越小的子图，此时连通的网络构成社区。Radicchi 算法[69]将边聚系数作为阈值，迭代删除边聚系数最小的边，判断子图是否符合强连通图条件来输出社区。Spectral 算法[70]则是根据特征向量找到最大特征值对应的特征向量
LFR仿真网络通信节点图谱
【参考文献】：
期刊论文
[1]基于改进加权PageRank的电子目标重要度评估方法[J]. 李政,祝利,高志扬. 指挥控制与仿真. 2016(03)
[2]战场态势信息量的一种度量方法[J]. 张东戈,孟辉,陶九阳. 指挥控制与仿真. 2014(01)
[3]邻域粗糙化的启发式重叠社区扩张方法[J]. 张泽华,苗夺谦,钱进. 计算机学报. 2013(10)
[4]基于MapReduce的分布式网络数据聚类算法[J]. 陈东明,刘健,王冬琦,徐晓伟. 计算机工程. 2013(07)
[5]基于Hadoop的云计算算法研究[J]. 辛大欣,屈伟. 电子设计工程. 2013(03)
[6]基于MapReduce的快速Newman并行算法[J]. 唐艳琴,潘志松,吴君青. 华中科技大学学报(自然科学版). 2012(S1)
[7]基于作者权威值的论文价值预测算法[J]. 刘大有,薛锐青,齐红. 自动化学报. 2012(10)
[8]有效改善标签传播算法鲁棒性的途径[J]. 季青松,赵郁忻,陈乐生,陈秀真,李生红. 信息安全与通信保密. 2012(09)
[9]社会网络中基于标签传播的社区发现新算法[J]. 赵卓翔,王轶彤,田家堂,周泽学. 计算机研究与发展. 2011(S3)
[10]基于Hadoop的分布式搜索引擎关键技术[J]. 王俊生,施运梅,张仰森. 北京信息科技大学学报(自然科学版). 2011(04)
博士论文
[1]大规模社交网络中局部兴趣社区发现研究[D]. 尹红军.中国科学技术大学 2014
[2]若干社区发现算法研究[D]. 潘磊.南京大学 2014
硕士论文
[1]PyGel：基于DPark的分布式图计算引擎的研究与实现[D]. 张杰.华南理工大学 2013
[2]基于改进PageRank算法的文献价值评估方法研究[D]. 乔红光.河北大学 2013
[3]基于标签传播的实时社区发现算法研究[D]. 信楠.浙江大学 2013
[4]基于MapReduce的个性化PageRank算法研究[D]. 刘记云.哈尔滨工程大学 2013
[5]社团划分算法并行化研究[D]. 李尚英.山东师范大学 2012
[6]基于BSP的大规模图处理系统中的任务调度与同步控制[D]. 袁方.东北大学 2012
[7]基于MapReduce的图聚类算法的研究与实现[D]. 何国雄.湖南大学 2012
[8]基于hadoop的海量图片存储模型的分析和设计[D]. 李林.杭州电子科技大学 2011
[9]基于Hadoop平台的社区发现算法研究[D]. 程鹏.东北大学 2011
[10]作战模拟系统中军事通信网络建模研究[D]. 侯绿林.国防科学技术大学 2010
本文编号：3321865
本文链接：https://www.wllwen.com/guanlilunwen/shequguanli/3321865.html
