基于Spark的快速属性图聚集技术在引文网络中的应用

发布时间：2021-01-13 16:50

　　互联网时代的高速发展,带来的不仅是人们生活和经济的变化,还有这一系列互联网应用背后日益增加的数据量。图作为一种强大的数据建模形式,在海量数据中占据着重要地位。随着图数据规模的扩大和人们对于海量数据价值潜力的重视,图聚集技术应运而生。图聚集技术主要是针对大规模的图数据,将原始图数据中的顶点和边进行压缩集合,使其抽象到更高层次,获得一个能充分代表原图的粗粒度超图,以达到节省存储空间、实现模糊查询、解决隐私保护问题等目的。近年来,论文引用网络领域飞速成长,各类文献著作大量涌现,论文数据呈爆炸式增长,致使引文网络图规模不断扩大,而当下对于引文网络的研究主要侧重于对其的分析预测以及可视化方面,对于图聚集技术方面的研究较少,且传统图聚集技术大多都是基于“小图”的聚集,基于此现状,本文针对引文网络本身的数据特点,引入AS（Aggregation Sharing）算法中先共享再聚集的思想,借助Spark平台下GraphX的并行处理优势,以DBLP引文网络中的数据集为实例,实现了快速属性图聚集技术在引文网络中的应用。本文首先介绍了课题的背景以及该课题在当下的研究意义。与此同时,对当下的图聚集技术以及引文... 

【文章来源】：中南财经政法大学湖北省 211工程院校 教育部直属院校

【文章页数】：59 页

【学位级别】：硕士

【部分图文】：

图0-1DBLP历年文献数量统计图

图0-2应用架构图

图的两种表示：有向图（左）与无向图（右）

【参考文献】：
期刊论文
[1]一种有效的加权图聚集算法[J]. 胡宝丽,游进国,周翠莲,王洋,崔红波.  中国科学技术大学学报. 2016(03)
[2]大规模图数据可达性索引技术:现状与展望[J]. 富丽贞,孟小峰.  计算机研究与发展. 2015(01)
[3]基于内存计算的大规模图数据管理研究[J]. 袁培森,舒欣,沙朝锋,徐焕良.  华东师范大学学报(自然科学版). 2014(05)
[4]图数据表示与压缩技术综述[J]. 张宇,刘燕兵,熊刚,贾焰,刘萍,郭莉.  软件学报. 2014(09)
[5]图聚集技术的现状与挑战[J]. 潘秋萍,游进国,张志朋,董朋志,胡宝丽.  软件学报. 2015(01)
[6]一种高效的属性图聚类方法[J]. 吴烨,钟志农,熊伟,陈荦,景宁.  计算机学报. 2013(08)
[7]在线图处理:面向信息网络的在线分析处理[J]. 徐洪宇,李川,唐常杰,李洋涛,代术成,杨宁.  计算机科学与探索. 2012(09)
[8]引文网络的研究现状及其发展综述[J]. 吴海峰,孙一鸣.  计算机应用与软件. 2012(02)
[9]一种新的高效图聚集算法[J]. 尹丹,高宏,邹兆年.  计算机研究与发展. 2011(10)
[10]Graph OLAPing的建模、设计与实现[J]. 李川,赵磊,唐常杰,陈瑜,李靓,赵小明,刘小玲.  软件学报. 2011(02)

博士论文
[1]基于科技引用网络结构算法的科学计量新方法研究[D]. 胡小君.浙江大学 2012

硕士论文
[1]基于有限内存的大图聚集算法研究[D]. 周翠莲.昆明理工大学 2017
[2]基于Spark平台的聚类算法的优化与实现[D]. 曹鹏.北京交通大学 2016
[3]基于Spark的图数据可达性分布式计算与应用[D]. 江成琳.华中科技大学 2016
[4]加权图聚集算法研究[D]. 胡宝丽.昆明理工大学 2016
[5]科学引文网络分析及其应用研究[D]. 张美平.电子科技大学 2015
[6]基于论文引用网络的文献推荐算法研究[D]. 姚远.北京交通大学 2014
[7]基于条件熵的图聚集算法研究[D]. 潘秋萍.昆明理工大学 2014



本文编号：2975222