基于应用运行特征的图数据存储组织及系统优化

发布时间：2021-07-02 17:06

　　随着移动互联网技术、智能终端和社交媒体等技术的高速发展,数据规模呈现爆炸式增长,大规模数据给处理和计算提出了非常大的挑战。基于外存的图计算系统能够利用低廉的硬件资源处理大规模图数据,给这些海量数据的计算带来了解决方案。但是外存图计算系统的性能瓶颈往往在于外存访问效率,在访问外存数据过程中,为了能够适应各种不同的应用负载,系统需要遍历完整外存数据,其中存在大量无效I/O访问,导致资源浪费、外存访问效率低和系统性能较差等问题。针对基于外存的图计算系统I/O效率问题,分析国内外现有图计算系统的外存访问方式,结合图应用运行时的活跃顶点特征,设计了基于索引定位的外存访问优化方案。通过对外存数据组织结构进行重新设计,将相同顶点的数据存放在外存的连续空间中,并为顶点对应的数据块在文件中的偏移地址建立索引,从而快速访问到对应数据块。基于该方案改进了图计算系统的数据加载方式,在数据载入阶段之前计算分析外存中的有效数据,从而实现选择载入计算所需要的顶点相关数据。这种方法能够显著减少I/O数据量,但是会产生额外随机访问开销,因此详细地分析了访问完整数据方式与索引定位方式的开销情况,并以分析结果为依据设计了决... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：69 页

【学位级别】：硕士

【部分图文】：

示例图


本文编号：3260870