面向图处理的粗粒度多外存I/O管理策略

发布时间：2023-05-17 21:37

　　随着图数据规模的不断增长,使用外存处理的图处理系统因其低成本、易扩展等优点已经成为替代分布式内存模式图处理系统的流行方案,但外存I/O成为了系统的性能瓶颈。当处理大规模图数据集而需要高I/O吞吐量时,使用多外存设备成为自然而常用的解决方案。但目前使用外存处理的图处理系统采取的多外存I/O管理方法存在顺序带宽利用不足、并行I/O能力受限和管理开销较大等问题,使得多外存I/O性能没有充分发挥,限制了系统最优性能的实现。为了解决上述问题,合理使用多外存设备,分析外存图处理在优化外存I/O性能时追求的外存顺序化访问和I/O高效性之间的矛盾,选择以顺序化外存I/O为更高优先级的优化原则,并支持以图分区为粒度的可选调度的折中优化方案;分析这种优化方案下的图数据访问特征,提出匹配顺序大I/O特征的粗粒度条带化方法以实现图数据在多盘的均衡分布,提高I/O吞吐量;提出基于多盘多队列的I/O管理策略,在应用层实现I/O请求的地址映射、分解、预取合并和分派等I/O管理工作,并绑定应用I/O线程专用于外存设备,进一步提高I/O吞吐量和充分发挥多外存设备并行能力;设计实现了基于粗粒度多外存I/O管理的图处理系统...

【文章页数】：60 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 主要工作和论文组织结构
2 图处理系统多外存管理方法
    2.1 基于条带化卷的操作系统管理I/O方法
    2.2 基于按需I/O的应用管理I/O方法
    2.3 本章小结
3 基于多盘多队列的粗粒度I/O管理策略
    3.1 CSMqGraph系统总体架构
    3.2 匹配顺序大I/O特征的粗粒度条带化
    3.3 基于多盘多队列的I/O管理策略
    3.4 本章小结
4 测试与分析
    4.1 测试环境
    4.2 CSMqGraph与GridGraph的性能比较
    4.3 I/O优化策略的有效性验证
    4.4 扩展性测试
    4.5 条带深度的影响
    4.6 应用I/O线程数的影响
    4.7 本章小结
5 总结与展望
    5.1 工作总结
    5.2 研究展望
致谢
参考文献



本文编号：3818047