集中式I/O技术研究及数据再分配算法优化

发布时间：2021-02-16 21:38

　　本文对集中式I/O技术进行了研究,并在此基础上讨论了如何提高对非连续数据访问的性能。在许多并行应用中,每个进程需要访问在文件中存放位置不连续的小块数据。访问这种不连续的小块数据需要很多的I/O请求,这样势必会导致并行I/O性能的下降。因此I/O操作已经成为了影响并行应用程序效率的主要瓶颈。如何对数据进行组织、存储以及有效的访问数据成为了迫切需要研究的问题。本文在两阶段I/O的基础上,针对两阶段I/O中数据再分配算法,提出了一个全新改进方案:统计-执行式I/O技术（statistic-executive I/O）。该方案针对最常见的块数据分布和循环数据分布进行了I/O优化。我们将并行I/O分为两个阶段:统计阶段和执行阶段。在统计阶段,通信模式被计算出来,并且自动生成所需的数据类型。这些信息在执行阶段（执行通信和文件存取）被使用。这两个阶段是独立的,所以,对于重复的文件存取模式,统计阶段的计算可以执行一次,计算的结果被执行阶段多次重用。这种策略将统计阶段的开销分摊到了若干I/O操作中。在本文中,我们评估统计-执行式I/O技术的性能,并且与其他不同的集中式I/O技术进行比较。基于按块分配和按... 

【文章来源】：内蒙古大学内蒙古自治区 211工程院校

【文章页数】：60 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
目录
图表目录
第一章 绪论
    1.1 论文研究背景
    1.2 论文研究的内容
    1.3 论文的结构
第二章 并行I/O技术概述
    2.1 并行I/O研究现状
    2.2 I/O技术面临的问题与解决的途径
        2.2.1 I/O技术面临的问题
        2.2.2 解决的途径
    2.3 并行I/O概述
    2.4 并行I/O的结构
    2.5 并行文件系统概述
        2.5.1 并行文件访问的特点
        2.5.2 并行文件系统现状
    2.6 应用程序接口
第三章 MPI消息传递并行编程模型
    3.1 MPI概述
    3.2 典型的MPI实现
    3.3 MPI程序的特点
    3.4 面向应用的数据分配
    3.5 MPI-2对并行环境的I/O实现的基本方法
第四章 集中式I/O的研究
    4.1 非连续I/O访问
    4.2 非连续数据访问的实现方法
        4.2.1 数据筛选
        4.2.2 集中式I/O
        4.2.3 列表I/O
        4.2.4 视口（View）I/O
    4.3 两阶段I/O的实现
        4.3.1 两阶段I/O实现的思路
        4.3.2 实现两阶段I/O
        4.3.3 两阶段I/O中的数据分配
第五章 两阶段I/O的实现与优化:统计-执行I/O方法
    5.1 统计-执行I/O方法设计思路
    5.2 统计-执行I/O（SE I/O）概述
    5.3 统计-执行方式的集中式I/O算法
        5.3.1 数据存储分配
        5.3.2 执行阶段
        5.3.3 产生数据类型的统计程序
    5.4 实验结果
        5.4.1 防止已在内存或Cache中的数据对I/O测试的影响
        5.4.2 技术性能分析和带宽比较结果
        5.4.3 结论
第六章 全文总结及进一步的工作
    6.1 全文总结
    6.2 进一步的工作
参考文献
致谢


【参考文献】：
期刊论文
[1]高可用并行文件系统的分布式元数据管理[J]. 李胜利,唐维,石柯,程斌,蒙廷友.  应用科学学报. 2005(03)
[2]基于MPI的并行I/O方法[J]. 李小卫,罗省贤.  微型机与应用. 2003(03)
[3]MPI2中的并行I/O的使用分析[J]. 刘辉,胡静,王振飞,李学相.  计算机工程. 2003(02)

硕士论文
[1]并行程序中不同I/O实现方式的设计与I/O性能[D]. 杨伟光.内蒙古大学 2006



本文编号：3036967