并行程序中不同I/O实现方式的设计与I/O性能

发布时间：2021-07-28 22:03

　　大规模的并行计算机越来越多的被用于解决许多不同领域的大规模的I／O密集型应用，对于这些应用，I／O请求在获得高性能方面上常常造成严重的障碍，当前研究的一个重要方面就是开发一些技术来降低执行I／O的开销。 本文首先讨论了并行环境中I／O的基本方法——串行I／O方法和并行I／O方法，并使用MPI-1及MPI-2对这两种方法进行了实现。分析了当访问连续数据块时不同的实现方法对I／O带宽产生的影响。通过理论分析和实验表明，基于MPI-1的并行I／O实现方法与其它I／O实现方法相比，可得到更高的I／O带宽，是解决I／O性能问题的有效途径。 接着，本文讨论了如何提高非连续访问的性能。并行程序中的访问模式通常是由访问大量的小的连续数据块组成，如果应用程序中的I／O要求制造许多小的I／O请求的话，那么I／O性能就会明显下降。为了解决这个问题，本文分析了两种方法：一种方法是两阶段I／O方法，即处理器间相互合作开发的一种I／O策略，该方法是通过减少I／O请求的数量，增大I／O请求的大小，来更好更充分的利用I／O子系统。我们描述了两阶段I／O的实现算法，并通过编写程序对它进行了实现。通过实验分析... 

【文章来源】：内蒙古大学内蒙古自治区 211工程院校

【文章页数】：81 页

【学位级别】：硕士

【部分图文】：

对大小为8*8的矩阵在四个进程间的不同分配形式

其余情况下带宽最低也分别增加了1.5%和0.3%。Figures一8沁bnad伪idhtsofr(*，block)disrtibution图5一8数据分配为(*，block)时各种实现方法获得的I/0带宽图5一9给出了数据分配为块分配(block，block)时各种实现方法使用4、6、\8个进程读取不同大小(gooKB和.225MB)的真彩色图像所得的FO带宽的比较。从图中我们可看到，使用POSXLUO方法访问块分配数据时，获得的最大带宽:访问gooKB图像时为0.152385砒ps，访问2.2sMB图像时为o.197sl5Mbps;而使用优化后的两阶段Fo方法访问列分配数据时，获得的最大带宽:访问900KB图像时为.0576699MPbs，访问.225MB图像时为0.407064Mbps。带宽分别增加了278%(900KB)和106%(2.25MB)。针对具体的进程数而言

比比卿es怡(】eve12)))Flgures一11TheofurlevelserPersentnginiereasing田卫ountsofdaatPererquest图5一11描述了四层访问模式每次请求的数据量逐层增加5.4.3实验结果我们对上面四中请求方式进行测试，测试程序对两种大小的位图图像进行访闻，且进行一次读访问和一次写访问，它们的运行环境相同，测得的Io/带宽是读写的总带宽。图5一12、5一13、5一14分别给出了使用各种访问模式访问不同大小(gOOKB，.225MB)的真彩色位图图像获得的FO带宽的比较。Figuers一121八〕bnadwidhtsofr(*，bloek)disrtlbution图5一12分配形式为(*，block)时使用各种访问模式获得的I/0带宽

【参考文献】：
期刊论文
[1]并行文件系统的关键技术与框架设计[J]. 魏文国,谢赞福,陈潮填,陈国华.  计算机工程. 2004(13)
[2]并行I/O技术研究[J]. 刘敏,王意洁.  计算机应用研究. 2003(08)
[3]基于MPI的并行I/O方法[J]. 李小卫,罗省贤.  微型机与应用. 2003(03)
[4]MPI2中的并行I/O的使用分析[J]. 刘辉,胡静,王振飞,李学相.  计算机工程. 2003(02)
[5]图像恢复的高效并行算法及关键技术[J]. 李文,张大鹏,刘志勇,乔香珍.  计算机研究与发展. 2002(07)
[6]基于NOW的Collective I/O技术研究[J]. 李冀,刘海涛,陈贵海,谢立.  计算机工程与应用. 2001(03)

硕士论文
[1]并行算法及其应用[D]. 戴波.电子科技大学 2002



本文编号：3308733