面向小文件的缓存优化和系统实现

发布时间：2017-09-25 23:02

  本文关键词：面向小文件的缓存优化和系统实现

  更多相关文章： 磁盘阵列 预取技术 缓存替换策略 MPICH 消息传递接口

【摘要】：基于计算机技术和互联网存储技术的快速发展,海量的数据信息存储于集群计算机的磁盘阵列中,成为当今数据存储的主流方式。但是由于磁盘存储器性能的发展落后于处理器计算性能的发展,导致磁盘读写性能低于处理器计算性能。本文针对小文件的读取场景,提出了面向小文件形式的缓存优化策略,通过预取技术和缓存替换策略的改进,缓解处理器性能和存储器性能上的差距。同时,本文将操作系统的类似文件操作引入到MPICH编程框架中,设计实现基于共享文件的MPICH扩展接口,以实现并行程序运行。文中开发MPICH_SHU_系统展示平台,针对MPICH_SHU_扩展接口的软件功能进行原理验证和实验测试。本文的具体工作集中在以下几点:1.针对静态场景的读取文件数据,通过前期的实践工作和原理分析,本文将预取技术引入到缓存区域预加载的过程,提出一种面向小文件的缓存策略。将文件存储地址的因子引入到缓存预加载的过程中,通过减少读取小文件的位移总量,减少读取文件的寻道时间,进而缩短预取加载的时间。2.针对动态场景环境,本文通过研究LRU-MRU相关缓存替换算法,将物理地址因子引入到LRU-MRU算法中,提出一种附加物理地址的LRU-MRU算法。本文通过增加物理地址的方式优化缓存替换策略,在命中率相当的情况下提升小文件读取效率。通过实验验证,缓存替换算法在命中率相当、且满负荷的情境下,读取速率提升5%左右。3.设计和实现一种基于共享文件形式MPICH扩展接口,根据MPICH访问的特点和MPICH底层通信机制分析,设计并实现MPICH_SHU_扩展接口。MPICH_SHU_扩展接口的原理是将MPICH控制信息和数据信息通信分离,控制信息采用MPICH原有的机制进行同步,数据信息通信通过调用操作系统提供的类似文件操作接口实现数据传输。4.通过搭建MPICH_SHU_扩展接口展示平台,展示MPICH_SHU_扩展接口的系统实现,包含其原理演示和应用实例测试等功能。验证了基于共享文件形式的MPICH_SHU_扩展接口的可行性。本文实现了对此接口的收发测试和cannon矩阵计算的应用测试。
【关键词】：磁盘阵列 预取技术 缓存替换策略 MPICH 消息传递接口
【学位授予单位】：上海大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要6-8
• ABSTRACT8-15
• 第一章 绪论15-25
• 1.1 课题来源15
• 1.2 课题研究背景15-17
• 1.3 研究课题意义17-18
• 1.4 国内外研究现状18-23
• 1.4.1 磁盘阵列关于数据读取现状18-19
• 1.4.2 关于缓存优化算法研究19-21
• 1.4.3 MPICH的现状及研究21-23
• 1.5 论文主要研究内容23-25
• 第二章 针对静态场景下文件数据存储的研究25-38
• 2.1 基于静态场景的相关背景25-27
• 2.2 基于静态场景提升磁盘读取速率的研究27-33
• 2.2.1 缓存设置对磁盘读取速率的影响28-30
• 2.2.2 文件块设置对磁盘读取速率的影响30-31
• 2.2.3 文件大小设置对磁盘读取速率的影响31-33
• 2.3 预加载过程文件分类存储机制设计33-34
• 2.4 预加载过程文件分类存储机制实现与测试34-36
• 2.5 本章小结36-38
• 第三章 针对动态场景下文件数据存储的研究38-55
• 3.1 LRU-MRU缓存优化算法原理38-40
• 3.2 LRU-MRU缓存替换策略模型实现40-44
• 3.3 LRU-MRU模型衍生算法实现和分析44-48
• 3.3.1 传统LRU-MRU缓存策略44-45
• 3.3.2 改进LRU-MRU缓存策略45-46
• 3.3.3 顺序访问的LRU-MRU缓存策略46-48
• 3.3.4 随机访问的LRU-MRU缓存策略48
• 3.4 附加物理地址的缓存替换算法原理48-50
• 3.4.1 附加物理地址LRU-MRU缓存策略49
• 3.4.2 附加物理地址LRU-MRU缓存策略新增因素49-50
• 3.5 附加物理地址LRU-MRU算法实现步骤50-53
• 3.6 本章小结53-55
• 第四章 基于共享文件形式的MPICH接口扩展55-91
• 4.1 MPICH的源码分析55-62
• 4.1.1 MPICH框架分层介绍56-57
• 4.1.2 MPICH源码分析方法57-58
• 4.1.3 MPICH的结构分析和主要功能函数58-60
• 4.1.4 关于进程间数据传输方式研究60-62
• 4.2 MPICH3 面向用户层主要函数解析62-72
• 4.2.1 MPI_Init函数调用关系解析62-63
• 4.2.2 MPI_Comm_rank函数调用关系解析63
• 4.2.3 MPI_Comm_size函数调用关系解析63
• 4.2.4 MPI_Send函数调用关系解析63-70
• 4.2.5 MPI_Recv函数调用关系解析70-72
• 4.2.6 MPI_Finalize函数调用关系解析72
• 4.3 MPICH3 面向设备层通信模式72-76
• 4.3.1 面向用户层通信模式73-74
• 4.3.2 面向设备层通信模式74-76
• 4.4 共享文件方式实现MPICH底层数据通信76-81
• 4.4.1 MPI_SHU_扩展接口层次76-77
• 4.4.2 MPI_SHU_面向节点内通信的设计77-80
• 4.4.3 MPI_SHU_面向节点间通信的设计80-81
• 4.5 基于共享文件形式MPICH扩展接口实现81-83
• 4.6 Cannon矩阵计算的应用83-90
• 4.7 本章小结90-91
• 第五章 实验结果及分析91-106
• 5.1 实验平台及环境情况91-92
• 5.2 静态场景下测试分析92-98
• 5.2.1 预处理文件分布变化92-94
• 5.2.2 文件大小和文件块对文件读取的速率影响94-98
• 5.3 增加物理地址缓存替换算法模拟测试98-99
• 5.4 MPICH_SHU_基于共享文件方式的扩展接口测试99-103
• 5.4.1 MPICH_SHU_基于共享文件方式测试环境99-101
• 5.4.2 MPICH_SHU_基于共享文件方式原理101-102
• 5.4.3 运行结果及分析102-103
• 5.5 MPICH扩展接口实验展示平台实现103-105
• 5.6 本章小结105-106
• 第六章 总结与展望106-108
• 6.1 本文的工作总结106
• 6.2 进一步的研究方向106-107
• 6.3 结束语107-108
• 参考文献108-115
• 作者在攻读硕士学位期间公开发表的论文115-116
• 作者在攻读硕士学位期间所作的项目116-117
• 致谢117

【参考文献】

中国期刊全文数据库 前2条

1 张锦雄;矩阵相乘并行算法的MPI实现[J];广西科学院学报;2004年04期

2 蒋英,雷永梅;基于MPI的几种算法的并行编程通用算法[J];计算机工程与应用;2003年03期

中国博士学位论文全文数据库 前1条

1 谢e，

本文编号：920043