基于快速网络的新型存储层次设计与实现

发布时间：2020-04-14 20:10

【摘要】：数据密集型程序有着广泛的应用，已经成为高性能计算中最重要的应用程序之一。这种程序运行时需要频繁访问磁盘上的数据文件，或者要求的主存容量远大于本地主存，导致频繁访问交换区。传统的虚拟存储系统使用磁盘作为后备存储，尽管磁盘具有传输速率高、存储容量大等优点，但是，磁盘的寻道时间比主存要慢几个数量级，从而限制了这些应用程序的执行速度。 本文研究使用空闲的网络主存构造虚拟二级存储设备，提出了预测预取框架PNMS(Prediction-based Network Memory System)。它充分利用了CPU速度的提高、网络延迟的改善和主存容量的不断增加，支持异构节点和各种操作系统。 提出利用内核间直接通信来提高通信性能，实现了一种可靠高效的内核级消息传输协议。它同已有的协议共存，共享底层通信通道。通信双方都在内核中执行，降低了上下文开销和系统调用时间。 提出一种基于外部二级设备的数据备份策略，把server分组，每组增加一个节点，利用磁盘备份本组server中存放的client使用的数据，这就可以避免某个server偶尔失效导致数据丢失，增强了系统的可靠性。 对页面预测算法性能进行了研究，在传统PPM(通过部分匹配进行预测)算法的基础上，通过观察页失效序列，有效结合串行、等跨度等典型程序行为，提出贪婪Markov算法，并讨论了控制预测质量的算法策略和机制。通过把预测算法和应用程序分布到不同的节点，使用网络中的空闲工作站辅助预取，把即将访问的页面读入目标节点，从而进一步减少CPU等待时间。通常情况下，由于预测算法和应用程序在同一节点，因而产生高质量预测的开销很高，使用预取带来的性能提高变得微不足道，但是在我们的框架中，由于在不同的工作站上执行预取，故可以使用复杂度较高的算法，而不会产生负面作用。 PPM模型的级数越高，预测性能就越强，但是模型越复杂，状态空间越大，运行时间也越长。论文中提出了一种利用规则访问压缩多级PPM模型空间的方法。通过把连续访问压缩到一个超级节点中，既可以达到削减状态复杂度的目的，又不会降低模型的 国防科学技术大学研究生院学位论文 预测性能，还有助于预测精度的提高。 在规模比较大的系统中，完全信息收集会导致过多的CPU和网络开销，考虑到网 络系统中负载信息的非精确性和不完整性，我们提出了集中式最小k子集随机算法来选 择空闲节点，并实现了信息Cache机制。采用多个收集节点可以满足系统扩展性要求和 容错要求。通过替换算法，保证Cache中的信息为系统中负载最小的k个节点的信息， 还给出了一种Server优先的主存数量公布算法。 通过对网络主存的server端进行抽象，设计了逻辑memo卿server，它完全屏蔽了 chent和server之间体系结构的差异，使用高效的算法和数据结构，保证检索数据的时 间是常数。 在Linux系统下设计实现了一个基于网络主存的可靠高效的虚拟存储设备，并对 Linux系统内核进行少量修改支持预取。测试结果表明，，系统运行稳定，无论是计算密 集型还是数据密集型应用程序，都可以显著提高程序执行效率，并且具有很强的灵活性。 本文的基本结论是，在快速网络的支持下，利用空闲主存构造虚拟二级存储设备不 仅是可能的，而且是可行的、可靠的，与具有同等(甚至更高)带宽的磁盘相比，它可 以显著提高卫O性能。 关键词:网络主存，部分匹配预测，Markov，存储层次，工作站集群，空闲资源，可靠 性，内核级通信
【图文】：

6、32、64缓冲区混合页面失效算法的预测结果

扩今扩尹矛尹护广尹尹、32、64缓冲区数据页面失效下不同算法的预测结果对于数据页面还是混合页面，除了在某些情高的预测精度。Markovl的预测精度要比M时发现MarkovZ比Ma坎ovl预测页面访问更指令页面、数据页面还是混合页面，Markov。第51页
【学位授予单位】：国防科学技术大学
【学位级别】：博士
【学位授予年份】：2003
【分类号】：TP333

【引证文献】

相关博士学位论文 前1条

1 褚瑞;基于虚拟计算环境的内存资源共享技术研究[D];国防科学技术大学;2007年

相关硕士学位论文 前2条

1 谭伟良;集群作业调度优化技术研究[D];昆明理工大学;2009年

2 林振立;云计算环境下的内存资源共享技术研究[D];国防科学技术大学;2010年

本文编号：2627661