大规模多媒体存储系统中数据放置与调度策略的研究

发布时间：2020-03-29 21:52

【摘要】：随着计算机技术的进步和多媒体技术的发展,大规模服务器存储系统成为当前研究的热点。在设计大规模媒体服务器的存储系统时,需要提供巨大而可靠的存储空间和高I/O吞吐,尤其是读的I/O性能。数据分布方式是影响存储系统的性能和相应调度策略的关键因素,因此,研究视频服务器存储系统中数据分布及其调度策略具有重要意义,本文围绕这些问题开展了—些有意义的研究工作。本文首先设计了—种分布式的网络RAID系统,它采用大量的磁盘驱动器构建集群存储系统:所有分布的本地磁盘可以用中间件粘连在—起形成一个大的、具有单一I/O空间的存储池。它能够获得非常可观的性能和存储容量,提供高效的结点间磁盘文件共享功能和媒体服务性能。建立在高性能PC结点集群基础上的大规模集群视频服务器是一种经济而高效的结构。其次,在分布网络RAID存储布局的基础研究之上,本文设计了—种在磁盘存储区域中将数据块与校验块分离放置(SPDB)的数据片化方式,它能够获得最大并发流数目;同时设计了一种结点级校验组(NDPG)的冗余数据放置方式,使整个系统能够容忍单结点和单个磁盘失效,能够以较低的存储开销获得较高的可用度。并且利用马尔可夫状态图的方法分析了存储系统的可用度,结果表明,在相同的系统配置下,NDPG相比简单RAID-5和RAID-x的可用度改进因子(AIF)分别为99.59%和89.05%。系统扩展是满足容量和带宽增长需求的主要手段,但是扩展过程需要在整个系统中重新调整和分布数据块。本文总结了扩展算法应当遵循的三个条件:扩展算法开销小;数据移动量小;扩展后存储及负载均衡。并对视频服务器上媒体文件的数据块按随机放置方式分布于各个结点中,暂时不考虑校验和冗余信息的情况下,设计了编号重组(SNR)算法,它不但可以达到快速扩展的要求,而且扩展后存储负载保持均衡。为了充分利用多磁盘的并行性以减少请求的执行时间,需要确定将—个I/O请求划分为多少个子请求,即并发度。通过解析的方法确定I/O请求的最佳并发度相比其它方法具有简单,完备和高效的优点。本文根据磁盘设备数据准备时间、设备的带宽和设备的请求管理开销等因素,研究了为视频请求选择合理的并发度的问题,以更好地利用多个设备的并发性能来减少I/O请求执行时间,为数据片化提供一定的理论依据,并依此确定系统配置的规模。并对解析结果进行了充分的模拟试验。试验表明,该方法能合理的选择系统结点数和设备数、片单元大小等配置,对提高系统性能具有指导意义。为了同时优化存储系统中请求并发和负载平衡,本文提出基于平衡超图划分的自适应数据分布策略;在此策略中设计了两个目标函数同时进行请求并发与负载平衡的优化控制,根据一定I/O访问模式动态优化盘阵性能。在此基础上,结合离差和熵的概念,设计了一种调整负载
【图文】：

机群,结点,VOD服务器,集群式

国防科学技术大学研究生院学位论文下振男毛高性能、较高的司市L展陛、高吞吐量和高可用性等特点【12]。集群的另一个好处是故障恢复能力，因为集群中各妇喘具有相似性。但是这里有很多挑性的工作:如何在集群系统实现并行网络服务;使它对夕卜是透明的;使它具有良好的刚中和可用性。

结构图,资源分布,设备,集群系统

.2.21集群视濒明及务器中的存储结构在集群系统中，沁资源分布有两种典型的结构:SDS(h田司E屺viec)和NsS(h田司Nhoting)[12，60]，如图22所示。SD结构采用专用高性能网络附接设备【61]，如硬件盘阵，为集群系统提供全局的沁服务。系统中的各结点通过网经衫共享lO/设备，用户可以象使用本地沁设备一样透明地使用这些多戈享设备。NS结构中的各结点有各自的沁设备，，可相互独立地完成沁操作。(a)SD结构(b)NS结构图22集群中典型的lO/资源分布结构第20页
【学位授予单位】：国防科学技术大学
【学位级别】：博士
【学位授予年份】：2005
【分类号】：TP333

【引证文献】