智能网络磁盘（IND）存储管理方法研究

发布时间：2018-10-22 19:59

【摘要】：随着网络化和数字化技术的飞速发展,互联网为广大的用户提供了极为丰富的信息资源,如何处理并长期保存有重要价值的海量数据信息,引起了人们的高度关注。因此,近年来海量信息存储技术已经成为计算机科学和技术领域的一个非常重要的研究方向和技术研究热点。目前在解决海量信息存储技术问题的众多技术方案中,网络集群技术是一种最流行的实现方式,但是在网络集群存储系统中仍然还不同程度地存在着存储性能瓶颈和单点故障问题,因此,如何有效地克服网络集群存储方式中的存储性能瓶颈和单点故障问题是当前计算机存储技术研究领域中一项十分重要的研究工作,具有重要的理论意义和实际意义。智能网络磁盘(Intelligent Network Disk, IND)存储系统是作者课题组提出的一种新的智能化的海量信息存储体系结构,由智能网络磁盘(IND)组成的网络存储系统除了具有一般网络集群存储系统的特点外,还能通过采用一系列的智能控制算法来防止存储性能瓶颈和单点故障问题,维护系统的负载均衡,实现整个网络存储系统的智能化信息存储。因此,智能网络磁盘(IND)存储系统是一种较理想的网络集群存储系统。本文对智能网络磁盘(IND)存储系统的嵌入式IND结构模型、IND智能存储管理算法、适合IND特性的综合负载均衡策略、消除系统热点瓶颈的Cache调整机制以及IND在视频服务器与高性能计算中的应用等存储管理方法进行了系统和深入的研究。作者所做的主要研究工作和创新性成果体现在以下几方面： 1、提出了一种具有直接联网和自主存储功能的IND结构模型。这种IND通过联网可灵活地构建大容量的IND存储系统,为存储虚拟化增添了一种海量存储的新途径,并进行了相应试验,为后续探索提供了有利条件。 2、提出了IND存储系统的智能存储管理算法。在深入研究Bloom filter和Hash表对存储管理的重要作用的基础上,设计了相应的IND算法以控制存储系统的读写过程,自动地应对客户的高并发请求,实现IND之间的相互协调,提高系统整体存储效率。同时,采用集中控制和分散服务的管理措施,能够克服存储性能瓶颈和单点故障问题。大量测试结果表明,在当前条件下,这是实现IND海量存储行之有效的一种存储方法。 3、提出了一种适合IND特性的综合负载均衡策略。它能够根据IND处理能力和任务特点来合理分配负载。通过统计读写访问频数,结合时空因素来动态调整实现存储系统的负载均衡,使各IND负载尽量分布均匀。当在高并发请求产生负载倾斜时,可适时迁移调整各个IND上的文件数量。这种用文件访问频数动态调整负载均衡的方法,不干扰系统进程,不增加通信开销。实验研究表明,系统运行稳定,收到了很好的效果。 4、提出了一种能够消除系统热点瓶颈的Cache调整机制。针对读请求频繁的系统,如IND用于Web服务器、视频服务器,采用Cache动态调整策略可消除系统的热点瓶颈,减少延时和迁移通信开销,提高了存储系统的性能。 5、设计了一种IND视频点播系统,其运行结果令人满意,它综合反映了IND存储系统的特色,预示了IND的应用前景。此外,还给出了一种挂载IND的高性能集群计算系统方案,并通过I/0密集型高性能计算中矩阵运算的存储试验,达到了预期的效果。
[Abstract]:......
【学位授予单位】：中南大学
【学位级别】：博士
【学位授予年份】：2012
【分类号】：TP333

【参考文献】