云存储系统服务质量控制与可靠性技术研究

发布时间：2020-09-05 13:36

　　 云计算技术的兴起和发展,正逐渐改变人们使用服务和资源的方式,同时也成为计算机应用领域的研究热点。云存储可实现云端海量数据的高效存储,是云计算的重要基础。如何保证云存储系统的服务质量(QoS, Qulity of Service)及可靠性,对于保证海量用户的访问效率,维护海量数据存储的可用性有着重大意义。当前主流的云存储系统,一方面缺乏有效的QoS控制机制,无法满足不同用户的访问需求,另一方面采用静态的可靠性保障技术,难以适应系统多变的应用环境。论文针对上述不足,结合国家重大科技专项的研究以及云存储系统的基本架构模型,对云存储系统的QoS控制及可靠性技术开展研究。 为了保证云存储系统数据访问的QoS,论文提出了基于区分服务的云存储QoS控制方法,通过对云存储系统的用户基于服务质量等级进行区分,提供不同的QoS保证。一方面在元数据服务器上采用EDF队列调度满足用户对时延的需求；而在数据存储服务器上利用多级队列调度的方法满足传输带宽的输出,同时通过自适应的负载调节优先保证高等级用户的服务质量。另一方面利用QoS-aware负载均衡策略从宏观上调节整个系统的QoS控制,使面向QoS的读请求分配最优化。最后使用断点续传机制,保证数据传输过程中的QOS。 针对云存储系统中数据存储服务器的不可靠特性,论文提出了一种双向失效检测策略,以心跳检测策略为主,主动检测为辅,对数据存储服务器进行快速准确的失效检测。在心跳检测中,利用自适应的心跳超时算法,以适应云存储系统不断变化的网络环境；同时在心跳超时触发主动检测策略,避免由于心跳丢包而引起的服务器失效误判。实验证明,双向失效检测能够很好地适应系统不断变化的应用环境,降低检测的错误率,准确地识别失效的数据存储服务器。 在保证数据可靠性方面,论文提出了副本初次放置策略、自适应的副本数量控制策略以及副本失效处理机制等一系列面向可靠性的副本策略。副本初次放置策略选取最合适的服务器放置根副本,保证存储初期的可靠。自适应的副本控制数量策略根据用户的访问特性动态地调节系统的副本情况,为热点文件增加副本,减轻负载；同时减少冷门文件的副本,节省存储空间资源。当单副本失效或者数据存储服务器失效时,启动失效处理机制,通过快速复制失效的副本来保证副本的冗余个数,确保访问数据的可靠性。 论文最后介绍了基于QoS控制及可靠性技术的原型系统：杰唐云存储系统JTangCS,该系统实现了论文所述的QoS控制和可靠性技术。
【学位单位】：浙江大学
【学位级别】：硕士
【学位年份】：2011
【中图分类】：TP333
【部分图文】：

浙江大学{吹卜学位论文第l章绪论备所构成的资源集合体。云存储系统中任何一个单独的存储设备都不能构成云存储服务。用户使用云存储，是使用整个云存储系统带来的一种数据存储及访问服务。所以严格来讲，云存储不是一般意义上的存储，而是一种服务。云存储的实现机制是用户透明的，用户无需考虑数据存储的位置，数据的可靠性和安全性等繁琐的技术细节，只需要通过付费或者免费的方式就可以从云存储服务提供商获得相应的存储空间和可靠的QOS保证，专注于自身应用和业务的发展。与传统的存储设备相比，云存储系统不再是一个硬件，而是一个网络设备、存储设备、应用程序、公用访问接口、接入网络等多个部件组成的复杂系统。云存储系统以存储设备为核心，通过应用程序来对外提供数据存储和业务访问服务。云存储的结构模型如图1.1所示:

2.cePh云存储系统Ceph是加州大学SantaCruz分校的SageWeil专为博士论文设计的新一代云存储文件系统。CePh的主要目标是设计成基于POSIX的无节点故障分布式文件系统，使数据具有容错功能和进行无缝复制。CePh的最大特点有两个，一是由复数个元数据服务器构建系统的命名空间，大大强化了元数据服务器的并发访问性能。在元数据服务器上它采用动态子树划分技术，并且支持元数据服务器负载的迁移，实现元数据负载均衡。二是提供基于对象存储设备的对象文件系统，把文件作为一个存储对象来对待，有效提高文件读写的效率。2010年3月，LinusTorvalds将Ceph的客户端合并到Linux内核2.6.34中。比比比Shhhhh

Lch.‘tkhandle.byIOr翻吕心卜................仁h目吐dal盈Gfse加.加处曰erl，i。哪n卜，y、讨”卜‘二「5ehu川匕.“er_l·，。.冬‘.亡、)、‘。n、图1.2GoogleFilesystem基本架构图[门2.cePh云存储系统Ceph是加州大学SantaCruz分校的SageWeil专为博士论文设计的新一存储文件系统。CePh的主要目标是设计成基于POSIX的无节点故障分布式系统，使数据具有容错功能和进行无缝复制。CePh的最大特点有两个，一复数个元数据服务器构建系统的命名空间，大大强化了元数据服务器的并发能。在元数据服务器上它采用动态子树划分技术，并且支持元数据服务器的迁移，实现元数据负载均衡。二是提供基于对象存储设备的对象文件系统文件作为一个存储对象来对待，有效提高文件读写的效率。2010年3月，rvalds将Ceph的客户端合并到Linux内核2.6.34中。

【参考文献】

相关期刊论文 前10条

1 云晓春,余翔湛;基于确认度失效检测算法的研究与设计[J];北京邮电大学学报;2005年03期

2 伍文静;程耀东;汪璐;武杰;陈刚;;面向本地分布式存储系统的动态副本策略[J];计算机工程与应用;2010年12期

3 周旭;卢显良;侯孟书;詹川;;频率自适应的动态副本管理机制[J];计算机科学;2005年02期

4 高文宇,陈松乔,王建新;接纳控制研究综述[J];计算机工程;2005年01期

5 陈宇;董健全;;非结构化P2P网络中的副本管理策略[J];计算机工程;2008年18期

6 单志广,林闯,肖人毅,杨扬;Web QoS控制研究综述[J];计算机学报;2004年02期

7 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期

8 陈宁江,魏峻,杨波,黄涛;Web应用服务器的适应性失效检测[J];软件学报;2005年11期

9 武珊珊;于戈;吕雁飞;谷峪;李晓静;;数据流处理中确定性QoS的保证方法[J];软件学报;2008年08期

10 邱菡;李玉峰;邬江兴;;保障连续媒体流用户层QoS的缓存控制[J];软件学报;2009年07期

相关硕士学位论文 前1条

1 孙鹏;面向SaaS应用的多租户海量存储系统设计与实现[D];浙江大学;2010年

本文编号：2813081