分布式存储及其缓存的优化模型研究

发布时间：2017-06-20 12:01

  本文关键词：分布式存储及其缓存的优化模型研究，由笔耕文化传播整理发布。

【摘要】：采用分布式存储实现的存储虚拟化可以提供良好的可靠性、兼容性和容错能力。然而,传统的分布式存储集群主要应用于面向海量数据分析以及对计算和存储资源的调度上,目前将分布式存储用于实现存储虚拟化的研究和实践较少,其原因在于当数据存储从本地硬盘搬移到网络集群,系统的读写性能会受到影响。当采用分布式存储实现存储虚拟化时,为了在保证系统可靠性的同时兼顾读写性能,需要一个良好的缓存系统作为支持。基于此,本文提出了一种分布式多级缓存模型DMCM,用于验证采用分布式存储实现存储虚拟化的可行性。由于HDFS(Hadoop Distributed File System)是一种应用广泛的分布式存储框架,模型选取了HDFS作为后端存储,以内存作为一级缓存、硬盘作为二级缓存,并在HDFS主节点下配置iSCSI服务器衔接HDFS接口,从而实现基于局域网的存储虚拟化。为了改善读写性能,本文制定了模型的缓存替换策略,并设计了基于该策略的索引表结构。本文采用块设备驱动程序和后端调度程序作为模型的实现方案,当用户通过iSCSI客户端上传下载文件时,会触发对块设备的读写请求,并实现数据块在各级缓存的高效调度。为了实现本文提出的分布式多级模型,本文搭建了HDFS集群和iSCSI服务器,在局域网环境下部署了系统,并对系统的读写性能做了测试。对写性能测试了缓存单元大小和单次写入数据对传输性能的影响,发现增大缓存单元可以提高传输速率,在单次写入文件超过20MB时传输速率趋于稳定;对读请求测试了随机访问、局部访问、顺序访问三种模式下的缓存命中率和使用效率,并发现局部访问下系统的性能更优。本文提出的DMCM模型主要解决基于HDFS实现存储虚拟化时在保证可靠性的同时提高读写性能的问题,可以为采用分布式存储实现存储虚拟化提供参考。
【关键词】：存储虚拟化 分布式存储 缓存替换策略 HDFS iSCSI服务器
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-10
• 第一章 绪论10-18
• 1.1 课题的研究背景及意义10-11
• 1.2 国内外研究现状11-15
• 1.2.1 网络传输下的缓存技术研究现状11-13
• 1.2.2 存储虚拟化研究现状13-15
• 1.3 本论文主要的研究内容和工作15-16
• 1.4 论文章节安排16-18
• 第二章 分布式存储系统及缓存技术概述18-25
• 2.1 分布式存储技术概述18-20
• 2.1.1 分布式存储作为云存储的三种方式之一18-19
• 2.1.2 采用分布式存储实现存储虚拟化19-20
• 2.2 分布式文件系统HDFS20-21
• 2.3 缓存技术的理论研究21-24
• 2.3.1 存储器层次结构21-23
• 2.3.2 缓存策略概述23-24
• 2.4 本章小结24-25
• 第三章 基于局域网的分布式多级缓存模型25-42
• 3.1 基于iSCSI和HDFS的分布式多级缓存模型DMCM原理25-29
• 3.1.1 模型的网络架构和基本原理25-27
• 3.1.2 两级缓存的数据分块与映射27-29
• 3.1.3 DMCM基本工作流程29
• 3.2 分布式多级缓存模型的缓存策略设计29-41
• 3.2.1 缓存索引表的设计29-36
• 3.2.2 缓存置换策略的设计36-41
• 3.3 本章小结41-42
• 第四章 分布式多级缓存模型实现方案42-61
• 4.1 块设备驱动程序的设计42-52
• 4.1.1 初始化模块45-46
• 4.1.2 读请求处理模块46-47
• 4.1.3 写请求处理模块47-48
• 4.1.4 延迟写入硬盘模块48-50
• 4.1.5 索引表维护模块50-52
• 4.2 块设备驱动程序与后端调度程序的交互52-55
• 4.3 后端调度程序的设计55-58
• 4.3.1 写请求处理模块55-57
• 4.3.2 读请求处理模块57-58
• 4.4 存储受限下的索引表数据结构优化58-60
• 4.5 本章小结60-61
• 第五章 系统测试与结果分析61-82
• 5.1 分布式多级缓存系统的搭建61-68
• 5.1.1 使用VirtualBox搭建HDFS存储集群及iSCSI服务器61-65
• 5.1.2 块设备驱动程序及后端调度程序的部署65-68
• 5.2 系统写性能测试与分析68-72
• 5.2.1 缓存单元大小对写性能的影响68-71
• 5.2.2 写入文件大小对写性能的影响71-72
• 5.3 系统读性能测试与分析72-80
• 5.3.1 不同访问模式对读性能的影响73-79
• 5.3.2 缓存局部性对读性能的影响79-80
• 5.4 传统的与采用分布式存储的虚拟化方案对比80-81
• 5.5 本章小结81-82
• 结论和展望82-84
• 参考文献84-87
• 攻读硕士学位期间取得的研究成果87-88
• 致谢88-89
• 附件89

【相似文献】

中国期刊全文数据库 前10条

1 王征;刘心松;李美安;;企业信息分布式存储的热点处理策略[J];计算机集成制造系统;2006年09期

2 李磊;沈海斌;黄凯;严晓浪;Han Sangil;Ahmed A Jerraya;;分布式存储管理在多核设计中的高层建模[J];电子与信息学报;2008年11期

3 刘翔;汪海玲;;分布式存储中的一种数据放置策略[J];计算机与数字工程;2009年05期

4 陈卫卫;吴海佳;胥光辉;;分布式存储中文件分割的最优化模型[J];解放军理工大学学报(自然科学版);2010年04期

5 崔忠强;左德承;张展;;在云间可重构的分布式存储[J];系统工程理论与实践;2011年S2期

6 郝杰;逯彦博;刘鑫吉;夏树涛;;分布式存储中的再生码综述[J];重庆邮电大学学报(自然科学版);2013年01期

7 唐京伟;;基于云计算的分布式存储技术[J];中国传媒科技;2013年15期

8 郭栋;王伟;曾国荪;;基于一致性树分布的数据分布式存储方法[J];计算机应用;2013年12期

9 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[J];电信科学;2013年12期

10 谢然;;敢问存储之路在何方?见分布式存储摇曳在数据枝头[J];互联网周刊;2014年02期

中国重要会议论文全文数据库 前7条

1 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年

2 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年

3 郑文武;李先绪;黄植勤;邱红飞;;云存储关键技术[A];2012全国无线及移动通信学术大会论文集（下）[C];2012年

4 蒋轶林;郭淑琴;;分布式存储在数字集群移动通信系统中的应用[A];浙江省电子学会2013学术年会论文集[C];2013年

5 姜继忱;陈钢;;P2P之路——缔造“分布式对等”的Internet3.0[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（下）[C];2003年

6 付伟;肖侬;卢锡城;;QoS感知的副本放置问题研究综述[A];第15届全国信息存储技术学术会议论文集[C];2008年

7 张彦;刘欣然;徐慧彬;;一种基于虚拟计算环境的分布式存储体系结构[A];2009全国计算机网络与通信学术会议论文集[C];2009年

中国重要报纸全文数据库 前8条

1 京东架构委员会主任 云平台首席架构师 系统技术部负责人 刘海锋;京东:分布式存储体系成为业务基石[N];中国信息化周报;2014年

2 《网络世界》记者 于翔;京东分布式存储体系研发历程[N];网络世界;2014年

3 《网络世界》记者 于翔;融合一体机投入大规模商用[N];网络世界;2013年

4 记者 余荣华;大数据，催生大变革[N];人民日报;2014年

5 本报记者 张佳星;新生产业布局如何“云”中索骥[N];科技日报;2014年

6 本报记者 甘露;物联网让管理更美妙[N];计算机世界;2013年

7 本报记者 郭涛;华为帮用户定制HANA一体机[N];中国计算机报;2013年

8 临江;手机浏览器,3G时代的采矿机？[N];人民邮电;2009年

中国博士学位论文全文数据库 前9条

1 吴思;容错分布式存储系统扩容机制研究[D];中国科学技术大学;2016年

2 胡q，

本文编号：465504