IaaS中基于热点数据的存储系统研究与实现

发布时间：2017-05-23 15:26

  本文关键词：IaaS中基于热点数据的存储系统研究与实现，由笔耕文化传播整理发布。

【摘要】：随着移动互联的兴起和大数据时代的来临,非结构化数据规模呈爆炸性增长,如何处理和存储大数据成为当务之急。云存储有效地解决了大数据存储问题,云存储系统通过整合和管理广泛分布的存储资源,以低成本、高可靠性,为使用者提供高性能、按需的存储服务。然而,现有的存储系统未考虑数据热度问题,Rabinovich等人的研究表明,数据在存储系统中通常按Zipf分布[1]访问,如何充分利用数据的热点效应成为提升云存储系统性能的关键。论文以当今热门的Open Stack Swift云存储系统为平台,首先研究了Swift存储系统的架构设计与实现方式,分析得出:Swift传统架构在小规模存储背景下代理节点利用率不足,开销大等缺点。在此基础上提出将存储节点和代理节点结合的增强型节点方案,有效提升系统的性价比。针对代理节点中存储空间有限的问题,提出将热点分区动态迁移至代理节点的思想,这既充分利用代理节点的高性能,又有效控制代理节点的存储容量。首先,论文创新性的提出了基于预测的热点数据统计模型。通过分析数据的流行趋势,预测出数据未来的访问量,并采用多周期热点统计算法分析数据在不同周期内的下载频率,定量的描述出数据的热度值,并能有效克制热点数据访问激增造成的热度值波动;以数据整体的热度值为依据,提出了热点分区动态迁移策略,该策略综合考虑分区的大小和热度值,通过爬山算法将热点分区迁移至代理节点中,同时提出了饥饿值策略,将非热点分区按饥饿值迁出到其余存储节点中,保证系统的负载均衡。其次,针对热点数据高并发访问造成的性能瓶颈,论文提出了基于热点的反向代理缓存策略,将Web中的反向代理缓存技术与Swift融合,将热点数据缓存在内存中,做到内存级响应与计算,从而有效缓解了高并发访问时内部存储节点的压力,提高了系统的响应速度和并发处理能力。最后,论文通过使用开源性能评测工具Cosbench,对系统进行评测。通过修改Cosbench的源码,模拟三种热点访问场景:等概率均匀热、周期性阶段热以及永久性持续热,并在三种场景下分析系统性能。实验显示,基于热点的云存储系统能够有效提高系统的吞吐率,缩短响应时间,加快执行速度。
【关键词】：Open Stack Swift 热点数据 动态迁移 预测 反向代理缓存
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第1章 绪论8-14
• 1.1 研究背景和意义8-9
• 1.2 国内外研究现状9-12
• 1.2.1 云存储系统研究现状9-11
• 1.2.2 云存储系统中热点数据研究现状11-12
• 1.3 研究内容12-13
• 1.4 本文结构13-14
• 第2章 云存储及OPENSTACK SWIFT改进14-29
• 2.1 云存储系统概述14-19
• 2.1.1 云存储系统分类16-17
• 2.1.2 云存储系统核心技术17-19
• 2.2 Open Stack Swift介绍19-24
• 2.2.1 Swift数据模型20
• 2.2.2 Swift系统架构20-22
• 2.2.3 一致性哈希算法22-24
• 2.3 增强型节点架构方案24-26
• 2.4 实验测试与分析26-27
• 2.5 本章小结27-29
• 第3章 基于预测的热点分区动态迁移策略29-45
• 3.1 云存储系统热点数据分析29-31
• 3.1.1 热点数据的定义与分类29-30
• 3.1.2 Zipf定律30-31
• 3.2 基于预测的热点数据统计算法31-33
• 3.2.1 二元线性回归预测算法31-32
• 3.2.2 多周期热点统计算法32-33
• 3.3 基于预测的热点分区动态迁移设计与实现33-41
• 3.3.1 分区动态迁移原理34-35
• 3.3.2 总体架构设计35-36
• 3.3.3 关键模块设计与实现36-41
• 3.4 实验测试41-44
• 3.4.1 实验环境与设计41-42
• 3.4.2 实验结果分析42-44
• 3.5 本章小结44-45
• 第4章 基于热点的反向代理缓存系统45-57
• 4.1 反向代理缓存技术45-47
• 4.1.1 反向代理缓存与CDN45-46
• 4.1.2 缓存替换算法46
• 4.1.3 反向代理服务器46-47
• 4.2 基于热点的反向代理缓存设计与实现47-53
• 4.2.1 热点数据性能瓶颈分析47-48
• 4.2.2 反向代理缓存总体设计48-49
• 4.2.3 数据收集与热度计算模块49-50
• 4.2.4 请求重定向模块50-53
• 4.3 基于Varnish的缓存实现53-55
• 4.3.1 Varnish工作原理53-55
• 4.3.2 Varnish配置实现55
• 4.4 本章小结55-57
• 第5章 实验设计与分析57-63
• 5.1 实验设计57-58
• 5.2 实验环境58
• 5.3 性能测试与分析58-62
• 5.3.1 基于预测的热点分区动态迁移实验58-60
• 5.3.2 高并发下基于热点的反向代理缓存实验60-62
• 5.4 本章小结62-63
• 结论63-64
• 参考文献64-68
• 致谢68

【参考文献】

中国期刊全文数据库 前2条

1 周旭;卢显良;侯孟书;詹川;;频率自适应的动态副本管理机制[J];计算机科学;2005年02期

2 胡平;;云存储:有效提高存储资源利用率[J];中国电信业;2013年06期

中国硕士学位论文全文数据库 前2条

1 蒋浩;分布式文件存储系统副本管理方法研究[D];浙江大学;2013年

2 郑庆;海量规模下高性能对象存储服务技术的研究[D];上海交通大学;2013年

  本文关键词：IaaS中基于热点数据的存储系统研究与实现，由笔耕文化传播整理发布。

，

本文编号：388360