基于Swift的海量小文件对象存储研究

发布时间：2017-10-01 14:28

  本文关键词：基于Swift的海量小文件对象存储研究

  更多相关文章： 云存储 海量小文件 对象存储 Swift

【摘要】：随着互联网快速发展,数据呈爆炸式增长,在当前众多互联网应用场景中80%为小文件。相对于大文件,海量小文件的存取给文件系统带来巨大的压力,因此其存储效率成为云存储行业关注的重点问题。目前大多数分布式存储系统在网络通信、元数据访问、数据布局等方面侧重于大文件,对海量小文件的IOPS性能影响较大。而对象存储作为一种新型分布式存储架构被工业界普遍使用,其中Swift作为对象存储的实现范例在数据存取速度上有明显优势,为提高海量小文件的存储性能提供了新的可能。本文基于Swift对象存储架构对海量小文件的存取机制的优化进行研究。首先,为了提升海量小文件在存储时的写入性能,提出一种基于文件写入请求的时序特性的数据聚合存储策略;同时,建立分布式二级索引机制,解决代理节点的元数据管理的性能瓶颈。通过大量的仿真实验表明,相对原始系统的存储机制,本存储优化机制采用数据聚合分级索引策略,数据写入的响应时间更短,索引维护代价更低。其次,针对二级索引机制的引入带来小文件读取响应时间增长的不利影响,本文首先提出了一种结合历史关联性与语义关联性的对象关联性评估模型。然后借助于对象关联性评估数据进行对象预测分析,通过建立预取策略来减少小文件读取的响应时间。其次为提高预测的准确度,本模型提出回归分析的校正方法,首先通过HP公司真实日志数据对预测结果进行校对,其次修正结果反馈优化评估模型的权重分配,然后进一步拟合数据时序,实验结果表明,相比于传统,本模型提高了数据在访问时的效率。最后,本文通过完成整合数据聚合策略与对象预取策略的验证系统的设计与实现来验证本文提出的机制,实验表明,本文提出的加入预取策略的模型能有效提升海量小文件的存取效率。
【关键词】：云存储 海量小文件 对象存储 Swift
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-8
• 第1章 绪论8-21
• 1.1 课题背景及研究目的和意义8-11
• 1.2 国内外研究现状分析11-17
• 1.2.1 元数据管理优化11
• 1.2.2 数据组织优化11-12
• 1.2.3 Cache管理优化12-13
• 1.2.4 常见优化案例13-17
• 1.3 当前存在的主要问题17-18
• 1.4 主要研究内容及章节安排18-21
• 第2章 对象存储相关技术基础21-27
• 2.1 对象存储21-22
• 2.2 Swift22-26
• 2.2.1 Ring与一致性哈希23-24
• 2.2.2 数据模型与服务组件24-26
• 2.3 存在的问题26
• 2.4 本章小结26-27
• 第3章 时序聚合存储策略27-35
• 3.1 数据聚合策略研究27-31
• 3.2 实验与分析31-34
• 3.2.1 实验方案设计31-32
• 3.2.2 测试结果32-34
• 3.3 本章小结34-35
• 第4章 关联性预取访问策略35-55
• 4.1 关联性预取策略研究35
• 4.2 对象关联性评估模型35-44
• 4.2.1 时序关联性36-42
• 4.2.2 语义关联性42-43
• 4.2.3 关联性整合评估43-44
• 4.3 对象关联性预取算法44-47
• 4.3.1 聚类算法选取44-46
• 4.3.2 关联性聚类应用46-47
• 4.4 基于回归的评估优化设计47-50
• 4.5 实验与分析50-54
• 4.5.1 实验方案设计50-52
• 4.5.2 测试结果52-54
• 4.6 本章小结54-55
• 第5章 海量小文件存储优化原型设计与实现55-65
• 5.1 系统设计与实现55-62
• 5.1.1 数据聚合缓存写模块设计与实现56-59
• 5.1.2 数据预取缓存读模块设计与实现59-62
• 5.2 实验与分析62-64
• 5.2.1 实验方案设计62-63
• 5.2.2 测试结果63-64
• 5.3 本章小结64-65
• 结论65-66
• 参考文献66-73
• 致谢73

【相似文献】

中国期刊全文数据库 前10条

1 袁俊德;高国奇;李跃华;;SWIFT的基本架构与技术发展[J];中国金融电脑;2007年05期

2 杨士华;;SWIFT在中国的发展和应用[J];金融电子化;2008年10期

3 李赫;;SWIFT与东亚的合作及启示[J];华南金融电脑;2008年05期

4 毛翔昊;;中国农业发展银行SWIFT系统升级实录[J];中国金融电脑;2012年08期

5 ;SHENZHEN POST IN SWIFT DEVELOPMENT[J];中国邮政;1988年01期

6 杨英;Swift系统[J];管理科学文摘;1995年06期

7 王嵩 ,张静;SWIFT及其在我国推广应用的前景[J];信息系统工程;1997年12期

8 罗军舟,程华,周润芳,顾冠群;一个SWIFT端系统的设计与实现[J];中国金融电脑;2000年02期

9 ;上海信天喜获华东首份SWIFT客户合同[J];通信世界;2004年04期

10 沈国华;;SWIFT在我国商业银行的应用及其前景[J];电脑与电信;2007年02期

中国重要会议论文全文数据库 前3条

1 林一清;;Swift/BAT observations for X-ray flashes[A];中国天文学会2007年学术年会论文集[C];2007年

2 孙峻峭;;青海中行SWIFT应用及安全[A];第十一届全国计算机安全技术交流会论文集[C];1996年

3 张峰;李基亮;;校园私有云存储方案与探索[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年

中国重要报纸全文数据库 前10条

1 张泰欣;SWIFT助力金融交易处理平台[N];中国证券报;2007年

2 维德;上海信天获华东首份SWIFT客户合同[N];中国电子报;2004年

3 曾娅;上海信天喜获华东首份SWIFT客户合同[N];人民邮电;2004年

4 河南 韩欲青;Swift 3D让平面动起来[N];中国电脑教育报;2001年

5 记者 潘晓娟;SWIFT合作伙伴计划助推中国金融设施建设[N];中国经济导报;2007年

6 袁媛邋谢晓冬;中行成为内地首家SWIFT组织成员[N];上海证券报;2007年

7 隽文;SWIFT将促进中国金融市场协调发展[N];中国经济导报;2008年

8 魏建玲邋张娜;SWIFT促进中国金融市场协调发展[N];国际商报;2008年

9 记者 潘晓娟;向中国银行提供标准化的服务[N];中国经济导报;2006年

10 记者 潘晓娟;借助SWIFT：中国银行力促中国贸易发展[N];中国经济导报;2007年

中国博士学位论文全文数据库 前1条

1 俞云伟;Swift时代伽玛射线暴及其余辉的多波段研究[D];华中师范大学;2009年

中国硕士学位论文全文数据库 前10条

1 闫晓勇;基于Swift的资源负载均衡策略研究[D];哈尔滨工业大学;2015年

2 李迎宾;商业银行国际业务报文处理系统设计与实现[D];天津大学;2014年

3 张如江;SWIFT公司产品服务保障体系设计[D];电子科技大学;2015年

4 张海涛;SWIFT与FTire轮胎模型的应用对比研究[D];吉林大学;2016年

5 夏志雄;基于Openstack云存储技术的研究与实现[D];华南理工大学;2016年

6 王希光;基于Swift的小对象访问性能优化研究与实现[D];哈尔滨工业大学;2016年

7 彭暄;基于Swift的海量小文件对象存储研究[D];哈尔滨工业大学;2016年

8 毕晓宇;商业银行SWIFT系统接入及实现[D];电子科技大学;2005年

9 付世平;基于Swift的教育资源共享平台的设计与实现[D];西安电子科技大学;2014年

10 周冀平;基于Swift的云存储产品优化及云计算虚拟机调度算法研究[D];华东理工大学;2015年

，

本文编号：954001