对象存储系统中热点数据的研究

发布时间：2020-10-10 19:27

　　 随着计算机网络的飞速发展,用户对数据需求的不断增加,这给网络存储技术的发展带来了机遇,同时也使分布式存储系统面临越来越多的挑战。在众多的挑战中,如何提高存储系统I/O性能和如何管理大规模复杂存储系统是摆在很多公司企业和科研机构面前的两大难题。一方面,代表用户需求的热点数据,是解决存储系统I/O性能难题的钥匙,但是,当前热点数据在存储系统中并没有得到最大限度地利用,也没有全面而系统地分析,导致整个存储系统的性能并没有得到最大程度地提升。另一方面,随着存储系统的日益复杂,传统的人工管理方式已经不适应现代存储技术的要求,如何把用户的需求传达给存储系统,让大规模存储系统自适应管理也成为一个重要的课题。 对象存储和属性管理技术的出现让上述两个难题有了解决的可能。在对象存储系统中,对象代替传统意义的文件,拥有更丰富的语义内容,能够传递更多热点数据的相关信息；结合属性管理技术,分析用户的需求和数据访问特征,提炼出与热点数据相关的属性,可以实现对存储系统进行自适应管理并提高系统的性能。 为此,本文首先提出了基于热点数据系统级的解决方案——对实际应用的热点现象进行分析,然后根据实际应用中的热点数据访问特征,率先提出了对象存储系统中热点的定义和分类,结合T10 OSD-3标准建立热点属性页,并针对不同应用和负载给出了基于热点的动态数据组织策略和服务质量保证。 其次,针对存储系统中热点预测及单级Cache中存在的问题,结合热点数据的访问特征和类Zipf定律,给出了一个全新的热点预测方法——对象热点预测模型OHPM。并根据阶段性热点的特点,加入了访问频率增长率来预测阶段性热点以作为其补充。根据两种热点对象截然不同的数据访问特征,给出了基于热点的单级Cache策略——采用双Cache栈的方式并实现自适应管理。并对热点命中率和时间粒度的参数问题进行了讨论。 再次,由于对象存储系统中启动器和目标器已然构成多级Cache系统,针对当前多级Cache数据隐示中存在的普遍问题,提出了一个创新性的解决方案——基于K步数据隐示的多级Cache算法(Hint-K). Hint-K算法充分运用了升级隐示和降级隐示的历史信息,并可利用K步数据隐示值来简单判断一个数据块的活跃程度。并给出K在不同情况下Hint-K算法的实例分析。 最后设计并实现了原型系统——热点属性管理的存储系统HASS,通过实施基于热点的动态数据组织和服务质量保证(HO)、对象热点预测(HP)和单级Cache策略(HC),系统的性能提高了62%并降低了25%的I/O操作。在不同负载下的多级Cache仿真测试中,Hint-K实现了比其它多级Cache算法(如MQ、DEMOTE和PROMOTE算法)更加优异的性能。
【学位单位】：华中科技大学
【学位级别】：博士
【学位年份】：2010
【中图分类】：TP333
【文章目录】：
摘要
Abstract
目录
1 绪论
    1.1 课题背景
    1.2 对象存储和属性管理技术的产生与发展
    1.3 单级Cache技术的产生与发展
    1.4 多级Cache技术的产生与发展
    1.5 存储系统热点数据的研究
    1.6 本文研究目的和主要内容
    1.7 课题的来源
2 热点数据的定义、分类和组织
    2.1 引言
    2.2 分布式流处理存储系统中的热点现象
    2.3 热点的定义和分类
    2.4 热点属性页和热点属性的封装与传递
    2.5 基于热点属性的动态数据组织
    2.6 基于热点对象的存储服务质量保证
    2.7 本章小结
3 对象热点预测及单级热点Cache策略
    3.1 引言
    3.2 对象热点预测模型OHPM
    3.3 对象热点预测模型的改进:阶段性热点的预测
    3.4 对象热点预测算法
    3.5 基于对象热点预测模型的热点Cache策略
    3.6 两个热点栈的自适应调整
    3.7 热点命中率和时间粒度的讨论
    3.8 本章小结
4 基于热点的多级Cache算法:Hint-K
    4.1 引言
    4.2 Hint-K的设计
    4.3 Hint-K的相关理论
    4.4 Hint-K算法
    4.5 Hint-K实例:Hint-2和Hint-3
    4.6 本章小结
5 原型系统的设计、仿真和实验
    5.1 热点属性管理的存储系统HASS的设计
    5.2 系统级热点解决方案在HASS中的应用
    5.3 系统级热点解决方案的实验与评估
    5.4 基于热点的多级Cache算法的仿真结果与分析
    5.5 基于热点的多级Cache算法的进一步讨论
    5.6 本章小结
6 全文总结
    6.1 总结
    6.2 未来工作展望
致谢
参考文献
附录1 攻读学位期间发表的学术论文

【共引文献】

相关期刊论文 前10条

1 王恒娜;浅析访问局部性原理在Cache存储系统中的作用[J];安徽大学学报(自然科学版);2005年01期

2 王一宾,韩承双;计算机体系结构与软件体系结构[J];安徽建筑工业学院学报(自然科学版);2005年01期

3 王恒娜;访问局部性原理在Cache系统优化及设计中的应用[J];安徽师范大学学报(自然科学版);2004年04期

4 李向华,张小芳,陆起涌;基于虚拟存储的嵌入式存储系统的设计方法[J];半导体技术;2003年08期

5 张仙妮;Turbo C编写中断程序的方法[J];北京工业职业技术学院学报;2004年02期

6 易小琳;彭一凡;;基于Verilog HDL的流水线模型机的设计与实现[J];北京工业大学学报;2007年10期

7 郑丽萍;王献荣;;浅谈规格化浮点数的表示[J];重庆科技学院学报(自然科学版);2008年02期

8 吴丽征;基于网络的负载均衡机制的研究及在分布式邮件系统中的应用[J];常州信息职业技术学院学报;2003年04期

9 王恒娜;访问局部性原理在Cache存储系统中的作用[J];电脑学习;2004年01期

10 倪蕴涛;;微型计算机线性地址的不规则数据存取解析[J];大庆师范学院学报;2007年05期

相关博士学位论文 前3条

1 傅琛;面向多核系统的高性能硬件事务存储的优化研究[D];哈尔滨工业大学;2011年

2 黄海林;高可靠处理器体系结构研究[D];中国科学院研究生院（计算技术研究所）;2006年

3 罗益辉;海量对象存储系统数据组织算法的研究[D];华中科技大学;2006年

相关硕士学位论文 前10条

1 邱军;基于Linux平台的实时视频GUI设计与应用[D];杭州电子科技大学;2009年

2 肖利亚;YHFT-DSPX片内存储器的设计与实现[D];国防科学技术大学;2011年

3 钟俊杰;自适应混合高斯背景建模算法的GPU并行优化研究[D];华中科技大学;2011年

4 杨晓刚;DSP中指令Cache的研究与设计[D];江南大学;2012年

5 龚惠民;视频解码系统设计[D];浙江大学;2002年

6 初忠;新型自动化机舱实验室监测系统的研究[D];大连海事大学;2001年

7 王晓蕾;采用RSA算法的加密芯片设计[D];合肥工业大学;2002年

8 林袁;实时视频编解码系统加速策略研究[D];浙江大学;2003年

9 吕方;解决嵌入式操作系统移植问题的一个方案——通用硬件抽象层的设计与实现[D];四川大学;2001年

10 许晓琳;基于深亚微米工艺的IP设计技术研究[D];合肥工业大学;2003年

本文编号：2835487