网络文库中海量存储系统的文件分级存储方法与应用研究

发布时间：2017-11-09 02:02

  本文关键词：网络文库中海量存储系统的文件分级存储方法与应用研究

  更多相关文章： 网络文库 分级存储 数据迁移 I/O热度 迁移策略

【摘要】：在当今信息化大背景下,计算机数据呈爆炸式增长。网络文库作为一个新兴的媒介,其存储数据量增速惊人。面对数据资源爆炸式增长的挑战,如何有效组织和存储这些庞大的数据,怎样控制成本的不断增长,是目前存储管理者需要研究的内容。面对海量的数据,企业直接面临的是存储成本的问题。对网络文库中海量数据存储系统的设计,如何既降低存储成本,又尽可能的不影响业务的访问效率呢?这就需要一个合适的数据存储系统的支持,需要多种创新方式有效的存储数据,降低存储复杂性,提高经济效益。 若仍将系统中所有的数据都存放性能相同或相近的存储设备中,就需要大量扩充该存储设备。如果这些数据都存储在高性能的存储设备中,那么这将是难以承受的一大笔开销,如果将他们都存储在低性能的存储设备中,必定会影响业务的效率,而且这样做会增加企业管理这些存储设备的复杂性。为了兼顾成本和性能这两个特征,本论文提出对网络文库中海量数据实行分级存储管理。 分级存储管理理论是基于信息生命周期管理理论的。信息生命周期管理理论认为信息刚产生的时候访问量比较大,而过了一段时间它就访问量就很少,甚至不再被访问。在此基础上分级存储管理理论认为应该把存储系统中的数据分开存放在不同的存储设备上。那些刚创建的数据访问量大应该被放置在高性能的存储设备上,而那些访问量很少的数据应该被放置在价格较便宜的低性能的存储设备上。这样一个数据中心只需要配置少量的高性能存储设备,其他的大部分只需要配置廉价的存储设备就可以。这样做既降低了存储系统的组建成本,也保证了系统的性能。 论文首先介绍了分级存储系统理论,分析了分级存储系统应用的现状和面临的挑战。通过对网络文库中数据特性的分析,论证了对网络文库中海量数据存储系统实行分级存储的必要性。 接着通过对现有主流磁盘介绍性能和价格的对比,以及对当今数据中心存在的主要问题的分析,针对网络文库中海量数据存储系统提出了SSD+MAID+自动磁带库的基于文件的三级分级存储系统架构。该系统在保证存储系统性能的同时还可以有效的降低数据中心的能耗。 然后针对网络文库海量数据存储系统中数据的特性,提出了基于平均I/0热度的动态阀值法。此迁移算法准确的评价了文件价值,同时在每次文件迁移的时候不需要对所有的文件价值从新排序,节省了系统资源。
【学位授予单位】：昆明理工大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333

【参考文献】

中国期刊全文数据库 前9条

1 项文新;;多媒体电子文件海量数据的分级存储[J];办公自动化;2005年12期

2 敖莉;于得水;舒继武;薛巍;;一种海量数据分级存储系统TH-TS[J];计算机研究与发展;2011年06期

3 张菁;任怡;廖湘科;;多级存储数据价值评定研究[J];计算机研究与发展;2012年S1期

4 王伟能;王鹤群;;固态硬盘概述[J];记录媒体技术;2009年01期

5 胡娜;李战怀;张晓;;分级存储中自适应选择迁移策略的研究[J];计算机科学;2012年03期

6 吕帅;刘光明;徐凯;刘欣;;海量信息分级存储数据迁移策略研究[J];计算机工程与科学;2009年S1期

7 舒继武;;网络存储专栏 分级存储与管理[J];中国教育网络;2007年07期

8 鲁丰玲;李朝永;;浅析网络存储技术[J];科技信息;2009年26期

9 史晓燕;;数据迁移的研究[J];浙江工商职业技术学院学报;2007年03期

，

本文编号：1159786