面向归档数据的存储管理技术研究

发布时间：2021-10-01 06:50

　　信息数字化趋势加快,数字信息量迅猛增长,存储具有长期保存、不可更改、极少访问、规模巨大、动态增长等特点的归档数据困难重重,却具有重大的社会价值。归档存储作为新兴研究热点,具有广阔的应用前景,其中空间利用率、检索效率、数据完整性、扩展性和灾难恢复是关键问题。本文在深入分析归档数据特点的基础上,针对归档存储涉及的几个关键问题进行了深入研究,提出了一种高效的大规模归档存储框架结构LAS和若干新颖有效的数据存储和管理算法。主要的工作如下:提出一种基于文档聚类、分块存储、两级索引、二维CRS编码和自动检错技术的大规模归档存储框架结构LAS;提出一种基于动态区间映射的文档聚类算法,依据特征集动态映射,实现内容相似文档聚集存储,具有聚类效果稳定、空间利用率高、检索灵活高效、扩展性好等特点;采用一种基于分块两级索引的数据布局算法,通过构建两级索引,提供内容寻址存储、基于内容和关键词的检索,具有索引空间开销呈次线性增长、检索性能好、扩展灵活等优点;提出一种基于二维CRS编码的数据完整性保证方法,通过双驱动自动检错和两级CRS容错编码实现数据检错和恢复,能有效保证归档存储系统的数据完整性并控制功耗;利用上... 

【文章来源】：国防科技大学湖南省 211工程院校 985工程院校

【文章页数】：96 页

【学位级别】：硕士

【部分图文】：

论文组织结构

2.2 典型存储框架结构分析归档存储系统的技术需求和归档数据的特点，分析几 SAN、NAS、OSD 和 CAS。AN 和 NAS是 DAS 存储框架结构的致命缺陷，而归档数据规模大需要巨大的存储空间和动态扩展能力，这使得归档存的存储框架结构。SAN 和 NAS 都在连接限制上对 DA上是两种互补存储框架结构，具有很多可比性，因此框架结构将存储子系统与主机系统分离，采用可伸缩结构，所有主机和存储设备间通过高速网络连接，提以及内部任意节点之间的多路数据交换。由专用存储设备得以合并与共享。主机和存储设备可以在由光纤专用高速存储网络上直接传送数据。SAN 具有高容量

国防科学技术大学研究生院硕士学位论文 的基础上，提出了一个面向大规模归档数据存储（LAS, Large-sca）的存储框架结构。LAS 由客户端文件系统（CFS, Client File Sy（SS, Storage Server）以及局部存储网络（LSN, Local Storage 部分组成。用户通过部署有 CFS 的终端主机（Client）访问 L过 Internet（或 WAN）与 SS 互联，每个 SS 负责管理一个 LS由 SS 负责存储于 LSN，LSN 是由一系列被编成冗余编码组（治性、智能性的 OSD（或 ISN）互联而成。针对不同的应用，通过某种相似性聚类的数据对象聚类（Data Object Cluster）。

【参考文献】：
期刊论文
[1]全文索引技术时空效率分析[J]. 刘小珠,彭智勇.  软件学报. 2009(07)
[2]数据存储可靠性算法[J]. 那宝玉,张毓森,刘鹏,邵海林.  解放军理工大学学报(自然科学版). 2007(03)
[3]基于内容的音频与音乐分析综述[J]. 张一彬,周杰,边肇祺,郭军.  计算机学报. 2007(05)
[4]可伸缩分布式动态区间映射算法[J]. 刘仲,周兴铭.  计算机学报. 2006(10)
[5]基于动态区间映射的数据对象布局算法[J]. 刘仲,周兴铭.  软件学报. 2005(11)
[6]基于内容的垃圾邮件过滤技术综述[J]. 王斌,潘文锋.  中文信息学报. 2005(05)
[7]基于划分的模糊聚类算法[J]. 张敏,于剑.  软件学报. 2004(06)
[8]从多角度分析现有聚类算法(英文)[J]. 钱卫宁,周傲英.  软件学报. 2002(08)
[9]核聚类算法[J]. 张莉,周伟达,焦李成.  计算机学报. 2002(06)
[10]基于内容的图像检索技术与系统[J]. 李向阳,庄越挺,潘云鹤.  计算机研究与发展. 2001(03)

博士论文
[1]基于对象存储结构的可伸缩集群存储系统研究[D]. 刘仲.国防科学技术大学 2005



本文编号：3417363