基于Chord协议的分布式重复数据删除系统的设计与实现
发布时间：2023-04-28 20:09
随着云存储和大数据等技术的迅猛发展,各行各业越来越多的数据都存储在云端。而存储在云端的海量数据中,有大量的数据是重复数据,这就造成了宝贵的存储空间的浪费。为了减少重复数据对存储资源的浪费,重复数据删除技术在云存储中被广泛应用。当前,重复数据删除技术的研究热点集中在两个方向,一个是对重复数据检测技术的研究,另一个是对分布式可扩展的重复数据删除技术的研究。在这两个研究领域已经有不少研究工作取得了许多有价值的成果,但还存在许多不足之处。在解决重复数据检测中存在的磁盘访问瓶颈问题以及实现分布式重复数据删除技术中的扩展性、容错性以及负载均衡等方面,当前的研究还有很多不完善的地方。本文针对重复数据检测中的磁盘访问瓶颈问题,提出了B+树簇和哈希表相结合的重复数据检测方案。此外,在分布式重复数据删除技术的研究基础上,设计并实现了基于Chord协议的分布式重复数据删除系统。论文主要工作如下:1、分析现有的重复数据检测方法的不足后,提出并实现了B+树簇和哈希表相结合的重复数据检测方法。其中B+树簇能够对具有空间局部性特征的数据快速检测,而哈希表能够对不具空间局部性特征的数据快速检测,将两者相结合后,能够有...
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.2.1 数据分块技术的研究
1.2.2 快速检测识别重复数据技术的研究
1.2.3 分布式重复数据删除系统的研究
1.3 主要研究目的和研究内容
1.3.1 研究目的
1.3.2 研究内容
1.4 论文组织结构
第二章 重复数据删除关键技术研究
2.1 重复数据删除流程
2.2 重复数据删除粒度
2.2.1 文件粒度
2.2.2 数据块粒度
2.2.3 字节粒度
2.3 数据分块与指纹生成
2.3.1 数据固定长度分块(Fixed-sizeChunking)
2.3.2 数据变长分块(VariableChunking)
2.3.3 数据指纹生成
2.4 数据块指纹索引与检索策略
2.4.1 布隆过滤器指纹索引与检索策略
2.4.2 B+树指纹索引与检索策略
2.4.3 B+树簇指纹索引与检索策略
2.4.4 哈希表指纹索引与检索策略
2.5 分布式重复数据删除系统研究
2.5.1 取模分布式方案
2.5.2 基于P2P路由机制的分布式方案
2.6 本章小结
第三章 B+树簇和哈希表相结合的指纹索引和检索方法设计
3.1 数据块指纹检索流程
3.2 B+树簇和哈希表相结合的指纹索引和检索方法
3.2.1 B+树簇指纹索引
3.2.2 哈希表指纹索引
3.2.3 基于B+树簇和哈希表的指纹索引和检索方法
3.3 本章小结
第四章 分布式重复数据删除原型系统设计
4.1 重复数据删除原型系统设计
4.1.1 数据分块和指纹计算模块
4.1.2 生成备份流模块
4.1.3 网络传输模块
4.1.4 备份流处理模块
4.1.5 指纹管理模块
4.1.6 数据块管理模块
4.1.7 文件恢复模块
4.1.8 数据存储模块
4.2 分布式重复数据删除原型系统设计
4.2.1 Chord协议简介
4.2.2 分布式重复数据删除原型系统(Chord-DDS)架构
4.2.3 资源在Chord-DDS中定位机制
4.2.4 节点加入Chord-DDS机制
4.2.5 节点失效或退出Chord-DDS机制
4.2.6 Chord-DDS的负载均衡机制
4.2.7 Chord-DDS的资源备份机制
4.3 本章小结
第五章 实验结果与分析
5.1 实验环境搭建
5.1.1 重复数据删除原型系统搭建
5.1.2 基于Chord协议的分布式重复数据删除系统搭建
5.2 实验数据集
5.3 指纹索引和检索方法的性能对比测试
5.3.1 测试数据集和参数设置
5.3.2 BTreeHash和LRU对比测试
5.3.3 BTreeHash和HashTable对比测试
5.4 基于Chord协议的分布式重复数据删除系统测试
5.4.1 Chord-DDS资源定位功能测试
5.4.2 节点加入Chord-DDS功能测试
5.4.3 节点失效或退出Chord-DDS功能测试
5.4.4 Chord-DDS负载均衡性能测试
5.5 本章小结
第六章 总结与展望
6.1 全文总结
6.2 展望
致谢
参考文献
本文编号：3804392
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.2.1 数据分块技术的研究
1.2.2 快速检测识别重复数据技术的研究
1.2.3 分布式重复数据删除系统的研究
1.3 主要研究目的和研究内容
1.3.1 研究目的
1.3.2 研究内容
1.4 论文组织结构
第二章 重复数据删除关键技术研究
2.1 重复数据删除流程
2.2 重复数据删除粒度
2.2.1 文件粒度
2.2.2 数据块粒度
2.2.3 字节粒度
2.3 数据分块与指纹生成
2.3.1 数据固定长度分块(Fixed-sizeChunking)
2.3.2 数据变长分块(VariableChunking)
2.3.3 数据指纹生成
2.4 数据块指纹索引与检索策略
2.4.1 布隆过滤器指纹索引与检索策略
2.4.2 B+树指纹索引与检索策略
2.4.3 B+树簇指纹索引与检索策略
2.4.4 哈希表指纹索引与检索策略
2.5 分布式重复数据删除系统研究
2.5.1 取模分布式方案
2.5.2 基于P2P路由机制的分布式方案
2.6 本章小结
第三章 B+树簇和哈希表相结合的指纹索引和检索方法设计
3.1 数据块指纹检索流程
3.2 B+树簇和哈希表相结合的指纹索引和检索方法
3.2.1 B+树簇指纹索引
3.2.2 哈希表指纹索引
3.2.3 基于B+树簇和哈希表的指纹索引和检索方法
3.3 本章小结
第四章 分布式重复数据删除原型系统设计
4.1 重复数据删除原型系统设计
4.1.1 数据分块和指纹计算模块
4.1.2 生成备份流模块
4.1.3 网络传输模块
4.1.4 备份流处理模块
4.1.5 指纹管理模块
4.1.6 数据块管理模块
4.1.7 文件恢复模块
4.1.8 数据存储模块
4.2 分布式重复数据删除原型系统设计
4.2.1 Chord协议简介
4.2.2 分布式重复数据删除原型系统(Chord-DDS)架构
4.2.3 资源在Chord-DDS中定位机制
4.2.4 节点加入Chord-DDS机制
4.2.5 节点失效或退出Chord-DDS机制
4.2.6 Chord-DDS的负载均衡机制
4.2.7 Chord-DDS的资源备份机制
4.3 本章小结
第五章 实验结果与分析
5.1 实验环境搭建
5.1.1 重复数据删除原型系统搭建
5.1.2 基于Chord协议的分布式重复数据删除系统搭建
5.2 实验数据集
5.3 指纹索引和检索方法的性能对比测试
5.3.1 测试数据集和参数设置
5.3.2 BTreeHash和LRU对比测试
5.3.3 BTreeHash和HashTable对比测试
5.4 基于Chord协议的分布式重复数据删除系统测试
5.4.1 Chord-DDS资源定位功能测试
5.4.2 节点加入Chord-DDS功能测试
5.4.3 节点失效或退出Chord-DDS功能测试
5.4.4 Chord-DDS负载均衡性能测试
5.5 本章小结
第六章 总结与展望
6.1 全文总结
6.2 展望
致谢
参考文献
本文编号：3804392
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3804392.html
