基于重复数据删除技术的雾存储数据去冗余方案

发布时间：2021-09-08 18:45

　　雾计算作为云中心在网络边缘的延伸,将不需要放在云端的数据直接进行存储和处理,从而可以快速响应底端设备的需求。为了解决现有方案中频繁的磁盘输入和输出（I/O）,针对雾节点中存储数据的冗余问题,提出重复数据删除方案（DeFog）。利用红黑树的快速查找机制,在内存中构建数据指纹表,通过二次Hash获得索引表。固定时刻刷新内存中的指纹表保存在磁盘中,日志文件记录每次数据更新,这样在系统发生崩溃机器重启时,磁盘中的指纹表会与日志文件合并构建更新后的指纹表。通过在标准数据集中的实验与其他方案进行对比,证明了DeFog在查询效率上提高了54.1%,运行时间降低了42.1%。 

【文章来源】：计算机应用与软件. 2020,37(02)北大核心

【文章页数】：8 页

【部分图文】：

系统结构图

本文提出的数据指纹查询方案,将完整的指纹表保存于内存中,将非重复数据块置于磁盘中。当判断数据指纹是否重复时,可以直接在内存中进行查询,无需磁盘I/O读取。若指纹表中没有相同指纹,即为非重复数据块指纹,插入指纹表中。若指纹表中存在相同指纹,将该指纹的数据块与指纹表中相同指纹对应的数据块的循环冗余码(CRC)进行比较。如果不同,判断该数据块为非重复数据块,保存在该指纹的数据块链表中;反之,返回该数据块的地址指针。方案流程如图2所示。3.2 索引表

通过将数据指纹进行哈希计算得到索引值(由0到n构成的整数)。将数据分成非重叠等分数据块b1,b2,…,bn。运用MD5哈希算法计算每个指纹,f1=h(b1),f2=h(b2),…,fn=h(bn)。将数据指纹再次进行哈希计算,得到整数型索引值,i1=h(f1),i2=h(f2),…,in=h(fn)。用户查询冗余数据块时,计算该数据块的索引值,查询该索引值下的指纹表。遍历索引表的时间复杂度为O(1),索引表如图3所示。3.3 基于红黑树的指纹查询

【参考文献】：
期刊论文
[1]海量网络文本去重系统的设计与实现[J]. 汤建明,寇小强.  计算机应用与软件. 2018(12)
[2]一种基于重复数据删除的网络文件备份系统设计与实现[J]. 孙爱玲,冉禄纯.  计算机应用与软件. 2014(10)

硕士论文
[1]雾计算中边缘节点存储优化算法设计[D]. 魏茂林.浙江工商大学 2018
[2]基于网络虚拟化的雾计算设计与实现[D]. 李雅轩.天津大学 2017



本文编号：3391297