基于FUSE的MBR编码的并行化研究

发布时间：2020-09-22 12:28

　　 为了解决存储负载过高的问题,存储系统中引进了纠删码机制。纠删码能显著降低系统的存储负载,但是纠删码在修复失效节点时,会造成系统的网络带宽严重拥塞。因此,如何快速地读写数据、快速修复失效数据的同时尽量减小系统网络带宽消耗是一个亟待解决的问题。针对上述问题,基于FUSE文件系统,设计并实现了支持分布式存储的P-MBR系统,实现了MBR编码的并行化。具体来说包括以下几个方面:(1)研究了MBR编码的并行化读性能,主要包括正常读和降级读两个场景,通过对每一个数据块采用分片技术,重新对FUSE的读文件函数进行封装,使得读文件时可以同时从两个结点以分片的方式读取数据块,从而来提升系统的读性能;(2)研究了MBR编码的并行化写性能,利用MBR编码的每一个块分布在两个不同节点上的特性,通过对FUSE的写文件函数进行封装,使得可以同时向两个节点写入数据块,以提升系统写入过程的并行度;(3)为了提升系统的修复性能,利用MBR编码布局,通过Cache层加速了文件块的读取和写入过程,此外还采用多线程技术提升了系统修复的并行度,从而来加速修复过程。实验结果表明,MBR编码在读写性能方面相较于RAID 5、RAID 6编码方式有小幅度提高;降级读、修复性能方面有极大的改善,降级读性能提升大约70%,修复性能分别提升大约40%和60%,修复速度快且带宽开销较低。
【学位单位】：华中科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP333
【部分图文】：

中 科 技 大 学 硕 士 学 位 论 得到了快速应用。为了存储海量数据，分布式存储系统通常的存储节点上，很多节点甚至在地理位置上也是不同的。同，诸多企业均是在廉价的商用磁盘上对数据进行存储。比如化存储系统 BigTable，旨在成千上万台商用服务器上管理 Pogle 的诸多项目，如网页索引、谷歌地图、谷歌财经等均是[4]。BigTable 的底层是 GFS 分布式文件系统[4-5]。两者主要区系统主要是直接面向大型分布式的密集型的数据应用，Big的数据，BigTable 相当于传统的数据库所扮演的角色。

根据 5.2.1 小节的测试方案，依次测试了 MBR 编码的读写、修复功能。首常写操作，如果从 initiator 端将文件传输至 target 端后，在 initiator 端的文载点中能看到传输的文件，则可以认为文件写入成功；接着，测试正常读件从 target 端读取到 initiator 端后，利用 linux 的 diff 命令与原件进行对二者一致，则认为读功能正常；然后，测试降级读操作，先设置某个节点将文件从 target 端读取到 initiator 端，将之与原文件进行对比，如果一致级读功能正常；最后，测试修复操作，设置某个节点失效，然后在新的节出失效节点上的数据，将修复后的文件读取至 initiator 端并与原文件进行二者一致则认为修复功能正常。在开始功能测试之前，先启动文件系统，启动后在 initiator 端可以查找到器，这个 5 个服务器是 target 端的存储设备，如图 5-1 所示。此外，在本地大小为 2MB 的文件 test。

正常写操作

【相似文献】

相关期刊论文 前10条

1 蒋少丙;刘书刚;;面向过程的任务并行化设计方法[J];计算机系统应用;2015年09期

2 本刊编辑部;;“地理计算并行化”专辑征稿[J];地球信息科学学报;2014年06期

3 齐书阳;;迎接并行化的明天[J];软件世界;2009年06期

4 金国华，陈福接;并行化技术与工具[J];计算机研究与发展;1996年07期

5 杨桃栏;程序并行化的有力工具——介绍Kuck公司的KAP[J];计算机工程与科学;1989年04期

6 本刊编辑部;;“地理计算并行化”专辑导言[J];地球信息科学学报;2015年05期

7 张妮娜;窦衡;;并行化改进遗传算法的FPGA高速实现方法[J];信息与电子工程;2012年01期

8 蔡砥,滕丽,王铮;一种禁忌搜索算法在计算网格中的并行化策略[J];微电子学与计算机;2004年06期

9 陈水福,孙炳楠,唐锦春;建筑风压数值模拟的几种并行化策略[J];计算力学学报;1998年02期

10 曹琳,杨学军,金国华;两种并行化机制的分析[J];计算机研究与发展;1993年09期

相关会议论文 前10条

1 范存群;林曼筠;赵现纲;谢利子;卫兰;国鹏;;风云卫星降水估计日收工产品算法并行化研究[A];第35届中国气象学会年会 S21 卫星气象与生态遥感[C];2018年

2 王卉;屈强;;挖掘最大频繁项集的并行化策略[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年

3 兰彤;冯玉才;肖伟器;;空间连接处理的并行化研究[A];数据库研究进展97——第十四届全国数据库学术会议论文集（上）[C];1997年

4 王本龙;龚凯;刘桦;;自由表面流动问题的并行化SPH方法求解[A];中国力学学会学术大会'2009论文摘要集[C];2009年

5 王峰;杨建俊;张天爵;许淑艳;;不同操作平台上的MCNP并行化计算[A];中国原子能科学研究院年报 2009[C];2010年

6 郑巢生;;基于OpenFOAM大规模并行化计算方法研究[A];第二十七届全国水动力学研讨会文集（上册）[C];2015年

7 王韶娟;曾国荪;;分形维数的一个并行算法[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

8 杨林;杨天枭;徐慧;;基于流水线并行化的纠删码恢复研究[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

9 徐金秀;张天刚;;NCC区域气候模式算法分析及并行化实现[A];2006年全国开放式分布与并行计算学术会议论文集（一）[C];2006年

10 常兴华;马戎;王年华;张来平;;非结构重叠网格并行化隐式装配技术研究[A];第四届全国非定常空气动力学学术会议论文集[C];2018年

相关重要报纸文章 前10条

1 ;服务器软件的并行化革命[N];网络世界;2006年

2 谢涛;英特尔：忽视并行化软件后果很危险[N];电脑商报;2008年

3 宁雷;联想携手Intel启动服务器大型巡展[N];中国电脑教育报;2007年

4 刘洪宇;释放多核潜能 挑战仍在并行软件[N];中国计算机报;2008年

5 孙永杰;应用为先：高性能计算较量“软”实力[N];中国电子报;2008年

6 记者 鲁媛媛;英特尔软件进入并行时代[N];网络世界;2009年

7 宋家雨;集群撑不起全部天空[N];网络世界;2006年

8 吴亚飙;“并行”焕发IPS力量[N];网络世界;2008年

9 英特尔公司首席工程师 吴甘沙;大数据引发“撞墙”效应 编程效率还待提高[N];中国电子报;2012年

10 木斯;高性能计算 提起应用有点难[N];中国计算机报;2002年

相关博士学位论文 前10条

1 张平;并行化编译器中并行程序自动生成和性能优化技术研究[D];解放军信息工程大学;2006年

2 董春丽;并行化编译中数据和计算的自动划分及优化技术研究[D];解放军信息工程大学;2007年

3 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年

4 赵岩;复杂机电系统仿真的并行化方法研究[D];华中科技大学;2017年

5 傅游;稀薄气体Monte Carlo数值仿真并行化技术研究与实现[D];西北工业大学;2002年

6 耿光超;电力系统稳定约束最优潮流：模型、算法与并行化[D];浙江大学;2014年

7 丁晓宁;面向CFD的交互式并行化技术研究[D];西北工业大学;2002年

8 高放;面向片上异构多核系统的机器学习算法并行化技术研究[D];北京工业大学;2017年

9 周纯葆;基因岛预测与隔离迁移模型并行化[D];吉林大学;2012年

10 郭琦;异构多核可重构平台指令并行化关键问题研究[D];中国科学技术大学;2015年

相关硕士学位论文 前10条

1 徐熙豪;基于FUSE的MBR编码的并行化研究[D];华中科技大学;2019年

2 周芯宇;基于元启发式算法的VNF部署及其并行化[D];西南交通大学;2019年

3 刘琴;基于种子扩展的社区发现算法及其并行化[D];南京信息工程大学;2019年

4 刘振羽;基于Spark的基因组学数据比对算法的并行化研究与比对平台构建[D];内蒙古农业大学;2019年

5 倪宁;一种簇存储结构中GPU加速并行化R-tree的方法[D];上海交通大学;2017年

6 罗钰敏;事件知识图谱并行化研究及应用[D];电子科技大学;2019年

7 何宗浩;基于Spark的Top-k高效用项目集挖掘研究[D];重庆邮电大学;2019年

8 许德心;关联规则挖掘算法的并行化及应用研究[D];南京邮电大学;2019年

9 陆俊尧;协同过滤算法的设计及并行化实现与应用[D];南京邮电大学;2019年

10 陶飞;基于姿态的属性学习并行化方法在行人再识别中的研究[D];江苏大学;2019年

本文编号：2824386