纠删码系统中基于异或网络计算的数据修复及更新优化研究

发布时间：2020-05-25 07:28

【摘要】：纠删码技术由于其低存储开销的优势,正逐渐取代多副本技术被广泛应用到分布式存储系统中来提供数据可靠性。但它会引入大量的跨机架流量:修复一个丢失的数据块需通过网络从其他节点上读取多个可用块;更新一个数据块会触发对所有校验块的校验更新。过多的跨机架流量会导致系统中包括纠删码在内的多种应用性能下降。为了提升纠删码的性能,许多新的编码方案被提出,试图从根本上减少网络流量,但其缺点是会牺牲其他性能。另一种优化途径是不改变纠删码的编码结构,而是通过优化数据传输路径提升纠删码系统的修复和更新性能。这种优化方式可以应用在多种新型纠删码上,通过结合两种优化策略进一步提升性能。但是目前提出的数据传输方案,只关注于解决纠删码性能问题,并没有实际减少纠删码引入的跨机架流量。随着可编程网络设备的兴起,网络计算的概念被提出,其主要思想是将原来位于终端节点上的计算操作移动到网络设备中。受该想法启发,针对纠删码修复和更新操作,分别提出基于异或网络计算的数据传输方案:两种方案的核心思想均是由网络设备执行异或运算,其中在修复操作中,来自不同节点的数据在网络中汇聚,通过利用可编程网络设备对来自不同节点的数据流执行异或运算,然后将计算结果继续转发,从而避免大量端到端的网络传输;在更新操作中,网络设备代替存储节点计算增量,然后通过不同链路发送增量,既缩短了传输路径也消除了网络瓶颈。基于HDFS-RAID和SDN(Software Defined Networking),模拟实现了一个网络计算框架,在该模拟环境下的测试结果显示,基于异或网络计算的传输方案可以使得修复和更新操作达到最优性能。对于修复操作,修复一个块的时间几乎接近于正常读取一个块的时间,并且相比于repair pipelining,可以减少高达41%的网络流量。另外对于更新操作,相比于基于增量的更新方案,可以减少高达74%的更新时间和30%的网络流量。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 马红霞;;浅析网络计算的发展与应用[J];科技创业家;2012年17期

2 李文忠;;话说精简网络计算[J];软件世界;2007年09期

3 ;SUN:轻松步入网络计算新纪元[J];计算机教育;2004年04期

4 国敢;Sun公司在2004年第二季度网络计算新品发布中,推出该产品和解决方案[J];铁路计算机应用;2004年06期

5 ;全国计算机网络计算大赛20万悬赏高手[J];电脑知识与技术;2003年02期

6 ;Sun发布“低成本网络计算”策略[J];电信技术;2003年08期

7 Scott McNealy;开放的网络计算仍然是我们的激情所在[J];通讯世界;2003年03期

8 ;全国首次网络计算大赛在京拉开帷幕[J];中国数据通信;2003年01期

9 ScottMcNealy;网络计算是我们的灵魂[J];邮电商情;2000年01期

10 刘劲松;;中青电商投身网络计算[J];每周电脑报;2000年33期

相关会议论文 前6条

1 徐波;;面向网络计算的汉语语音信息处理[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年

2 龚炳铮;;Java技术应用推进信息化发展[A];Java技术及应用的进展——第八届中国Java技术及应用交流大会文集[C];2005年

3 王克宏;;全球Java教育与学习联盟(JELC)——参加JELC顾问会议后记[A];Java技术及应用的进展——第七届中国Java技术及应用交流大会文集[C];2004年

4 张全伙;张剑达;;未来计算机与信息技术的若干研究热点与发展趋势[A];全国第十四届计算机科学及其在仪器仪表中的应用学术交流会论文集[C];2001年

5 滕云田;王喜珍;王晨;;国家地震网络计算应用系统[A];中国地球物理·2009[C];2009年

6 余文骏;朱永华;徐炜民;;以服务器为中心的面向服务网络计算架构的研究与实现[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

相关重要报纸文章 前10条

1 ;Sun倡导“低成本网络计算”[N];中国证券报;2003年

2 郭莹;04财年Sun重点仍在网络计算[N];中国计算机报;2003年

3 本报记者 陈勋燕;Sun:开启网络计算新时代[N];通信信息报;2004年

4 CPW记者 凡妮 张戈;为渠谋利 Sun力推低成本网络计算[N];电脑商报;2003年

5 本报记者 侯健;网络计算走过辉煌二十年[N];通信产业报;2002年

6 本报记者 范毅波;网络计算走下神坛[N];网络世界;2002年

7 ;网络计算 网事无忧[N];科技日报;2000年

8 国防科技大学 王怀民;可成长性：网络计算的基本特征[N];计算机世界;2002年

9 Scott McNealy;网络计算的20年历程[N];中国计算机报;2002年

10 CPW记者 凡妮;借网络计算转型 Sun谋划新打法[N];电脑商报;2003年

相关博士学位论文 前7条

1 吴应良;网络计算中的智能信息处理方法研究[D];华南理工大学;2000年

2 方华亮;基于网络计算的电力系统新计算模式研究[D];华中科技大学;2006年

3 张晓琴;网络计算系统的可信监测及信任模型研究[D];重庆大学;2012年

4 沈备军;企业网络计算的参考框架与关键技术及其支持环境的研究[D];中国科学院研究生院（软件研究所）;2001年

5 徐维江;网络计算中的私有数据保护问题及其应用研究[D];中国科学技术大学;2008年

6 梁朝霞;基于生物网络的下一代网络电信业务平台研究[D];东华大学;2010年

7 孔晓红;网络计算环境中基于智能算法的任务调度研究[D];江南大学;2007年

相关硕士学位论文 前6条

1 唐英杰;纠删码系统中基于异或网络计算的数据修复及更新优化研究[D];华中科技大学;2019年

2 赵红波;基于网络计算服务的仿真与运算平台的设计与实现[D];山东科技大学;2006年

3 马金龙;基于网络计算的票务平台的研究和设计[D];北京邮电大学;2010年

4 李刚;基于Web的电力企业图形化网络计算系统[D];四川大学;2003年

5 张俐;设计模式的研究与应用[D];河海大学;2003年

6 黄峰;分布式虚拟运行环境的研究与实现[D];国防科学技术大学;2008年

，

本文编号：2679795