面向高速网络传输的分布式系统读操作优化方法研究

发布时间：2017-10-19 21:18

  本文关键词：面向高速网络传输的分布式系统读操作优化方法研究

  更多相关文章： 分布式文件系统 InfiniBand网络 缓存 预取 吞吐量

【摘要】：在海量数据存储与大数据处理中，普遍采用了基于HDFS (Hadoop DistributedFile System，Hadoop分布式文件系统)架构的集群来存储数据。为支持大数据分析在海量数据上进行实时查询和秒级响应的需求，数据中心内部普遍使用高速网络，但是，现有的基于HDFS架构的分布式文件系统的读性能并不能够随着网络速度的增加而线性增长。现有的分布式文件系统在高速网络环境下，由于受制于磁盘I/O速度，读操作吞吐量性能不高，不能充分利用高速网络资源，为上层应用提供高效的数据服务。 针对以上问题，提出一种节约内存的缓存管理机制MSBM（Memory SavingBuffer Manager）。MSBM缓存管理机制在数据服务器端对数据做缓存，保证客户端下一次到数据服务器端读取数据时，，需要的数据已经在缓存中。MSBM缓存管理机制在数据服务器端设计了仅预取一个数据块的缓存预取策略，从而在使用缓存提高读性能的同时，尽量节省内存使用率，使缓存管理机制适用于运行在数量庞大而又廉价的分布式集群上。三个缓存管理队列被用以管理数据块在缓存中的置入与置出，并提供读取数据的服务。此外，还有相应的负载决策被提出以使缓存策略达到最优效果，从而使分布式文件系统在高速网络环境下，能够对海量大文件实现高效的缓存管理，充分利用InfiniBand网络，提升整个分布式文件系统的读数据的性能。 通过分别对有无MSBM缓存管理机制，以及在千兆以太网和InfiniBand网络上进行测试对比，MSBM缓存管理机制对于系统的性能有一定改善，读吞吐量提升比例提高了50%-150%，测试表明MSBM机制可有效的应用于高速网络环境下的分布式文件系统中。
【关键词】：分布式文件系统 InfiniBand网络 缓存 预取 吞吐量
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-8
• 1 绪论8-15
• 1.1 研究背景及意义8
• 1.2 国内外研究概况8-13
• 1.3 论文组织结构13-15
• 2 缓存管理机制总体设计15-22
• 2.1 面临的磁盘 I/O 问题15
• 2.2 缓存解决方案15-17
• 2.3 预取解决方案17-19
• 2.4 MSBM 解决方案19-21
• 2.5 本章小结21-22
• 3 缓存管理机制设计与实现22-38
• 3.1 MSBM 缓存管理架构设计22-25
• 3.2 MSBM 缓存管理数据结构25-27
• 3.3 预取策略27-31
• 3.4 缓存队列管理31-33
• 3.5 负载决策33-35
• 3.6 系统读流程35-37
• 3.7 本章小结37-38
• 4 测试与分析38-47
• 4.1 测试目标38
• 4.2 测试环境38-39
• 4.3 测试结果与分析39-46
• 4.4 本章小结46-47
• 5 总结与展望47-49
• 致谢49-50
• 参考文献50-54

【相似文献】

中国期刊全文数据库 前10条

1 刘里鹏;高速网络的分类、特点比较和发展趋势[J];华南金融电脑;2002年12期

2 ;无线高速网络前途无量[J];电子商务世界;2003年01期

3 孙珊珊;张崔肖;靳淑敏;;浅谈高速网络下的入侵检测技术[J];科技情报开发与经济;2007年36期

4 苏凡军;邬春学;孙国强;吕勇;;高速网络主动队列管理算法[J];计算机工程;2008年08期

5 杨则正;为采用高速网络新标准而展开的竞争[J];管理科学文摘;1995年09期

6 Padraic Boyle ,程世玉;高速网络 100VG第一波[J];个人电脑;1996年01期

7 卢锡城,肖侬,刘波;基于高速网络的广域高性能并行与分布式计算[J];计算机工程与科学;1998年03期

8 马费成;高速网络信息资源的组织[J];信息化建设;1999年11期

9 马费成;高速网络信息资源的管理[J];信息化建设;1999年12期

10 ;高速网络:未来谁的天下?[J];微电脑世界;1999年22期

中国重要会议论文全文数据库 前7条

1 薛冰;;管理高速网络系统的实现与实用[A];数控技术学术研讨会论文集[C];1999年

2 王风宇;云晓春;曹震中;;多时间尺度同步的高速网络流量异常检测[A];全国网络与信息安全技术研讨会论文集（上册）[C];2007年

3 阮卫挺;马兆丰;;高速网络下的恶意流量检测研究[A];2010年全国通信安全学术会议论文集[C];2010年

4 刘玉英;孙珍;李世银;黄远江;;N-TCP在高速网络中的性能研究[A];2009年中国智能自动化会议论文集（第二分册）[C];2009年

5 崔涛;齐法制;王彦明;刘宝旭;;基于sFlow的高速网络流量实时监测系统的研究[A];第十四届全国核电子学与核探测技术学术年会论文集（下册）[C];2008年

6 吴勇军;唐红;;高速网络中基于特定业务流的流量测量方法研究[A];现代通信理论与信号处理进展——2003年通信理论与信号处理年会论文集[C];2003年

7 崔涛;齐法制;王彦明;刘宝旭;;基于sFlow的高速网络流量实时监测系统的研究[A];第十四届全国核电子学与核探测技术学术年会论文集（2）[C];2008年

中国重要报纸全文数据库 前10条

1 记者 马菲;韩国高速网络覆盖率突破100%[N];人民日报;2012年

2 陈芸芸;欧盟计划全面推行高速网络[N];中国电子报;2010年

3 记者 李红;政府要引导高速网发展[N];科技日报;2000年

4 斐然;英国村民“种”出高速网络[N];中国文化报;2013年

5 《网络世界》记者 周源;高速网络成刚需[N];网络世界;2013年

6 ;缺少用户需求成为阻碍3G发展的主要原因[N];中国计算机报;2010年

7 顾炳鑫;山西确定信息化工作重点[N];通信产业报;2001年

8 本报记者 荆小洪　通讯员 刘学锴;以“智”取胜 开启高速网络新时代[N];人民邮电;2013年

9 集纳;杰尔系统推出高速网络处理器[N];通信产业报;2003年

10 记者 郑千里;中国高速互联研究试验网络开通[N];科技日报;2000年

中国博士学位论文全文数据库 前8条

1 熊兵;高速网络数据流分析的若干问题研究[D];华中科技大学;2009年

2 郭磊;面向高速网络管控的多业务识别关键技术研究[D];解放军信息工程大学;2012年

3 苏凡军;高速网络拥塞控制算法研究[D];浙江大学;2006年

4 罗燕;高速网络中拥塞控制研究[D];重庆大学;2004年

5 王圣;高速网络TCP加速关键技术研究[D];国防科学技术大学;2007年

6 王俊昌;基于通用多核平台的高速网络处理系统关键技术研究[D];中国科学技术大学;2014年

7 陈一骄;网络入侵检测系统高速处理技术研究[D];国防科学技术大学;2007年

8 陈曙晖;基于内容分析的高速网络协议识别技术研究[D];国防科学技术大学;2007年

中国硕士学位论文全文数据库 前10条

1 刘超;高速网络中基于抽样流量的统计测量方法研究[D];大连海事大学;2015年

2 赵千;面向高速网络传输的分布式系统读操作优化方法研究[D];华中科技大学;2014年

3 白岩;高速网络认证算法研究及实现[D];北京邮电大学;2011年

4 苏聪;高速网络中的主动队列管理算法研究[D];广西师范大学;2007年

5 戴军;高速网络流量异常检测技术研究[D];国防科学技术大学;2008年

6 王琳;面向高速网络的智能化应用分类的研究[D];济南大学;2008年

7 刘昊;一种高速网络安全监控系统的设计与原型系统实现[D];电子科技大学;2007年

8 郑挺;高速网络安全监控系统的研究与实现[D];国防科学技术大学;2003年

9 徐苏磊;高速网络中FAST TCP拥塞控制的研究[D];南京邮电大学;2011年

10 帅博;高速网络拥塞控制算法HSTCP[D];广西师范大学;2013年

本文编号：1063366