分布式文件系统元数据服务的负载均衡框架

发布时间：2017-09-28 11:03

  本文关键词：分布式文件系统元数据服务的负载均衡框架

  更多相关文章： 元数据服务器 分布式文件系统 负载均衡 预取 缓存

【摘要】：请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.
【作者单位】： 中国科学院软件研究所;中国科学院大学;
【关键词】： 元数据服务器 分布式文件系统 负载均衡 预取 缓存
【基金】：国家自然科学基金(61170074,61202065,U1435220) 国家高技术研究发展计划(863)(2013AA041301) 国家科技支撑计划(2015BAH18F02)~~
【分类号】：TP333
【正文快照】： 2(中国科学院大学,北京100190)www.jos.org.cn/1000-9825/4930.htm英文引用格式:Sun Y,Liu J,Ye D,Zhong H.Load balancing framework for metadata service of distributed file systems.RuanJian Xue Bao/Journal of Software,2016,27(12):3192?3207(in Chinese).http://www

【相似文献】

中国期刊全文数据库 前10条

1 陈剑;龚发根;;一种优化分布式文件系统的文件合并策略[J];计算机应用;2011年S2期

2 郎为民;杨德鹏;;云计算中的分布式文件系统[J];电信快报;2012年02期

3 陈文捷;蔡立志;楼志斌;王洁萍;李海波;;应用级分布式文件系统接口标准化探索[J];信息技术与标准化;2012年10期

4 应朝晖，高洪奎，，黄若衡;分布式文件系统[J];计算机工程与科学;1995年03期

5 卢军;卢显良;韩宏;许腾;;基于移动Agent的新型分布式文件系统研究[J];计算机科学;2002年10期

6 寒江约叟;N个资源一次看——分布式文件系统妙用[J];电脑应用文萃;2004年07期

7 黄华,张建刚,许鲁;蓝鲸分布式文件系统的分布式分层资源管理模型[J];计算机研究与发展;2005年06期

8 黄华;张建刚;许鲁;;蓝鲸分布式文件系统的客户端元数据缓存模型[J];计算机科学;2005年09期

9 黄华;张敬亮;张建刚;许鲁;;蓝鲸分布式文件系统的物理资源管理模型[J];计算机工程;2006年06期

10 阴四海;王文杰;李秀斌;范军涛;;并行分布式文件系统的改进[J];计算机应用;2007年S2期

中国重要会议论文全文数据库 前4条

1 华清;黄林鹏;;基于分片、松耦合的分布式文件系统的设计与实现[A];2006年全国开放式分布与并行计算学术会议论文集（二）[C];2006年

2 洪穗;;微软WINDOWS Server 2003 R2分布式文件系统解决方案分析[A];中国新闻技术工作者联合会2008年学术年会论文集（上）[C];2008年

3 罗志明;张大华;王电钢;常健;;电力分布式云存储关键技术研究[A];2012年电力通信管理暨智能电网通信技术论坛论文集[C];2013年

4 徐文斌;;大数据时代的交管综合应用云平台[A];第八届中国智能交通年会论文集[C];2013年

中国重要报纸全文数据库 前10条

1 国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚;分布式文件系统的历史与现状[N];中国计算机报;2005年

2 国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚;分布式文件系统趋向成熟[N];中国计算机报;2005年

3 国防科学技术大学计算机学院软件所 董勇 周恩强;构建分布式文件系统[N];中国计算机报;2005年

4 ;分布式文件系统一瞥[N];网络世界;2002年

5 王春海 刘立;分布式文件系统在网络中的应用[N];电脑报;2004年

6 ;Hadoop：为构建海量数据架构而生[N];人民邮电;2012年

7 本报记者 于翔;“大数据”的大承诺[N];网络世界;2010年

8 IBM大数据专家 James Kobielus　范范 编译;YARN动摇了MapReduce对Hadoop的掌控[N];网络世界;2013年

9 张力平;云计算和物联网的美妙融合[N];学习时报;2014年

10 《网络世界》记者 于翔;大数据治理多管齐下[N];网络世界;2012年

中国博士学位论文全文数据库 前4条

1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年

2 史小冬;分布式文件系统高可用问题研究[D];中国科学院研究生院（计算技术研究所）;2002年

3 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院（计算技术研究所）;2005年

4 杨德志;分布式文件系统可扩展元数据服务关键问题研究[D];中国科学院研究生院（计算技术研究所）;2008年

中国硕士学位论文全文数据库 前10条

1 冷志强;基于分布式文件系统GlusterFS的横向扩展云存储的研究与实现[D];复旦大学;2014年

2 黎斌;基于HDFS的分布式文件系统存储研究与优化[D];电子科技大学;2015年

3 何雄;大小文件跨网络集群快速迁移协议[D];电子科技大学;2015年

4 焦晨宇;可伸缩分布式文件系统及其应用[D];北京理工大学;2015年

5 谯林飞;云计算环境中分布式文件系统数据一致性问题研究[D];电子科技大学;2014年

6 秦小寒;优化性能的分布式存储子系统的设计与实现[D];电子科技大学;2014年

7 牛升;分布式文件系统的负载均衡策略研究[D];电子科技大学;2014年

8 郭建国;基于分布式文件系统FastDFS的图片服务器件设计与应用[D];中国科学院大学(工程管理与信息技术学院);2015年

9 白铖;一种分布式文件系统的设计与实现[D];电子科技大学;2015年

10 吴霖;分布式微信公众平台爬虫系统的研究与应用[D];南华大学;2015年

本文编号：935464