一种面向低延迟的内存HDFS数据存储策略

发布时间：2018-01-11 04:33

  本文关键词：一种面向低延迟的内存HDFS数据存储策略　出处：《微电子学与计算机》2014年11期 　论文类型：期刊论文

  更多相关文章： 内存分布式文件系统 数据存储策略 低延迟 并行读取算法

【摘要】：从底层存储介质的选择和上层分布式文件系统效率的角度出发,提出基于HDFS的内存分布式文件系统架构Mem-HDFS,同时利用集群DataNode的内存和磁盘存储数据,以提高基于HDFS应用的读取性能.并对其进行性能优化,提出一种适应的同分布数据存储策略以及并行读取访问算法.对比实验表明:提出的算法能够较好地降低读取访问延迟.
[Abstract]:From the point of view of the efficiency of selection and the upper distributed file system underlying storage medium of the memory architecture of distributed file system HDFS based on Mem-HDFS, and using DataNode cluster memory and disk storage data, in order to improve the reading performance of application based on HDFS. And its performance optimization, proposed an adaptation of the same distributed data storage strategy read access and parallel algorithm. The experiment results show that the proposed algorithm can effectively reduce the access delay.

【作者单位】： 新疆大学信息科学与工程学院;
【基金】：国家自然科学基金资助项目(61262088,61063042) 新疆维吾尔自治区自然科学基金资助项目(2011211A011)
【分类号】：TP333
【正文快照】： 1引言近年来,作为云存储的核心基础平台,分布式文件系统已经成为研究的重点.目前,具有代表性的分布式文件系统有Google的GFS,开源的Lustre、HDFS(Hadoop Distributed File System)、MooseFS等,这些分布式文件系统均面向大规模的云存储应用[1].构建分布式文件系统需要考虑多方

【参考文献】

相关期刊论文 前3条

1 廖彬;于炯;张陶;杨兴耀;;基于分布式文件系统HDFS的节能算法[J];计算机学报;2013年05期

2 ;Cloud Computing (1)[J];ZTE Communications;2010年01期

3 廖彬;于炯;张陶;杨兴耀;英昌甜;;一种适应节能的云存储系统元数据动态建模与管理方法[J];小型微型计算机系统;2013年10期

【共引文献】

相关期刊论文 前10条

1 黄上星;周凌云;;基于GAE的云计算应用开发[J];大众科技;2013年10期

2 郑哲;;一种物流云系统的架构方法[J];电脑编程技巧与维护;2013年22期

3 钱晨;张鹏飞;;中国云计算建设及技术开发方向分析[J];福建电脑;2013年12期

4 陈江涛;张金隆;张亚军;;基于企业应用的SaaS顾客价值影响因素研究[J];中国地质大学学报(社会科学版);2013年06期

5 谢文娟;黄松;张晶晶;李丙戌;;云安全管理框架综述[J];电脑知识与技术;2013年31期

6 范飞;黄文明;邓珍荣;;Oozie工作流在Mahout分布式数据挖掘中的应用[J];桂林电子科技大学学报;2014年01期

7 雷万保;程园;崔珞琨;汪杨;;基于服务关联模型的云服务权重计算算法[J];信息化研究;2014年01期

8 张正欣;;应用于公共电子医疗领域的SOA服务组件管理系统[J];电子设计工程;2014年02期

9 刘俊朋;张东;刘正伟;郭锋;赵江;;云数据中心Linux操作系统快速部署的方法研究[J];信息技术与标准化;2014年Z1期

10 贺智明;张扬;高林;;基于QPSFLA算法的云计算环境资源调度策略[J];电脑知识与技术;2014年02期

相关会议论文 前4条

1 张玮;牛正浩;史慧玲;孙萌;唐绍炬;;多目标优化的云计算虚拟集群动态调整方法[A];山东计算机学会2013学术年会论文集[C];2013年

2 孙英华;郭振波;吴哲辉;杜乐乐;;基于混合云市场的计算资源交易模型的研究[A];山东计算机学会2013学术年会论文集[C];2013年

3 潘送军;周沿东;;浅谈开发测试资源池的建设及应用[A];电力行业信息化优秀论文集2013[C];2013年

4 周宇光;陈振义;盛中华;;探索云计算技术在企业信息化建设中的应用[A];第十六届中国科协年会——分7绿色设计与制造信息技术创新论坛论文集[C];2014年

相关博士学位论文 前10条

1 李煜;基于双边市场理论的软件平台运营机制研究[D];北京邮电大学;2013年

2 张帆;认知可重构的高效能Web服务体系结构研究[D];解放军信息工程大学;2013年

3 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

4 卿苏德;网络虚拟化映射算法研究[D];北京邮电大学;2013年

5 史佩昌;云服务的高效传递技术研究[D];国防科学技术大学;2012年

6 刘雪峰;隐私安全协议研究[D];西安电子科技大学;2013年

7 任维武;用于分布式入侵检测系统的合作式本体模型[D];吉林大学;2013年

8 敬思远;面向绿色虚拟数据中心资源管理的若干关键技术研究[D];电子科技大学;2013年

9 陈军;基于G/S模式的空间分析云服务关键技术研究[D];成都理工大学;2012年

10 吴和生;云计算环境中多核多进程负载均衡技术的研究与应用[D];南京大学;2013年

相关硕士学位论文 前10条

1 汪洋;电子商务系统设计与实现[D];北京交通大学;2013年

2 李延光;基于Hadoop的海量工程数据处理技术研究[D];北京交通大学;2013年

3 侯伟;云计算中基于遗传算法的能效管理研究[D];武汉理工大学;2013年

4 冯黎明;云环境下无线传感器网络服务研究[D];南京师范大学;2013年

5 潘吴斌;基于云计算的并行K-means气象数据挖掘研究与应用[D];南京信息工程大学;2013年

6 曹夕;云计算中安全服务机制的研究[D];福建师范大学;2013年

7 焦术进;云计算中虚拟机动态迁移技术的研究[D];太原理工大学;2013年

8 马成龙;首次销售原则在网络环境下的扩大适用问题研究[D];华东政法大学;2013年

9 洪波海;云媒体中基于任务QoS特征的资源分配调度算法研究[D];中国海洋大学;2013年

10 贾玉辉;面向语音交互的云计算系统的研究[D];中国海洋大学;2013年

【二级参考文献】

相关期刊论文 前4条

1 林闯;田源;姚敏;;绿色网络和绿色评价:节能机制、模型和评价[J];计算机学报;2011年04期

2 廖彬;于炯;孙华;年梅;;基于存储结构重配置的分布式存储系统节能算法[J];计算机研究与发展;2013年01期

3 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期

4 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期

【相似文献】

相关期刊论文 前10条

1 徐俊;王庆华;赵云龙;;基于改进HDFS的冠字号小文件分布式存储研究[J];电脑知识与技术;2014年17期

2 徐艺境;栾钟治;钱德沛;管刚;谢明;;HDFS集群中功率预测控制策略的设计与分析[J];计算机科学与探索;2013年05期

3 曹宁;吴中海;刘宏志;张齐勋;;HDFS下载效率的优化[J];计算机应用;2010年08期

4 王永洲;茅苏;;HDFS中的一种数据放置策略[J];计算机技术与发展;2013年05期

5 彭仁通;;Hadoop的核心技术研究或概述[J];科技广场;2012年05期

6 蒋苏蓉;蓝江桥;杨玉海;;Hadoop框架下的情报分析大数据调度超时预测方法[J];计算机科学;2014年S1期

7 陈薇;杨昕;;基于HDFS的云存储安全技术分析[J];计算机光盘软件与应用;2014年08期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相关硕士学位论文 前1条

1 韩佩;HDFS高可用性方案的研究与优化[D];西北大学;2013年

，

本文编号：1408170