HDFS数据存放策略的研究与改进

发布时间：2018-10-26 18:52

【摘要】：为了改善HDFS中集群负载的均衡性,提高数据节点的资源利用率,提出了一种改进的数据存放策略。在HDFS原始策略的基础上充分考虑了节点的差异性,通过采集数据节点的CPU负载、内存负载、网络负载和存储空间负载,引入负载因子计算数据的存放成本,以选择一个最优的数据节点存放数据。实验结果表明,改进后的策略优化了集群负载的均衡性,提高了数据块副本的传输性能。
[Abstract]:In order to improve the balance of cluster load in HDFS and the resource utilization of data nodes, an improved data storage strategy is proposed. Based on the original strategy of HDFS, the differences of nodes are fully considered. By collecting the CPU load, memory load, network load and storage space load of the data node, the load factor is introduced to calculate the storage cost of the data. To select an optimal data node to store data. The experimental results show that the improved strategy optimizes the load balance of the cluster and improves the transmission performance of the replica of the data block.
【作者单位】： 四川大学计算机学院;
【基金】：国家自然科学基金项目(61173159) 教育部重大项目培育基金项目(708075)
【分类号】：TP333

【参考文献】

相关期刊论文 前2条

1 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

2 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期

【共引文献】

相关期刊论文 前10条

1 魏东泽;来学嘉;;一种安全的高可靠性P2P云存储备份模型初探参考文献[J];信息安全与技术;2011年09期

2 王继鹏;;高等教育云计算服务平台构建策略初探[J];安阳师范学院学报;2011年05期

3 刘真;刘峰;张宝鹏;马飞;高石玉;;云计算模型在铁路大规模数据处理中的应用[J];北京交通大学学报;2010年05期

4 徐小龙;程春玲;熊婧夷;王汝传;;一种基于移动Agent的云端计算任务安全分割与分配算法[J];北京理工大学学报;2011年08期

5 李建卓;;云计算及其发展综述[J];宝鸡文理学院学报(自然科学版);2010年03期

6 董晓霞;吕廷杰;;云计算研究综述及未来发展[J];北京邮电大学学报(社会科学版);2010年05期

7 邓仲华;朱秀芹;;云计算环境下的隐私权保护初探[J];图书与情报;2010年04期

8 马晓亭;陈臣;;基于成本收益分析的云计算环境下数字图书馆建设研究[J];图书与情报;2011年06期

9 朱德新;宋雅娟;;海量数据分析及处理算法实现[J];长春大学学报;2011年08期

10 黄小龙;;浅谈云计算技术在教育领域的应用[J];成功(教育);2011年08期

相关会议论文 前10条

1 万丹丹;王宏;;云计算在编辑工作中的应用探讨[A];学术期刊编辑学理论与实践[C];2010年

2 郭捷夫;;基于云计算模型的绿色IT数据中心构建方案研究[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

3 汪云凤;李心科;;云服务环境下的服务聚合方法研究[A];2011中国仪器仪表与测控技术大会论文集[C];2011年

4 张白兰;杨向红;李家龙;刘伟;林创燕;邱正能;;物联网综述[A];中国电子学会第十七届信息论学术年会论文集[C];2010年

5 任伟;叶敏;刘宇靓;;云安全的信任管理研究[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

6 周轩;黄璞;;基于云计算的OMS平台移动业务测试系统[A];中国通信学会第六届学术年会论文集（上）[C];2009年

7 唐玲;;云计算及其安全问题的研究[A];Proceedings of 2011 National Teaching Seminar on Cryptography and Information Security(NTS-CIS 2011) Vol.1[C];2011年

8 丁辉;赵炜妹;;基于云计算应用一级部署的研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年

9 赵伟;陈承收;李立军;;基于MapReduce云计算模型的碰撞检测算法[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年

10 潘松柏;张云勇;陈清金;魏进武;;云计算安全需求和策略[A];2010年全国通信安全学术会议论文集[C];2010年

相关博士学位论文 前10条

1 吴吉义;基于DHT的开放对等云存储服务系统研究[D];浙江大学;2011年

2 王铁军;非结构化对等网络资源定位技术研究[D];电子科技大学;2010年

3 江颉;面向电子服务的访问控制关键技术研究[D];浙江大学;2010年

4 张泽华;云计算联盟建模及实现的关键技术研究[D];云南大学;2010年

5 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年

6 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年

7 林云;汽车物流服务供应链体系构建与应用研究[D];重庆大学;2011年

8 朱智强;混合云服务安全若干理论与关键技术研究[D];武汉大学;2011年

9 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年

10 葛显龙;面向云配送模式的车辆调度问题及算法研究[D];重庆大学;2011年

相关硕士学位论文 前10条

1 孔楠;基于云计算平台的商业服务模式研究[D];上海外国语大学;2010年

2 康兴元;面向模具企业的注塑模设计知识网络化管理系统研究[D];大连理工大学;2010年

3 姜健;云计算在企业物资供应系统的应用研究[D];辽宁工程技术大学;2009年

4 薛师;云计算与网格计算的比较研究[D];河南理工大学;2010年

5 刘震宇;基于VMware vSphere4.0的PC服务器资源池构建[D];大连海事大学;2010年

6 梁文迪;一体化资产管理系统中财务模块的设计与实现[D];华南理工大学;2010年

7 胡清;基于云计算的券商网络营销服务平台研究与设计[D];南昌大学;2010年

8 李婵;基于云计算的智能手机数据挖掘平台的架构和实现[D];武汉理工大学;2010年

9 贺鹏;云计算的开发云的研究与实现[D];电子科技大学;2011年

10 李克然;基于云计算的电子商务数据管理模式研究[D];西安电子科技大学;2011年

【二级参考文献】

相关期刊论文 前1条

1 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

【相似文献】

相关期刊论文 前10条

1 蒋秉天;邱卫东;李萍;;基于云计算的密码恢复系统模型[J];信息安全与通信保密;2011年04期

2 柴黄琪;苏成;;基于HDFS的安全机制设计[J];计算机安全;2010年12期

3 李彭军;陈光杰;郭文明;;基于HDFS的区域医学影像分布式存储架构设计[J];南方医科大学学报;2011年03期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

，

本文编号：2296644