存储中的副本分级存储调度策略

发布时间：2018-11-29 11:07

【摘要】：当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。
[Abstract]:When some of the nodes in the cluster are cheap hosts, the random storage strategy of HDFS may cause the data with high access frequency to be stored on the cheap node, which is affected by the performance of the cheap node, and the access time is too long, which reduces the efficiency of the cluster. In order to improve the above problems, an improved replica hierarchical storage scheduling strategy is proposed. In order to reduce the number of replica scheduling, the performance of nodes is evaluated according to the CPU, memory, network, storage load and network distance of nodes, and then high performance nodes are selected for storage. The replica scheduling is based on the access frequency of the replica in the node. Combined with the hardware configuration, the replica with high access frequency is stored in the high performance and high configuration node as far as possible, so as to accelerate the cluster response speed. The experimental results show that the improved strategy can improve the access efficiency of replicas and optimize load balancing in heterogeneous clusters.
【作者单位】： 北方工业大学云计算研究中心;大规模流数据集成与分析技术北京市重点实验室;
【基金】：北京市教育委员会科技计划重点项目:支持数据资源联动的云服务社区研究(KZ201310009009) 北京市属高等学校创新团队建设与教师职业发展计划基金资助项目(IDHT20130502)资助
【分类号】：TP333

【参考文献】

相关期刊论文 前4条

1 任川;杨冬菊;;基于云存储的二阶段动态优化调度机制[J];计算机与数字工程;2014年09期

2 罗鹏;龚勋;;HDFS数据存放策略的研究与改进[J];计算机工程与设计;2014年04期

3 陶永才;石磊;;异构资源环境下的MapReduce性能优化[J];小型微型计算机系统;2013年02期

4 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

【共引文献】

相关期刊论文 前10条

1 何佩聪;黄汝维;陈宁江;赵搏文;刘洋;;云环境中基于cache负载实时定噪的同驻分析方法[J];计算机科学;2017年05期

2 李联辉;吕硕;曹富宏;张立;;考虑专家权重的包装企业云服务供应商综合评估[J];包装工程;2017年09期

3 王治东;;云计算环境下任务调度研究综述[J];中国新通信;2017年09期

4 陈标宗;;云计算平台上的数据管理技术与应用[J];电脑知识与技术;2017年08期

5 张少辉;王大羽;韩秋英;;云环境下利用混合成本模型的作业调度方法[J];控制工程;2017年04期

6 杨冬菊;李青;;存储中的副本分级存储调度策略[J];计算机科学;2017年04期

7 杨臣君;张欣;杨卓东;;基于Hadoop的交通数据分析系统[J];电子科技;2017年04期

8 徐达飞;;基于云计算的网络安全评估[J];网络安全技术与应用;2017年04期

9 徐燕芬;姜仕军;赵婧;;轨道车辆车载设备健康数据云管理服务平台设计实现方法[J];铁道车辆;2017年04期

10 史振霞;赵鹏飞;;应用智能监控技术,提升“云”环境运维管理水平[J];甘肃科技纵横;2017年03期

【二级参考文献】

相关期刊论文 前9条

1 王健宗;谌炎俊;谢长生;;面向云存储的I/O资源效用优化调度算法研究[J];计算机研究与发展;2013年08期

2 陶永才;石磊;;异构资源环境下的MapReduce性能优化[J];小型微型计算机系统;2013年02期

3 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期

4 周敬利;周正达;;改进的云存储系统数据分布策略[J];计算机应用;2012年02期

5 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

6 徐婧;杨寿保;王淑玲;刘晓茜;;CDRS:云存储中一种代价驱动的自适应副本策略[J];中国科学院研究生院学报;2011年06期

7 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

8 徐志伟;廖华明;余海燕;查礼;;网络计算系统的分类研究[J];计算机学报;2008年09期

9 左翠华;卢正鼎;李瑞轩;;针对负载均衡的P2P动态副本策略[J];小型微型计算机系统;2007年11期

【相似文献】

相关期刊论文 前10条

1 王];郑树琴;;调度策略在并行机调度仿真的应用[J];机械管理开发;2013年01期

2 王浩,钟玉琢;一种新的基于流合并的调度策略[J];计算机学报;2001年03期

3 张丽晓,袁立强,徐炜民;基于任务类型的集群调度策略[J];计算机工程;2004年13期

4 宁凝;钱省三;孟志雷;;带有工艺约束的并行多机调度策略[J];工业工程;2008年02期

5 刘宴兵;李秉智;幸云辉;;宽带路由器输入排队调度策略的综合研究[J];计算机科学;2002年03期

6 杨祥茂;谭曦;;基于网络资源消费者模型的调度策略[J];计算机科学;2003年09期

7 黄敏;姚正林;刘金刚;;网络QoS调度策略的分析与研究[J];计算机工程与应用;2006年29期

8 方泳;袁召云;;环行穿梭车调度策略的仿真研究[J];物流技术与应用;2012年04期

9 胡敏,陶洋;基于网络配置管理的调度策略分析[J];数字通信;1999年04期

10 王振凯,刘斌,徐光yP;核心无状态虚拟时钟调度策略[J];清华大学学报(自然科学版);2003年01期

相关会议论文 前10条

1 胡子敬;李红燕;;一种资源共享情况下的连续查询算子调度策略[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

2 林志红;;照口水电厂优化调度策略的分析[A];福建省科学技术协会第八届学术年会分会场——提高水电站水库调度技术 推进海西经济建设研讨会论文集[C];2008年

3 黄锦涛;何加铭;陈平;贾德祥;;基于移动中间件抽象层调度策略研究[A];浙江省电子学会2010学术年会论文集[C];2010年

4 王冰;谷寒雨;席裕庚;;大规模单机静态调度的终端约束滚动策略[A];第二十二届中国控制会议论文集（下）[C];2003年

5 赵千川;郑大钟;;一类HDS的事件反馈型最优调度策略[A];1996年中国控制会议论文集[C];1996年

6 赵千川;郑大钟;;CLB调度策略的性能估计[A];1998年中国控制会议论文集[C];1998年

7 方剑;席裕庚;;动态环境下的Job Shop周期性滚动调度策略[A];1996中国控制与决策学术年会论文集[C];1996年

8 淡图南;朱立平;颜纪迅;;一种基于时间触发的安全关键操作系统混合调度策略[A];全面建成小康社会与中国航空发展——2013首届中国航空科学技术大会论文集[C];2013年

9 郭红星;彭嘉丽;盛涛;田婷;张爱华;;无线多用户视频流中支持内容感知的包调度策略[A];第四届和谐人机环境联合学术会议论文集[C];2008年

10 李茂增;王丹;杜东明;;一种数据流查询操作符的调度策略[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

相关重要报纸文章 前1条

1 戈;国华集群负载优化系统具备八项功能[N];电脑商报;2007年

相关博士学位论文 前8条

1 周浏阳;网络控制系统中调度策略的设计与延时的处理[D];哈尔滨工业大学;2015年

2 Rabee Furkan Hassan Saleh;[D];电子科技大学;2015年

3 张晔;基于模块的调度策略及其对多处理器系统的支持[D];中国科学技术大学;2009年

4 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年

5 何忠贺;切换服务网络的稳定性及交通信号控制应用[D];北京工业大学;2013年

6 王文乐;基于替代/补偿的实时事务处理策略研究[D];江西财经大学;2013年

7 王书举;车辆控制系统局域网络（CAN）调度策略研究[D];东北大学;2011年

8 张金艺;可重构SoC DFT架构与TLB测试调度策略研究[D];上海大学;2009年

相关硕士学位论文 前10条

1 丁富淮;嵌入式Linux系统的二级调度策略优化技术及应用[D];苏州大学;2015年

2 成先镜;公共自行车两阶段调度策略与模型及求解方法研究[D];南京师范大学;2015年

3 赵金涛;虚拟单元制造中考虑随机扰动的多级动态稳健调度策略研究[D];江苏科技大学;2015年

4 张晏;OpenStack的拓扑可视化监控技术研究与实现[D];电子科技大学;2014年

5 殷洪海;云环境下基于改进蚁群算法的资源调度策略[D];电子科技大学;2014年

6 王润泽;CPU与GPU混合虚拟化资源高效调度策略[D];上海交通大学;2015年

7 童毅;基于MapReduce模型的云平台调度策略优化研究[D];南京邮电大学;2015年

8 苏孝明;考虑大规模间歇性能源接入的调度策略研究[D];华北电力大学;2015年

9 王炳旭;基于IaaS云平台的Hadoop资源调度策略研究[D];北京交通大学;2016年

10 薛娜;复合加权调度算法在IaaS层中的稳定性优化研究[D];昆明理工大学;2016年

，

本文编号：2364825