Hadoop下基于统计最优的资源调度算法

发布时间：2018-08-31 19:36

【摘要】：云计算集群中的资源存在异构和节点稳定性问题。异构资源的计算能力不同会导致较突出的作业任务同步问题,而某个节点的不稳定状态会使运行于该节点的任务大量备份或重新计算。针对上述两问题将严重影响集群作业的执行进度,在Hadoop平台下利用统计方法,提出一种资源调度算法,对计算资源较少的节点和不稳定状态的节点进行标志并降权,让集群尽可能调度资源较好的稳定节点。实验结果表明,该算法能够在一定程度上减少作业的周转时间,提高集群的效率和吞吐量。
[Abstract]:The resource in cloud computing cluster is heterogeneous and node stability problem. Different computing power of heterogeneous resources will lead to a more prominent job synchronization problem, and the unstable state of a node will cause a large number of backup or recalculation of tasks running on that node. In view of the two problems mentioned above will seriously affect the execution progress of cluster jobs, a resource scheduling algorithm based on Hadoop platform is proposed, which can mark and reduce the weight of nodes with less computing resources and unstable state. Let the cluster schedule the stable nodes with better resources as much as possible. The experimental results show that the proposed algorithm can reduce the turnover time and improve the efficiency and throughput of the cluster to a certain extent.
【作者单位】： 石家庄铁道大学信息科学与技术学院;
【分类号】：TP393.09

【相似文献】

相关期刊论文 前10条

1 孙向军;陆勤夫;;基于云计算的模型服务平台研究[J];舰船电子工程;2011年08期

2 葛慧;;云计算的信息安全[J];硅谷;2009年02期

3 高岚岚;;云计算与网格计算的深入比较研究[J];海峡科学;2009年02期

4 赵梦龙;龙士工;刘春英;;基于HITS算法的云化模型[J];微计算机信息;2009年30期

5 王长全;艾栶;;云计算时代的数字图书馆信息安全思考[J];图书馆建设;2010年01期

6 蔡構;胡欣薇;;云计算在网络课程建设中的应用探讨[J];电子商务;2010年03期

7 崔文;王国勇;;基于校园网的云计算应用初探[J];微计算机信息;2010年18期

8 刘金;;Web服务在网格和云中的应用[J];湖南电力;2010年03期

9 魏毅峰;张亮;;浅析云计算环境下的信息安全[J];郧阳师范高等专科学校学报;2010年03期

10 周鹏;李英;李志蜀;;大学计算机网络课程教学模式探析[J];天中学刊;2010年05期

相关会议论文 前10条

1 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

2 崔海东;;一种业务网架构的网格云模型[A];中国通信学会信息通信网络技术委员会2009年年会论文集（上册）[C];2009年

3 周相兵;马洪江;杨兴江;;一种基于云计算的语义Web服务组合模型研究[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年

4 王忠群;李钧;刘涛;王勇;;基于遗传编程和效用最优的网格资源调度及仿真[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

5 陈幼君;;校园网资源管理系统网格体系设计[A];全国计算机安全学术交流会论文集（第二十三卷）[C];2008年

6 吴雄奇;曾文华;;基于改进遗传算法的网格资源调度算法[A];2006年全国开放式分布与并行计算学术会议论文集（一）[C];2006年

7 史德嘉;王璞;;基于MAS协作的动态资源调度策略研究[A];第四届和谐人机环境联合学术会议论文集[C];2008年

8 田s，

本文编号：2215961