针对Hadoop异构集群节点性能的数据分配策略

发布时间：2022-10-10 20:08

　　当前Hadoop的实现主要针对同构集群,假设任务处理的数据基本是本地的.然而,实际应用中集群多为异构.这暴露出现有的数据分配策略对数据局部性考虑的不足,其产生的不必要数据传输耗费了大量的带宽资源和传输时间.通过结合Hadoop中数据放置与任务执行的关系,按不同节点对不同任务的执行能力进行数据分配.在考虑异构集群中节点固有性能的情况下,提出一种机架间基于任务特性和节点计算能力的数据分配策略.该分配策略提高了对数据局部性的关注,使每个节点都尽可能只访问本地数据.通过实验可知,该策略可以有效地缩短作业执行时间,提高时效性;同时提高数据局部性,减少网络数据传输,避免拥塞;最后,该分配策略还具有较好的稳定性. 

【文章页数】：6 页

【文章目录】：
1 引 言
2 相关工作
3 基于计算性能的数据分配策略
    3. 1 固有性能调优
    3. 2 传统数据分配策略研究
    3. 3 基于计算性能的数据分配策略
        3. 3. 1 集群性质
        3. 3. 2 基本算法过程
4 实验分析
    4. 1 实验环境
    4. 2 节点固有性能
    4. 3 基于计算性能的数据分配策略
        4. 3. 1 执行时间
        4. 3. 2 数据局部性
        4. 3. 3 分配策略稳定性
5 结束语


【参考文献】：
期刊论文
[1]云计算安全问题研究综述[J]. 杨健,汪海航,王剑,俞定国.  小型微型计算机系统. 2012(03)
[2]一种基于海量信息处理的云存储模型研究[J]. 张桂刚,李超,张勇,邢春晓.  计算机研究与发展. 2012(S1)
[3]云计算环境下的分布存储关键技术[J]. 王意洁,孙伟东,周松,裴晓强,李小勇.  软件学报. 2012(04)
[4]MapReduce并行编程模型研究综述[J]. 李建江,崔健,王聃,严林,黄义双.  电子学报. 2011(11)
[5]云计算:体系架构与关键技术[J]. 罗军舟,金嘉晖,宋爱波,东方.  通信学报. 2011(07)
[6]云计算环境下面向数据密集型应用的数据布局策略与方法[J]. 郑湃,崔立真,王海洋,徐猛.  计算机学报. 2010(08)
[7]云计算:系统实例与研究现状[J]. 陈康,郑纬民.  软件学报. 2009(05)



本文编号：3690272