分布式环境中大数据处理任务的调度方法研究及应用

发布时间：2017-04-15 05:14

  本文关键词：分布式环境中大数据处理任务的调度方法研究及应用，由笔耕文化传播整理发布。

【摘要】：近年来,随着计算机技术和信息技术的快速发展与广泛应用,互联网的数据量呈现爆炸式增长,传统的数据处理技术已经难以满足大规模数据的需求,因此面向大规模数据的处理技术成为新的研究热点。作为一种分布式计算编程模型,MapReduce是当前处理大规模数据的主流技术之一,而分布式任务调度算法作为该模型的性能核心部分,已经成为当前大数据领域的研究热点。本论文对MapReduce分布式任务调度算法的理论基础进行了研究和分析,提出了基于任务分类的动态延迟调度算法(The Dynamic Delay Scheduling Based on Task Classification,即TCDDS算法),并通过仿真结果验证了该算法的有效性。在此基础上,本文又提出了基于TCDDS的深度包检测算法,该算法通过将使用TCDDS算法优化过的MapReduce并行处理技术和深度包检测技术相结合,提高了深度包检测的处理速度和性能。本论文的主要工作包括以下几个方面：首先,本论文对MapReduce的架构及其关键技术进行了研究,深入研究了MapReduce的任务调度流程,并详细分析了常用的几种任务调度算法的优缺点,例如先进先出调度算法、计算能力调度算法、公平调度算法和延迟调度算法等。其次,通过分析现有调度算法的不足,提出了基于任务分类的动态延迟调度算法(TCDDS算法)。该算法在原有的延迟调度算法的基础上,增加了使用模糊综合评价法对任务进行分类的过程,将全部的任务进行分成三类：高优先级任务、中优先级任务和低优先级任务。不同类别的任务设置不同的等待时间阈值,并且在减少时间开销和提高数据本地性这两个方面也有不同的偏重,高优先级任务力求较短的时间开销,低优先级任务力求较高的数据本地性,而中优先级任务则在二者之间取平衡。之后本论文通过仿真实验对该算法进行了验证,实验结果表明,基于任务分类的动态延迟调度算法在提高了MapReduce任务调度的数据本地性的同时,也缩短了作业的整体完成时间,有效地提高了MapReduce的整体性能。最后,本论文提出了基于TCDDS的深度包检测技术,该技术提出使用MapReduce分布式计算框架来进行深度包检测,以此来提高深度包检测的处理速度,并通过仿真实验验证了该技术的性能优于原有的深度包检测技术。
【关键词】：MapReduce Hadoop 延迟调度 数据本地性 模糊集合
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP274.2
【目录】：

• 致谢5-6
• 摘要6-7
• ABSTRACT7-11
• 1 引言11-16
• 1.1 研究背景及意义11-12
• 1.2 研究现状12-14
• 1.3 论文主要内容14-16
• 2 大数据处理技术及平台16-31
• 2.1 大数据概述16-18
• 2.2 Hadoop平台18-23
• 2.1.1 HDFS分布式文件系统19-20
• 2.1.2 MapReduce编程模型20-23
• 2.3 MapReduce任务调度算法23-25
• 2.3.1 先进先出调度算法24
• 2.3.2 公平调度算法24
• 2.3.3 计算能力调度算法24-25
• 2.3.4 延迟调度算法25
• 2.4 模糊综合评价法25-30
• 2.4.1 相关定义25-26
• 2.4.2 隶属度函数26-29
• 2.4.3 模糊综合评价法的主要流程29-30
• 2.5 本章小结30-31
• 3 基于任务分类的动态延迟调度算法31-50
• 3.1 产生背景31-32
• 3.2 算法设计32-47
• 3.2.1 算法概述32-33
• 3.2.2 相关定义33-34
• 3.2.3 任务分类34-47
• 3.3 算法流程47-48
• 3.4 本章小结48-50
• 4 仿真结果与分析50-60
• 4.1 实验硬件平台部署50-51
• 4.2 实验设计与结果分析51-58
• 4.2.1 数据处理51-52
• 4.2.2 实验方案52-58
• 4.3 本章小结58-60
• 5 基于TCDDS的深度包检测技术60-66
• 5.1 深度包检测技术概述60-61
• 5.2 具体实现61-65
• 5.2.1 基本思路61-63
• 5.2.2 仿真与结果分析63-65
• 5.3 本章小结65-66
• 6 总结与展望66-68
• 6.1 总结66
• 6.2 展望66-68
• 参考文献68-71
• 作者简历及攻读硕士学位期间取得的研究成果71-73
• 学位论文数据集73

【相似文献】

中国期刊全文数据库 前10条

1 向哲,钟玉琢,冼伟铨;一种基于周期合并策略的流调度算法[J];软件学报;2001年08期

2 伊鹏,张兴明,郭云飞;基于输入排队的调度算法[J];计算机工程;2003年19期

3 易云山,桂志波;分组网络中包调度算法研究[J];江苏通信技术;2004年03期

4 任艳颖,张文军,王彬;无线调度算法[J];计算机工程;2004年15期

5 刘越洋,席裕庚;基于两步滚动的单机调度算法研究[J];计算机工程;2004年24期

6 杨梅樾;马祥杰;;输入排队中调度算法的研究[J];信息工程大学学报;2006年02期

7 曾东海;刘海;金士尧;;集群负载调度算法性能评价[J];计算机工程;2006年11期

8 孙力娟;李超;张登银;王汝传;;低速网络中实时补偿型差额循环调度算法的设计和实现[J];电子与信息学报;2006年10期

9 刘东;张春元;;软件容错模型中反向与正向调度算法研究[J];计算机工程与科学;2007年09期

10 何琨;赵勇;黄文奇;;基于任务复制的分簇与调度算法[J];计算机学报;2008年05期

中国重要会议论文全文数据库 前10条

1 彭洪;涂凍生;;面向操作的调度算法[A];1994中国控制与决策学术年会论文集[C];1994年

2 罗豪杰;许都;;IEEE 802.16 MAC层上行调度算法[A];四川省通信学会2007年学术年会论文集[C];2007年

3 张遵福;李乐民;;支持QoS的调度算法设计[A];2006中国西部青年通信学术会议论文集[C];2006年

4 姚建波;竺小松;李晶晶;;非对称通信环境中两种广播调度算法的分析与比较[A];中国通信学会第六届学术年会论文集（上）[C];2009年

5 景维鹏;吴智博;刘宏伟;董剑;;一种支持任务依赖关系容错调度算法[A];第十四届全国容错计算学术会议(CFTC'2011)论文集[C];2011年

6 李琪林;甄威;周明天;;一种适用于Master-Worker应用的动态统一调度算法的研究[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

7 吕锋;涂晓东;;高性能交换结构调度算法的研究[A];四川省通信学会2006年学术年会论文集（二）[C];2006年

8 赵尔敦;肖静;;无线网络中基于信道状态预测的调度算法[A];2006全国复杂网络学术会议论文集[C];2006年

9 殷洁;;城市光网光纤自动调度算法研究和应用[A];中国通信学会信息通信网络技术委员会2011年年会论文集（下册）[C];2011年

10 陈平;王柏;徐六通;吴斌;王艳辉;;电信社群网络中介度的网格并行算法及调度算法[A];2006年全国通信软件学术会议论文集[C];2006年

中国重要报纸全文数据库 前1条

1 张建辉 吴松;TD—SCDMA积跬步 HSDPA以致千里[N];通信产业报;2005年

中国博士学位论文全文数据库 前10条

1 刘晓锋;可扩展多级多平面交换网络及调度算法研究[D];电子科技大学;2015年

2 马丹;任务间相互依赖的并行作业调度算法研究[D];华中科技大学;2007年

3 田冲;无线网络跨层调度算法研究[D];山东大学;2009年

4 黄平;分布式交换系统队列结构及调度算法研究[D];华中科技大学;2006年

5 刘惠;嵌入式系统节能调度算法研究[D];西安电子科技大学;2011年

6 赵明宇;集群系统的调度算法研究[D];哈尔滨工业大学;2007年

7 吴刚;对低功耗进程调度算法的研究[D];复旦大学;2006年

8 牛进平;3G长期演进系统中调度算法和干扰抑制技术研究[D];西安电子科技大学;2014年

9 罗威;分布式实时容错调度算法研究[D];华中科技大学;2008年

10 展勇;柔性开放车间调度算法研究[D];哈尔滨工程大学;2011年

中国硕士学位论文全文数据库 前10条

1 丁雪飞;纯电动车整车CAN网络实时调度算法的研究[D];辽宁大学;2015年

2 王德龙;Hadoop平台下作业调度算法的研究与改进[D];南京信息工程大学;2015年

3 袁林伟;载波聚合资源分配及调度算法研究[D];西南交通大学;2015年

4 景木均;3GPP LTE系统中基于多目标决策的下行资源调度算法研究与实现[D];西南交通大学;2015年

5 刘盼红;大数据环境下Hadoop作业调度算法的研究[D];河北工程大学;2015年

6 杨轩;高铁无线通信VoIP业务与多业务共存的资源调度算法[D];西南交通大学;2015年

7 陈传庆;基于衰落信道的无线链路调度算法研究[D];曲阜师范大学;2015年

8 陈文龙;Hadoop平台下作业调度方法研究[D];南京理工大学;2015年

9 陈瑜;针对Hadoop集群的节能调度算法研究[D];电子科技大学;2015年

10 朱新新;网络端到端流量的QoS优化技术研究[D];电子科技大学;2014年

  本文关键词：分布式环境中大数据处理任务的调度方法研究及应用，由笔耕文化传播整理发布。

，

本文编号：307694