面向iVCE云平台的数据分析任务调度系统的设计与实现

发布时间：2017-09-03 23:27

  本文关键词：面向iVCE云平台的数据分析任务调度系统的设计与实现

  更多相关文章： 云计算 任务调度 任务划分 资源匹配

【摘要】：随着大数据时代的到来,对数据的处理能力要求也越来越高。云计算作为一种高效的计算模式,在处理海量数据时有着得天独厚的优势。各大IT巨头纷纷推出了自己的云计算平台,为人们提供高效、快速的服务。此外,很多机构组织也开始搭建私有云平台,用于处理对安全性有较高要求的数据。因此,如何对任务进行合理、高效地调度,成为如今云计算领域亟待解决的问题。本文提出了以应用评测结果为依据,对任务进行划分以及资源匹配的任务调度策略,设计并实现了面向i VCE云平台的数据分析任务调度系统。该系统可对平台上的数据分析任务进行更加合理地切分,并选择资源类型与任务资源需求最匹配的节点来执行任务。首先,本文介绍了云计算任务调度的相关理论,包括云计算概述、云计算任务调度的特点以及经典的调度算法。其次,本文设计并实现了面向i VCE云平台的数据分析任务调度系统。该系统分为应用管理、任务管理、任务调度三个子系统。其中应用管理子系统包括应用注册以及应用评测,分别负责应用的添加以及对应用的资源消耗和运行状况进行评测。任务管理子系统包括任务提交、任务划分、任务队列管理以及任务状态监测,任务提交负责用户添加任务,任务划分在功能和数据两个级别分别对任务进行划分,将大任务变为更容易调度和执行的小任务,任务队列管理可以满足调度过程中任务不同状态的需求,包括等待任务队列、就绪任务队列、挂起任务队列和重调度任务队列,任务状态监测负责实时监测任务所处的调度状态。任务调度子系统包括资源匹配、任务分配以及任务重调度,资源匹配负责为任务选取合适的执行节点,任务分配负责将任务下发至执行节点并回收结果,任务重调度负责任务在调度过程中出现异常之后进行再次调度。最后,本文对i VCE云平台的数据分析任务调度系统从应用评估、任务划分、任务状态监测等方面进行测试,并以DNS源IP异常检测作为数据分析任务的实例在整体上对系统进行测试,结果表明该系统达到设计目标。综上所述,本文设计并实现了面向i VCE云平台的数据分析任务调度系统,具备应用管理、任务管理、任务调度等功能,达到系统设计的要求。
【关键词】：云计算 任务调度 任务划分 资源匹配
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP393.09;TP301.6
【目录】：

• 摘要4-5
• Abstract5-10
• 第1章 绪论10-15
• 1.1 课题来源10
• 1.2 课题研究的目的和意义10-11
• 1.3 国内外研究现状11-13
• 1.4 本文研究内容及组织结构13-15
• 第2章 云计算任务调度相关理论介绍15-22
• 2.1 云计算任务调度概述15-18
• 2.1.1 云计算概述15-16
• 2.1.2 云计算任务调度的模型16-18
• 2.1.3 云计算任务调度的特点18
• 2.2 任务调度的相关算法18-21
• 2.2.1 经典的调度算法18-19
• 2.2.2 启发式的调度算法19-21
• 2.3 本章小结21-22
• 第3章 数据分析任务调度系统的设计22-42
• 3.1 系统需求分析22-24
• 3.1.1 系统功能需求22-23
• 3.1.2 系统非功能需求23-24
• 3.2 系统总体设计24-27
• 3.2.1 系统设计目标24
• 3.2.2 系统功能结构设计24-25
• 3.2.3 系统架构设计25-26
• 3.2.4 系统数据库设计26-27
• 3.3 系统详细设计27-41
• 3.3.1 应用管理子系统设计27-32
• 3.3.2 任务管理子系统设计32-38
• 3.3.3 任务调度子系统设计38-41
• 3.4 本章小结41-42
• 第4章 数据分析任务调度系统实现42-59
• 4.1 应用管理子系统实现42-48
• 4.1.1 应用注册模块实现42-44
• 4.1.2 应用评测模块实现44-48
• 4.2 任务管理子系统实现48-54
• 4.2.1 任务提交模块实现48-51
• 4.2.2 任务划分模块实现51-52
• 4.2.3 任务队列管理模块实现52-53
• 4.2.4 任务状态监测模块实现53-54
• 4.3 任务调度子系统实现54-58
• 4.3.1 资源匹配模块54-55
• 4.3.2 任务分配模块55-57
• 4.3.3 任务重调度57-58
• 4.4 本章小结58-59
• 第5章 数据分析任务调度系统测试59-76
• 5.1 系统测试环境59-60
• 5.2 系统功能测试60-68
• 5.2.1 应用评测模块功能测试60-64
• 5.2.2 任务划分模块功能测试64-65
• 5.2.3 任务状态监模块测试65-68
• 5.3 系统性能测试68-70
• 5.3.1 任务调度能力测试68-69
• 5.3.2 负载均衡能力测试69-70
• 5.4 数据分析任务实例测试70-74
• 5.4.1 DNS源IP异常检测介绍70-71
• 5.4.2 数据分析任务实例设计71-72
• 5.4.3 数据分析任务实例测试72-74
• 5.5 本章小结74-76
• 结论76-77
• 参考文献77-81
• 攻读硕士学位期间发表的论文及其他成果81-83
• 致谢83

【相似文献】

中国期刊全文数据库 前10条

1 孟宪福;基于优先级的任务调度与负载均衡模型研究[J];小型微型计算机系统;2005年09期

2 廖晓文;廖京盛;;时间触发模式的任务调度与分解策略[J];单片机与嵌入式系统应用;2006年07期

3 樊晓香;;任务调度问题机制设计[J];计算机技术与发展;2008年07期

4 黄漾;;分布式环境下任务调度探讨[J];电脑知识与技术;2011年19期

5 陈军;谢立;孙钟秀;;分布式任务调度研究的新趋向[J];计算机研究与发展;1990年04期

6 陈艇;;基于混沌最优博弈的网络任务调度算法仿真[J];计算机仿真;2013年11期

7 李陶深;李明丽;张希翔;;云计算环境下任务调度技术的研究进展[J];玉林师范学院学报;2014年02期

8 刘雄文,陆鑫达;元计算环境中任务调度的深入分析[J];计算机工程与应用;2002年17期

9 罗红,慕德俊,邓智群,王晓东;网格计算中任务调度研究综述[J];计算机应用研究;2005年05期

10 张国海;江平宇;周光辉;;多设计任务调度的非合作博弈研究[J];西安交通大学学报;2007年03期

中国重要会议论文全文数据库 前10条

1 刘培培;李连;丛海鹏;谢勇;;基于多代理协商机制的任务调度系统研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（下）[C];2006年

2 张磊;马军;;描述短时资源混杂占用型任务调度的数学模型与算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年

3 王军;巢玉强;彭钊轶;;基于任务调度的电能量计量采集系统的设计与实现[A];2006电力系统自动化学术交流研讨大会论文集[C];2006年

4 张志强;王万玉;王建平;李凡;袁刚;;多站多星任务调度优化模型研究[A];第二十三届全国空间探测学术交流会论文摘要集[C];2010年

5 韩云;于炯;张伟;王命全;;基于负载均衡的任务调度改进算法[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

6 王全民;王靓;许智宏;;网格环境中基于蚁群算法的批量任务调度的研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（上）[C];2006年

7 张晓云;岳继光;杨麟祥;;零星任务调度在多控制任务系统中的应用[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年

8 刘宇;刘玉荣;周冰;;基于WCF的环境减灾星座运控任务调度系统[A];第二十五届全国空间探测学术研讨会摘要集[C];2012年

9 黄文泽;邵峰晶;孙仁诚;;基于双总线安全结构的操作系统任务调度[A];2009全国计算机网络与通信学术会议论文集[C];2009年

10 杨舰;黄道平;李小亚;;GDCS任务调度的SPN模型研究[A];第二十六届中国控制会议论文集[C];2007年

中国重要报纸全文数据库 前1条

1 王波;Linux与服务器集群技术[N];中国计算机报;2002年

中国博士学位论文全文数据库 前10条

1 赵凡宇;航天器多目标观测任务调度与规划方法研究[D];北京理工大学;2015年

2 孙明明;云计算平台上任务调度算法的研究[D];中国科学技术大学;2015年

3 郭力争;云计算环境下资源部署与任务调度研究[D];东华大学;2015年

4 黄万伟;基于服务属性区分的可重构任务调度研究[D];解放军信息工程大学;2009年

5 瞿进;可重构系统软硬功能划分及任务调度技术研究[D];解放军信息工程大学;2011年

6 周双娥;实时分布容错系统的任务调度技术研究[D];哈尔滨工程大学;2003年

7 柴亚辉;基于FPGA的高性能计算架构硬件任务与资源模型研究[D];上海大学;2012年

8 金刚;云环境下任务调度关键问题研究[D];吉林大学;2015年

9 耿晓中;基于多核分布式环境下的任务调度关键技术研究[D];吉林大学;2013年

10 陈锡明;基于NOW的任务调度和负载平衡方法研究[D];电子科技大学;2000年

中国硕士学位论文全文数据库 前10条

1 张巧龙;云计算环境下任务调度问题的研究[D];江南大学;2015年

2 徐彬;云环境下基于动态融合遗传蚁群算法的DAG任务调度研究[D];南京信息工程大学;2015年

3 钟潇柔;基于动态遗传算法的云计算任务节能调度策略研究[D];哈尔滨工业大学;2015年

4 李婷;分布式爬虫任务调度与AJAX页面抓取研究[D];电子科技大学;2015年

5 赵彬;基于任务调度和动态资源调整的云计算节能机制及能效分析[D];广西大学;2015年

6 杨镜;基于人工免疫系统的云平台动态任务调度[D];电子科技大学;2014年

7 王一冰;基于ASP.NET的任务调度管理系统的设计与实现[D];电子科技大学;2013年

8 白晶晶;云环境下安全和可靠性驱动的工作流任务调度研究[D];新疆大学;2015年

9 吕信科;基于多核阵列的任务调度技术研究[D];电子科技大学;2015年

10 温宇昂;单阶段差异化多机可拆分任务调度优化方法[D];东北大学;2013年

，

本文编号：787998