通用小规模Web集群作业系统的设计与实现

发布时间：2017-07-03 20:05

  本文关键词：通用小规模Web集群作业系统的设计与实现

  更多相关文章： 集群 集群管理 作业调度 任务模板 Web应用 Django

【摘要】：近年来随着信息技术的快速发展,其在科学计算中所发挥的作用与日俱增。高性能计算逐渐成为理论分析与科学实验的得力助手和有效工具,大型工作站、服务器、集群技术等被广泛运用其中。集群技术凭借计算方面的高性价比优势,得到广泛认可。然而在研究工作中存在诸多小规模的高性能科学计算的需求,其任务逻辑相对简单但同时要求较高计算资源,且仿真频次高类型多,通常还存在多人协作的问题,常规的集群高性能方案不能很好地满足其场景。针对这类场景,兼顾高性能与高扩展低成本等需求,一个轻量的集群作业管理系统成为必要。为了满足集群系统在小规模高性能作业上的应用需求,本文设计并实现一个基于Web的轻量通用型集群作业管理系统。本文首先对科研工作中普遍存在的小规模高性能仿真进行了详尽的场景分析、需求分析,总结出包括任务作业的管理、集群状态监控、用户管理等核心功能。然后,本文从物理部署、分层逻辑、运行流程三方面介绍了总体架构方案,分析总计系统架构中的关键点。提出任务模板理念,通过模板复用达到多任务类型的快速扩展支持,大大减少了重复性复杂操作,保证了良好的扩展性。介绍了系统数据存储与消息协议、任务调度、通信中间件、Web服务等模块的具体设计方案,并通过图表以及关键代码等方式,对核心模块的实现逐一介绍,展示了用户前端的实现效果。最后,在真实部署的软硬件环境下进行相关测试,测试表明系统运行正常,满足预期功能需求,具有良好的界面交互。本文通用Web集群作业管理系统为众多小规模科研场景下的高性能科学计算需求提供了轻量级低成本方案。支持快速新增任务类型,合理的任务调度与管理,使得多机集群最大程度发挥计算能力。灵活的Web框架增强了易用性,同时对于功能维护与扩展也提供了更好的支持,在辅助理论分析与科学实验的科学计算中具有广泛的应用场景。
【关键词】：集群 集群管理 作业调度 任务模板 Web应用 Django
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.52;TP393.09
【目录】：

• 摘要5-6
• ABSTRACT6-11
• 符号对照表11-12
• 缩略语对照表12-15
• 第一章 绪论15-19
• 1.1 选题背景15-16
• 1.2 相关领域研究现状16-18
• 1.2.1 集群系统发展状况16-17
• 1.2.2 存在的问题17-18
• 1.3 论文组织结构18-19
• 第二章 相关理论与技术19-27
• 2.1 Django Web开发框架19-22
• 2.1.1 核心组件19-21
• 2.1.2 请求处理流程21-22
• 2.1.3 URL Dispatching机制22
• 2.2 服务器推送与WebSocket22-24
• 2.3 MySQL数据库24-25
• 2.4 本章小结25-27
• 第三章 平台需求分析与总体架构设计27-45
• 3.1 集群任务系统的总体需求分析27-29
• 3.1.0 功能需求27-28
• 3.1.1 非功能性需求28-29
• 3.1.2 系统环境约束29
• 3.2 系统架构设计29-34
• 3.2.1 系统部署结构29-31
• 3.2.2 分层架构31-32
• 3.2.3 运行逻辑架构32-34
• 3.3 架构设计实现的重难点分析34-35
• 3.4 关键模块设计35-44
• 3.4.1 任务模板概念设计35-37
• 3.4.2 数据库与文件存储设计37-42
• 3.4.3 通信中间件的设计42-43
• 3.4.4 Web服务设计43-44
• 3.5 本章小结44-45
• 第四章 系统模块详细设计与实现45-59
• 4.1 通信中间件的详细设计与实现45-46
• 4.2 中心服务器的任务管理调度46-47
• 4.3 仿真节点的状态监控47-48
• 4.4 Web服务模块的设计与实现48-57
• 4.4.1 Django应用结构48-52
• 4.4.2 WebSocket消息推送52-53
• 4.4.3 Web前端53-57
• 4.5 本章小结57-59
• 第五章 集群系统部署与软件测试59-65
• 5.1 系统软硬件环境59-60
• 5.2 部署流程60-61
• 5.3 软件测试61-63
• 5.3.1 功能测试61-63
• 5.3.2 测试结果分析63
• 5.4 本章小结63-65
• 第六章 工作总结与展望65-67
• 6.1 论文工作总结65
• 6.2 问题与展望65-67
• 参考文献67-69
• 致谢69-71
• 作者简介71-72

【相似文献】

中国期刊全文数据库 前10条

1 林有妹;张军华;李冬玲;;试析区域图书馆信息集群管理模式[J];郑州牧业工程高等专科学校学报;2009年03期

2 吴志国;;探讨如何实现信息资源共建共享集群管理[J];信息与电脑(理论版);2012年03期

3 刘小斌;;图书馆集群管理模式下开展节能减排行动的探索与思考——以东莞图书馆总分馆为例[J];图书馆论坛;2013年03期

4 陈蓉素;;多媒体教室集群管理研究[J];宁波工程学院学报;2006年04期

5 赖辉荣;;集群管理:海西信息资源共享平台构筑的有效途径[J];厦门理工学院学报;2009年03期

6 廖斌杰;蒋玉明;刘铁;;基于任务并发机制的中心化集群管理系统[J];计算机应用与软件;2013年05期

7 白欣,宋博,左继章,向建军;单一系统映象集群管理系统的研究与实现[J];计算机工程与应用;2003年29期

8 李东来;;图书馆集群及其管理研究[J];图书馆论坛;2009年06期

9 杨冬菊,胡正国;单一系统映象在集群管理系统中的实现[J];西北工业大学学报;2002年02期

10 肖焕忠;;区域图书馆集群管理利弊谈[J];图书与情报;2007年03期

中国重要报纸全文数据库 前10条

1 熊文新;异彩纷呈的集群管理软件[N];中国计算机报;2002年

2 ;Cisco Catalyst 2950内置集群管理套件[N];中国计算机报;2002年

3 本报记者 郭涛;HP 集群管理降低系统维护成本[N];中国计算机报;2009年

4 刘琼;观念比技术更有价值[N];人民日报;2008年

5 本报记者 郭平;lsilon简化集群管理[N];计算机世界;2010年

6 ;即插即用 即插即管[N];中国计算机报;2003年

7 赵蕊;合适的才是最好的[N];计算机世界;2006年

8 ;IBM　Linux集群解决方案[N];中国计算机报;2003年

9 本报记者 江波;“活着”的传奇[N];网络世界;2002年

10 陈冬存;探索小商品市场集群管理服务新机制[N];人民公安报;2013年

中国硕士学位论文全文数据库 前10条

1 尹涛;Hadoop集群管理系统的设计与实现[D];南京大学;2014年

2 姚成灶;通用小规模Web集群作业系统的设计与实现[D];西安电子科技大学;2015年

3 李文韵;基于分布式协调服务的集群管理的设计与实现[D];北京邮电大学;2014年

4 向文;集群管理系统的研究与设计[D];辽宁师范大学;2008年

5 刘应华;一种新的以太网交换机集群管理方案[D];西安电子科技大学;2005年

6 吕睿;有线无线一体化网络中集群管理软件的设计与实现[D];西安电子科技大学;2011年

7 安喜锋;高性能计算集群管理系统与作业调度技术研究与实现[D];西北工业大学;2005年

8 孙健;以太网交换机集群管理技术的研究与实现[D];西南交通大学;2005年

9 戴静;一种集群管理技术在以太网接入设备中的研究与实现[D];电子科技大学;2005年

10 吴昌龙;Webjoin集群管理平台的设计与实现[D];北京邮电大学;2014年

  本文关键词：通用小规模Web集群作业系统的设计与实现

  更多相关文章： 集群 集群管理 作业调度 任务模板 Web应用 Django

，

本文编号：514991