基于Web的Eole系统任务管理模块设计与实现

发布时间：2020-01-25 22:18

【摘要】：随着信息时代的到来,海量数据处理成为越来越多行业面临的挑战。云计算以庞大的集群作支撑,为用户提供类似超级计算机的计算能力,成为处理海量数据的关键手段。Hadoop以其高可靠性、高可扩展性等优点成为最热门的云平台之一。然而,对于数据分析人员和算法研究人员,维护与使用Hadoop平台的成本较高,需要花很多精力学习Hadoop的交互细节,而无法专注于自已的分析研究之中。针对以上问题,项目组基于Hadoop研发了一套面向数据分析人员和算法研究人员的海量数据处理与分析平台,称为Eole系统。Eole系统的目标是采用标准数据格式,为用户提供海量数据的存储与计算能力。本文基于Web设计实现了 Eole系统的任务管理模块。任务管理是Eole系统的核心功能之一。Hadoop本身由Yarn负责任务管理的功能,但存在一些不足之处。第一,鉴权机制存在缺陷,用户身份容易被仿冒。第二,主要靠命令行或API与用户交互,Web端功能较少。Eole系统任务管理模块负责MapReduce作业从创建到结束整个生命周期的管理,以 HDFS(Hadoop Distribute File System,Hadoop分布式文件系统)作为数据存储方式,MapReduce作为数据处理方式,并且使用Kerberos用于系统鉴权,保证用户作业与数据的安全。同时,该模块还为用户提供Web端的可视化操作界面。用户可以通过浏览器或者HTTP协议完成与系统的交互,使用方便。且HTTP这样一种目前最广泛使用的网络协议也将满足绝大部分应用场景。定时执行、合理资源分配、状态监控、丰富的结果信息展示等多种管理功能也将为用户的使用带来便利。该模块以MapReduce这一通用计算框架为计算基础,保证了通用性,通过Web端界面为用户提供友好的交互方式,可有效提高用户处理数据的效率。
【图文】：

系统架构,作业管理,资源管理系统,差等

ＭａｐＲｅｄｕｃｅ的资源管理与作业管理均由ＪｏｂＴｒａｃｋｅｒ负责，，造成ＪｏｂＴｒａｃｋｅｒ逡逑负载过大，且存在扩展性差等缺点。Ｈａｄ00Ｐ２．０对此做了重大改动，实现了邋Ｙａｍ逡逑资源管理系统。Ｙａｒｎ的系统架构如图２－１所示：逡逑媝逡逑图２－１邋Ｙａｍ系统架构图逡逑６逡逑

用例图,任务管理,用例图,模块

窖通用户逦Ａ列管／逡逑图３－１任务管理模块用例图逡逑由图３－１可知，管理员用户可以对所有作业与队列进行管理，并且能够新建逡逑队列。普通用户可以进行作业计算、作业管理、队列管理操作，但这些操作都受逡逑到相应权限控制。逡逑这种权限管理机制与Ｅｏｌｅ系统的用户管理体系是一致的。Ｅｏｌｅ系统作为一逡逑个开放的大数据分析平台，应用场景可能是一个公司的多个部门或者一个实验室逡逑的多个项目组，每个部门或项目组又会拥有许多项目，由此Ｅｏｌｅ系统中设定了逡逑一个“Ｐｒｏｊｅｃｔ”的概念，对应于现实世界中的一个项目或者一类相关工作的集合。逡逑每个Ｐｒｏｊｅｃｔ在Ｅｏｌｅ系统中拥有自己的存储空间和计算资源，不同的用户根据自逡逑己的权限设置参与到各个Ｐｒｏｊｅｃｔ中。每个Ｐｒｏｊｅｃｔ设置了一个Ｏｗｎｅｒ邋（类比于实逡逑际生活中的项目组长），多个Ｗｏｒｋｅｒ（类比于项目参与者）。Ｏｗｎｅｒ拥有这个Ｐｒｏｊｅｃｔ逡逑的全部权限，包括对文件的查看，作业的管理，以及添加删除Ｗｏｒｋｅｒ和对Ｗｏｒｋｅｒ逡逑权限的修改。Ｗｏｒｋｅｒ只拥有所设置的权限。Ｏｗｎｅｒ和Ｗｏｒｋｅｒ均只针对于某一个逡逑具体的Ｐｒｏｊｅｃｔ
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52;TP393.09

【参考文献】