大数据组件部署和管理平台的设计与实现

发布时间：2023-02-26 10:57

　　随着人类科技的进步以及信息技术的更新迭代,大数据已成为社会各行业信息技术发展的契机。但是大数据组件从安装到部署到使用的过程非常复杂,由此从业者们对一个功能完备,整合度高的大数据平台系统的需求非常强烈。但是开发一套功能齐全,界面友好性高的大数据平台系统也面临很多问题。比如一在整个大数据生态系统当中,组件复杂多样,即使专业人员从部署到测试完成也需要消耗大量精力。二是在大数据相关组件出现技术问题后,开发人员往往需要查看日志去解决问题。但大数据组件繁多,日志文件寻找困难。三是大数据组件往往需要实时的监控以及告警通知系统以避免处理不及时造成的大规模组件失灵等问题。四是为保证负载平衡往往需要对组件内部资源进行管理。五是市面的一些大数据平台如Ambari缺乏对大数据组件资源内部的管理,没有对日志的管理,界面而言不是很友好以及缺乏对非大数据组件的监控管理支持。针对这些问题,本文设计并实现了一套集大数据平台自动化部署与监控管理,日志告警以及资源管理一体化的系统。具体涉及大数据平台自动化部署模块,监控告警模块,日志管理模块,服务管理模块,资源管理模块五大模块。并分别实现了组件一键式部署,组件异常监控实时告...

【文章页数】：117 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 系统开发背景
    1.2 国内外研究现状
    1.3 本文的主要工作
    1.4 论文的组织结构
第2章 需求分析
    2.1 系统功能性需求
        2.1.1 平台部署模块需求分析
        2.1.2 平台管理模块需求分析
    2.2 系统非功能性需求
    2.3 本章小结
第3章 系统架构设计
    3.1 系统物理架构设计
    3.2 系统逻辑架构设计
    3.3 本章小结
第4章 系统详细设计
    4.1 平台管理和部署核心类设计
    4.2 平台部署及管理核心数据库设计
    4.3 平台部署详细模块设计
        4.3.1 主机管理模块设计
        4.3.2 平台管理模块设计
        4.3.3 大数据组件部署模块设计
    4.4 平台管理详细模块设计
        4.4.1 监控模块设计
        4.4.2 告警模块设计
        4.4.3 日志模块设计
        4.4.4 服务管理模块设计
        4.4.5 资源管理模块设计
    4.5 本章小结
第5章 系统实现与测试
    5.1 平台部署模块
        5.1.1 系统准备工作功能与实现
        5.1.2 系统用户管理功能与实现
        5.1.3 主机管理功能与实现
        5.1.4 平台管理功能与实现
        5.1.5 集群管理功能与实现
    5.2 平台管理模块
        5.2.1 监控功能与实现
        5.2.2 告警功能与实现
        5.2.3 日志功能与实现
        5.2.4 服务管理功能与实现
        5.2.5 资源管理功能与实现
    5.3 系统测试
    5.4 本章小结
第6章 总结与展望
    6.1 总结
    6.2 展望
参考文献
致谢
学位论文评阅及答辩情况表



本文编号：3750375