基于分布式日志系统的数据云服务平台设计与实现

发布时间：2021-08-04 07:02

　　数据云服务平台是针对当前多系统应用中,由于各系统自行收集、存储日志数据而产生的数据格式多样、数据交换困难、存储资源浪费、数据统计分析流程复杂等一系列问题而提出的解决方案。论文以设计并实现数据云服务平台为目标,基于分布式日志系统,结合海量数据存储、数据同步、数据分析、数据监控等多个核心模块,提供一套完整的、稳定的、可扩展系统。该平台为不同应用系统提供统一的数据存取接口,将各个系统的异构数据按一定标准统一存储,通过高性能的计算集群和同步分发技术,将数据备份到各存储模块上,保障了数据的安全性与稳定性。同时,数据云服务平台在确保数据安全存取的前提下,将对数据做进一步的加工处理,通过平台底层提供的数据分析接口和自定义的数据模型,海量数据可根据不同的用户类型做不同的商业或科研用途。数据云服务平台目的在于提供有效地收集日志数据,统一地管理和分发数据,充分地挖掘数据潜在价值,在科研和商业领域都有很大的研究意义。 

【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校

【文章页数】：90 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题背景
    1.2 课题目标
    1.3 本文创新点
    1.4 本文组织结构
    1.5 本章小结
第2章 研究现状和相关技术
    2.1 日志系统的研究现状
        2.1.1 Scribe(Facebook)
        2.1.2 Chukwa(Apache)
        2.1.3 Flume(Cloudera)
        2.1.4 Kafka(LinkedIn)
        2.1.5 日志系统总结
    2.2 相关技术
        2.2.1 Zookeeper
        2.2.2 Hyperic HQ
    2.3 本章小结
第3章 数据云服务平台的总体设计
    3.1 总体需求
    3.2 平台总体架构
        3.2.1 分布式日志系统
        3.2.2 数据分析系统
        3.2.3 数据监控管理系统
    3.3 平台使用流程
        3.3.1 数据收集流程
        3.3.2 数据分析流程
    3.4 本章小结
第4章 基于消息机制的分布式日志系统设计与实现
    4.1 需求分析
    4.2 系统架构设计
    4.3 消息通信协议设计
        4.3.1 消息通信协议格式
    4.4 通信模块设计与实现
    4.5 数据存取模块设计与实现
        4.5.1 数据存储
        4.5.2 数据读取
    4.6 数据推送模块设计与实现
    4.7 数据消费模块设计与实现
    4.8 系统分布式特性设计与实现
        4.8.1 日志服务端(Broker)分布式实现简介
        4.8.2 日志消费者(Consumer)分布式实现简介
    4.9 性能测试及实验结果
        4.9.1 测试环境
        4.9.2 日志系统生产者(producer)发送日志数据的性能测试
        4.9.3 日志消费者(consumer)消费日志数据的性能测试
    4.10 本章小结
第5章 数据分析系统设计与实现
    5.1 数据分析系统总体设计
    5.2 数据分析系统运行流程
    5.3 数据分析系统的四个模块
        5.3.1 数据开放接口模块
        5.3.2 数据定制模块
        5.3.3 计算模块
        5.3.4 任务管理模块
    5.4 数据分析系统的应用
        5.4.1 数据分析用户
        5.4.2 内部数据用户
        5.4.3 数据产品
    5.5 本章小结
第6章 数据监控管理系统
    6.1 数据监控管理系统总体设计
    6.2 数据监控管理系统运行流程
    6.3 数据监控管理系统的两个模块
        6.3.1 监控告警模块
        6.3.2 数据可视化模块
    6.4 本章小结
第7章 数据云服务平台在遥感数据领域的应用展望
    7.1 遥感数据简介
    7.2 遥感数据云服务平台使用架构
    7.3 遥感数据产品展望
    7.4 本章小结
第8章 总结与展望
    8.1 工作总结
    8.2 下一步工作
参考文献
攻读硕士学位期间主要的研究成果
致谢



本文编号：3321248