基于Spring Boot的综合数据管理系统的设计与实现

发布时间：2020-11-12 09:04

　　 近年来随着企业业务的发展,企业数据膨胀迅速,管理、运营人员对企业数据的使用需求也更加复杂。面对业务部门的几百个数据库表、以T为单位的数据量,如何在ms级标准时间内算出各种时间、空间聚合维度下的上百项指标的离线、实时数据,是综合数据管理系统面对的难题。除了数据的查询、计算,管理和运营人员还希望对数据进行深入挖掘,以帮助业务发展平稳推进。本文设计了一套基于Spring Boot的离线与实时数据的综合管理系统以解决上述问题。系统基于Spring Boot框架,结合Protobuf的数据交互方式,实现了前后端、后端微服务间的数据交互,以管理模块架构和数据通信。系统还结合了CAS和数据系统的接口特性,实现了数据系统的服务间认证和日志管理架构,提高了安全性和可用性。系统中离线数据管理服务通过Crontab每日控制Sqoop、Hive、Hbase、HDFS等工具对离线数据进行预处理,利用Kylin对预处理后的数据进行预计算和预聚合,以应对复杂的、高并发的离线数据使用需求。在线数据管理服务使用基于定时器的Mysql任务管理,通过每分钟的预计算来实现数据预处理,实现ms级别的数据查询响应。系统还使用了机器学习的时间序列算法对数据进行分析,利用Holt-winters算法,结合数据实际特征,实现了基于本系统核心数据的时间序列预测。本系统开发完成后,已经应用到了顺丰科技同城业务的udata数据统计和丰声APP中。本系统的应用解决了企业大数据环境下,数据系统无法快速响应复杂离线、实时数据查询的瓶颈问题,为企业的运营状况分析和变化趋势监控提供了关键信息,在企业长期的成长和发展过程中提供了可靠助力。
【学位单位】：大连理工大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP311.52
【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
    1.3 论文主要工作
    1.4 论文组织结构
2 相关算法和技术
    2.1 Spring Boot框架和Protobuf协议
    2.2 基于Hadoop的数据处理和存储
    2.3 基于Holt-Winters的预测器和监控器
    2.4 基于Fast Cubing算法的数据预计算
    2.5 基于CAS的SSO过程
3 系统需求分析
    3.1 总体需求分析
    3.2 功能性需求
        3.2.1 离线数据管理
        3.2.2 实时数据管理
        3.2.3 KPI管理
        3.2.4 认证和日志管理
    3.3 非功能性需求
4 系统设计
    4.1 总体设计
        4.1.1 微服务架构设计
        4.1.2 离线数据处理流程设计
        4.1.3 实时数据处理流程设计
    4.2 数据管理设计
        4.2.1 Hive表设计
        4.2.2 Kylin的Cube设计
        4.2.3 MySQL表设计
    4.3 系统功能模块设计
        4.3.1 离线数据管理模块
        4.3.2 实时数据管理模块
        4.3.3 KPI管理模块
        4.3.4 认证和日志管理模块
5 系统实现
    5.1 离线数据管理模块
        5.1.1 业务概览子模块
        5.1.2 经营主题子模块
        5.1.3 客户主题子模块
    5.2 实时数据管理模块
        5.2.1 监控概览子模块
        5.2.2 实时趋势图子模块
        5.2.3 预测和报警器子模块
    5.3 KPI管理模块
        5.3.1 KPI展示
        5.3.2 KPI批量上传
        5.3.3 KPI修改
        5.3.4 KPI下载
    5.4 认证和日志管理模块
        5.4.1 用户单点登录认证
        5.4.2 KPI日志
        5.4.3 数据日志
6 系统测试
    6.1 测试理论
    6.2 系统典型模块功能测试
        6.2.1 离线数据管理模块
        6.2.2 实时数据管理模块
        6.2.3 KPI管理模块
        6.2.4 认证和日志管理模块
    6.3 性能测试
结论
参考文献
致谢

【参考文献】

相关期刊论文 前9条

1 聂晓旭;于凤芹;钦道理;;基于Protobuf的数据传输协议[J];计算机系统应用;2015年08期

2 李学龙;龚海刚;;大数据系统综述[J];中国科学:信息科学;2015年01期

3 程学旗;靳小龙;王元卓;郭嘉丰;张铁赢;李国杰;;大数据系统和分析技术综述[J];软件学报;2014年09期

4 陶雪娇;胡晓峰;刘洋;;大数据研究综述[J];系统仿真学报;2013年S1期

5 田雅轩;;面向提高医院软件质量的测试过程管理[J];中国医药导刊;2013年07期

6 李建佳;王晶;;基于JA-SIG CAS统一认证平台(SSO)的设计与实现[J];广东海洋大学学报;2013年03期

7 陶静;;计算机软件测试技术的浅析[J];通讯世界;2013年09期

8 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期

9 刘勇生;;基于闲置资源利用的无线分布式审计模型设计[J];制造业自动化;2010年06期

相关硕士学位论文 前1条

1 李苏璇;基于微服务架构的SaaS应用构建方法研究[D];华南理工大学;2016年

本文编号：2880552