济南水质检测数据可视化分析系统的设计与实现

发布时间：2023-06-15 19:31

　　随着物联网行业的爆发式发展,计算机技术已经在水务各个行业得到普遍的应用,目前已收集存储了大量的历史数据。然而,如何利用这些沉睡已久的数据进行有效的分析,以此为水务行业决策者在作出决策时提供参考依据,也为用户了解水质情况、参与监督工作提供平台等,这些问题成为目前智慧水务迈入大数据时代的重点。基于智慧水务的相关需求,济南市水质检测中心已着重推进济南水质检测数据分析等相关工作,二十多年来已经收集了海量的水质检测历史数据及单指标实时检测数据,将这些数据及时的存储、进行合理的数据ETL与有效的挖掘分析,以更加精细和动态的方式管理水务,为供水部门及水质监测中心提供及时有效的辅助决策建议,是本系统的工作重点。本文描述的系统是基于实际需求建立的一个集水质数据采集、数据ETL、多维检索、多维统计分析、水质评估、在线分析于一体的水质综合分析评估系统。对于水质检测的历年月报数据以及单指标在线实时检测数据进行梳理,划分出多个样品类别,并按照不同检测性质,对水质数据进行多方面的处理、查询与分析。在数据收集模块,一方面将关系型数据库中的数据传输到Hadoop集群的Hive仓库中,实现了用户指定关系型数据库手动采集...

【文章页数】：98 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 系统开发背景
    1.2 国内外研究现状
        1.2.1 国内外研究现状
        1.2.2 国内外技术发展现状和趋势
    1.3 本文的主要工作及技术改进点
    1.4 本文的组织结构
第2章 需求分析
    2.1 系统需求概述
    2.2 系统目标
    2.3 系统功能性需求
        2.3.1 数据采集与展示
        2.3.2 数据管理功能需求分析
        2.3.3 多维检索功能需求分析
        2.3.4 统计分析功能需求分析
        2.3.5 水质评估需求分析
        2.3.6 综合水质评价
        2.3.7 水质在线分析及预警
    2.4 系统非功能性需求
第3章 系统概要设计
    3.1 系统总体结构设计
    3.2 系统网络架构描述
    3.3 技术架构设计
    3.4 系统功能架构设计
    3.5 系统工作流程设计
    3.6 数据库设计
        3.6.1 数据库逻辑架构
        3.6.2 数据库表设计
第4章 系统详细设计
    4.1 数据导入功能的类结构设计
    4.2 数据多维检索设计
        4.2.1 JPA数据检索设计
        4.2.2 ES数据检索设计
    4.3 水质数据分析设计
        4.3.1 基本分析过程
        4.3.2 模型指数分析过程
    4.4 综合水质评价详细设计
        4.4.1 单因子评价法模型设计
        4.4.2 主成分分析法模型设计
        4.4.3 BP神经网络模型设计
    4.5 实时数据分析详细设计
    4.6 包结构设计
        4.6.1 服务端包结构设计
        4.6.2 前端项目设计
第5章 系统实现与测试
    5.1 系统开发环境的配置
        5.1.1 请求日志AOP切面处理
        5.1.2 异常封装切面处理
        5.1.3 跨域问题解决
        5.1.4 开发环境与线上环境的部署
    5.2 多指标检索实现
        5.2.1 数据导入Hive
        5.2.2 ES抽取数据
        5.2.3 数据管理
    5.3 统计分析实现
        5.3.1 基本统计分析
        5.3.2 水质评估分析
        5.3.3 水质评价模型实现
        5.3.4 分析结果可视化
    5.4 水质数据在线分析实现
    5.5 系统测试
        5.5.1 功能测试
        5.5.2 性能测试
第6章 总结与展望
    6.1 本文工作总结
    6.2 本文工作展望
参考文献
致谢
攻读学位期间参与科研项目情况
学位论文评阅及答辩情况表



本文编号：3833526