基于多数据源的水利数据获取及大数据服务

发布时间：2022-08-07 15:23

　　随着我国政府开放数据的逐步展开以及水资源共享机制和平台的不断完善,越来越多的水利数据公开在各地政府门户网站上,数据的大量累计使得对开放数据的获取与应用成为了新的热点。本文首先研究了开放数据的获取方祛,然后编写程序清洗上一步获得的数据,接着以获取并清洗后的东大桥测站水位数据为例,建立水位预测模型,作为下一步水情预警的核心模块之一,最后基于知识可视化综合集成平台,将大数据服务应用于防汛决策,设计和实现了防汛决策支持系统,具体工作如下:（1）对于政府网站上公开的水利数据,使用爬虫技术以及数据库技术。能够讯速获取具有较高时效性的近期数据,以及大量历史数据,相比于人工录入,以大大提高数据获取的效率。（2）通过对所获取数据进行重复值、错误值、异常值以及缺失值的清洗,可以得到里高质量的水情数据,间接提高了后面模型的预测精度,并且数据清洗程序具有较高的复用性,可以方便地应用于不同数拟集。（3）建立ARIMA水位预测模型,由模型的预测结果来看,预测水位和相差不大,预测效果较好,说明本模型适用于妫水河东大桥测站水位预测。（4）基于知识可视化综合集成平台,,将数据采集、数据清洗以及模型预测这一套大数据服务流... 

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
1 绪论
    1.1 研究目的及意义
    1.2 国内外研究现状
        1.2.1 关于数据开放与获取的研究
        1.2.2 数据清洗的研究
        1.2.3 大数据服务在水利行业中的应用
    1.3 研究的主要内容
    1.4 技术路线
2 水利数据获取研究
    2.1 数据源分析
    2.2 基于网络爬虫的数据获取
        2.2.1 爬虫结构与工作原理
        2.2.2 爬虫分类
        2.2.3 网络爬虫软件概述
    2.3 水利数据获取实例
        2.3.1 数据源
        2.3.2 数据获取
3 水利数据清洗方法研究及实现
    3.1 数据清洗的必要性
    3.2 数据清洗方法研究思路
    3.3 数据清洗方法的确立
        3.3.1 对重复值的清洗
        3.3.2 对错误值的清洗
        3.3.3 对异常值的清洗
        3.3.4 对缺失值的清洗
        3.3.5 小结
    3.4 数据清洗实例
        3.4.1 重复值的处理
        3.4.2 错误值的处理
        3.4.3 异常值的处理
        3.4.4 缺失值的处理
4 ARIMA水位预测模型建立及实例应用
    4.1 水位预测模型选择
    4.2 建立ARIMA模型的步骤
    4.3 建立ARIMA水位预测模型实例
        4.3.1 数据平稳性检验
        4.3.2 模型参数参数确定
        4.3.3 模型预测
5 防汛决策中的大数据服务
    5.1 水位预测系统设计
        5.1.1 系统功能结构
        5.1.2 关键技术支持
        5.1.3 核心模块设计
    5.2 系统核心模块的实现
        5.2.1 防汛决策基本信息整合
        5.2.2 水情预警及结果
        5.2.3 历史水情统计分析
6 结论与展望
    6.1 结论
    6.2 展望
致谢
参考文献
附录
    附录A 硕士研究生期间参与的科研项目
    附录B 硕士研究生期间取得的成果
    附录C 获奖情况



本文编号：3670563