中小河流健康诊断大数据平台的设计与应用

发布时间：2021-09-04 23:29

　　为解决传统数据管理平台难以快速、全面地对河流系统进行管理决策的问题,应用大数据技术构建河流大数据平台具有重要意义。从河流大数据的概念、河流大数据平台的架构以及河流大数据平台的实现3个方面对河流大数据平台进行了探讨,提出了构建以Hadoop为基础架构,以信息集成模型、河流健康诊断模型、河流风险预警模型、决策支持模型为驱动,以河流大数据为支撑的河流大数据决策支持平台,实现河流健康的诊断与风险预警,为河长制中河流系统的信息化高效管理提供新的思路。 

【文章来源】：人民黄河. 2020,42(07)北大核心

【文章页数】：5 页

【部分图文】：

平台总体架构

中小河流健康诊断与预警大数据平台主要包括河流数据管理、模型库管理、河流健康诊断、河流风险预警、决策支持管理和个人信息管理等6个功能模块,功能结构见图2。3 平台关键层设计方法

河流大数据从存储方式上可以分为结构化存储、非结构化存储与元数据存储。结构化数据,即可以用二维表结构来逻辑表达和实现的数据,包括河流系统水质、土壤、气候等各类指标,严格遵循数据格式与长度规范存储于分布式文件系统(HDFS)中;难以用二维表结构表达和实现的非结构化数据,包括各种格式的文本、图像、视频、音频等,转化为字节数组字符串以及Base64编码,存储于面向列的非关系型数据库(Hbase)中;河流大数据通过加工与集成构成面向河流系统的数据仓库,基于不同用户的不同功能需求,形成服务于固定需求的多个数据集市。所有数据的名称、存储位置、提取转换加载(ETL)过程等共同构成了河流大数据平台的元数据库(Metadata Base),元数据库将数据编写成网络服务描述语言(WSDL)与外界客户端数据交换互通。河流大数据存储结构见图3。3.1.2 大数据的筛选与清洗

【参考文献】：
期刊论文
[1]水利工程灌浆大数据平台设计与实现[J]. 饶小康.  长江科学院院报. 2019(06)
[2]基于云模型和风险矩阵的自然灾害风险评价[J]. 洪成,王桂生,周家贵,徐艳.  人民黄河. 2019(06)
[3]基于新一代大数据处理引擎Flink的“智慧滁河”系统[J]. 叶枫,张鹏,夏润亮,顾和生,陈勇.  水资源保护. 2019(02)
[4]山丘区中小河流滩地时空演化与扰动因子分析[J]. 王金平,夏继红,汪颖俊,窦传彬,周之悦,叶继兵,刘瀚.  中国农村水利水电. 2018(12)
[5]基于任务合并的并行大数据清洗过程优化[J]. 杨东华,李宁宁,王宏志,李建中,高宏.  计算机学报. 2016(01)
[6]大数据管理:概念、技术与挑战[J]. 孟小峰,慈祥.  计算机研究与发展. 2013(01)
[7]河流健康诊断系统的设计与应用[J]. 林俊强,夏继红,韩玉玲,胡玲,罗帷,蒲前超.  河海大学学报(自然科学版). 2009(06)

博士论文
[1]基于大数据决策支持的城市健康水系统平台构建及应用[D]. 李家杰.重庆大学 2016



本文编号：3384211