基于大数据技术的智慧水产养殖系统研究

发布时间：2020-10-11 06:05

　　 随着物联网技术的发展和普及,水产养殖数据储备正在迅速膨胀,这对于水产养殖行业是机遇也是挑战。现有的水产养殖信息化平台都提供了较完备的数据展示、检索服务,但是数据间相互独立忽略了数据间的关系和价值,未达到价值最大化。为了更好地发挥水产养殖数据资源的价值,并解决水产养殖信息化程度低、数据处理效率低、养殖影响因素关联关系获取难的问题,本文设计了以Hadoop分布式架构为基础的智慧水产养殖系统。系统对水产养殖大数据进行存储,并通过方案并行化分析数据,生成多要素关系模型、预测数据变化趋势,最终向养殖、科研人员提供水产养殖相关的信息化服务。本文结合现流行的Hadoop大数据框架,根据水产养殖生产过程及行业特征设计了水产养殖大数据平台四层体系架构;针对水产养殖环境复杂、难以获取各水体要素之间的关联关系的问题,在水产养殖要素分析预测上利用具有强的非线性映射能力的前馈误差反向传播学习(BP神经网络)算法作为数据分析方法,解决水产养殖要素间复杂非线性关系的分析问题,并以此为基础提出养殖要素分析模型;同时引入基于可分辨矩阵的Johnson属性约简算法对传统算法进行优化,在保证精度一定的情况下,提高网络收敛速度;然后利用MapReduce分布式编程模型对BP神经网络算法进行并行化设计,实现水产养殖大数据平台的海量数据处理需求;并实例分析养殖要素分析模型和并行化学习算法,分别以山东省对虾年产量预测和水产养殖水质分类评价为例,进行了详细设计和结果分析;最终整合大数据架构设计与数据分析方法,搭建了高效、高容错的海量水产养殖数据管理、挖掘、可视化智慧水产养殖大数据系统。本文在研发中使用了优秀的软件开发技术,针对水产养殖生产需求,设计并实现了集数据存储、数据管理、养殖要素分析评价于一体的智慧水产养殖系统。系统模块经过测试,可提供水产养殖信息管理、养殖多要素预测分析和高效的批量水质评价,对于海量水产养殖数据管理和数据分析挖掘具有一定价值。
【学位单位】：青岛科技大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：S951.2;TP311.13
【部分图文】：

图 2-1 Hadoop 生态系统组成图Figure 2-1 The Hadoop ecosystemHDFS 文件系统FS（Hadoop Distributed File System，Hadoop 分布式文件系统）出自 论文[33]，适合 PB 级海量数据集的处理与存储，HDFS 同时具有优部署在低成本通用系统上的分布式文件系统。HDFS 主要由 ode、DataNode 进行一系列操作完成大数据处理，如写入操作，Cl大文件分块并在 DataNode 上备份，NameNode 收到 Client 指令根据块地址，Client 根据地址推送数据到 DataNode，DataNode 间则依 DataNode 向 NameNode 发送响应 NameNode 关闭文件。可以看ter/Slave 架构，架构图如下图 2-2。ient：调用 HDFS API 操作文件，分别与 NameNode 和 DataNode 交据获取和数据读写操作。meNode ：NameNode 作为文件系统的“主管”平时工作就是内部集

图 2-2 HDFS 架构图Figure 2-2 HDFS architecture diagramNode：DataNode 的工作就是遵照 Client 或 NameNode 的指据，并通过定时发送自定义结构体向NameNode传递要存储的ndaryNameNode：由于 NameNode 中 EditLogs（事务日志）eNode 进行 EditLogs 合并会导致 NameNode 重启的时间过长NameNode 出现用来定时合并 Edit Logs 和 FsImage（镜像份。apReduce 并行编程计算框架educe 是针对海量数据分布式设计的编程模型。通过设计对分解方法，分为 Map 与 Reduce 两个阶段：Map 阶段主要对处理按需求进行分组，Reduce 则分别对对应分组里的数据进任务按需分割，以若干小任务形势解决并汇总结果，其架构图

图 2-2 HDFS 架构图Figure 2-2 HDFS architecture diagram：DataNode 的工作就是遵照 Client 或 NameNode 并通过定时发送自定义结构体向NameNode传递要存NameNode：由于 NameNode 中 EditLogs（事务日e 进行 EditLogs 合并会导致 NameNode 重启的时间eNode 出现用来定时合并 Edit Logs 和 FsImage（educe 并行编程计算框架ce 是针对海量数据分布式设计的编程模型。通过设方法，分为 Map 与 Reduce 两个阶段：Map 阶段主按需求进行分组，Reduce 则分别对对应分组里的数按需分割，以若干小任务形势解决并汇总结果，其架
【参考文献】

相关期刊论文 前10条

1 李海涛;茆毓琦;;基于启发式Johnson算法优化BP神经网络的水产养殖产量预测模型[J];渔业现代化;2017年06期

2 李道亮;杨昊;;农业物联网技术研究进展与发展趋势分析[J];农业机械学报;2018年01期

3 李海涛;王新安;丰艳;兰长杰;;智慧生态水产养殖系统[J];计算机系统应用;2017年10期

4 思雨;;渔业“十三五”发展规划发布 明确中国特色现代化发展道路[J];中国食品;2017年02期

5 王东雨;郑纪业;王迪;刘延忠;;我国水产大数据及应用技术研究初探[J];山东农业科学;2016年10期

6 肖乐;李明爽;李振龙;;我国“互联网+水产养殖”发展现状与路径研究[J];渔业现代化;2016年03期

7 赵丹;王晰巍;李嘉兴;张长亮;;国内外大数据工具学术论文比较研究——基于文献计量方法[J];情报科学;2016年06期

8 李道亮;;信息化支撑渔业现代化 产学研协作助推产业升级——中国渔业物联网与大数据产业创新联盟成立大会暨水产养殖信息化论坛侧记[J];中国科技产业;2016年04期

9 李道亮;;物联网支撑现代渔业 大数据助推产业升级[J];中国科技产业;2016年02期

10 ;促进大数据发展行动纲要[J];成组技术与生产现代化;2015年03期

相关博士学位论文 前1条

1 刘双印;基于计算智能的水产养殖水质预测预警方法研究[D];中国农业大学;2014年

相关硕士学位论文 前2条

1 王新安;基于云服务的智慧水产养殖平台的研究与实现[D];青岛科技大学;2017年

2 李华华;粗糙集理论研究及其在隧道病害预测中的应用[D];北京交通大学;2008年

本文编号：2836184