基于大数据技术的粮仓智能通风策略研究

发布时间：2020-10-14 07:58

　　 粮食是人们赖以生存的基础物资,是每一个国家都在储备的战略资源因为它关乎社会的和谐稳定。粮食仓储安全是粮食安全的重要一环,而粮仓通风又是粮食仓储安全中总要的一环,智能通风是保证储粮安全的一项有力措施。面对复杂的粮情信息,为了避免无效通风甚至有害通风,许多智能通风策略模型被专家们研究出来。本文的首要目标是在前人研究的基础之上结合粮情信息前后有所关联的事实情况寻找一个更切合实际而且准确度更高的智能通风策略模型,本文通过激活函数改进得到S-P-LSTM智能通风策略模型并验证了其有效性。另外以往的粮情数据采集频率过低,得到的训练数据集和测试数据集过小,使得训练出来的模型不够精确直接影响了通风策略模型的准确率。究其原因是因为粮情的大量数据无法用单机全部存储,单机处理数据也只能抽样处理。本文提出一套基于粮情大数据的架构系统,设计了一套完善的粮情数据处理系统,解决海量存储问题,并且重点研究数据清洗流程以及系统整体性能的提升。整个系统流程包含数据采集、数据清洗、数据处理以及数据可视化四个步骤。最后借助该粮情大数据系统来提升S-P-LSTM模型的准确度及效率。主要研究内容如下:(1)分析了当前智能通风系统的不足,系统研究了大数据技术的知识体系,例如Hadoop、HDFS、MapReduce、Hive、Spark等关键技术。并设计出一套基于粮情大数据的架构系统,利用该系统来提升粮仓智能通风决策的准确率。本文具体实现了该系统并且从运行时间、加速比等指标衡量了该模型,证明了其可行性以及优越性。(2)研究了BP神经网络的理论基础以及LSTM神经网络的基础理论,对BP算法做了简要推演并对BPTT算法以及LSTM神经网络算法做出了详尽推导。(3)针对以往粮仓智能通风决策模型的不足,本文提出一种基于改进后的激活函数S-P-ReLU的智能通决策模型S-P-LSTM。然后用MATLAB对该模型进行模拟并对模拟结果进行了分析,发现该模型能很好的解决粮仓智能通风决策问题,最后通过部署到粮情大数据系统平台上验证了该系统的优越性。
【学位单位】：河南工业大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：S379;TP311.13
【部分图文】：

MR 框架由两个节点组成，ResourceManage（rHadoop1.x 版本之前称之为 JobTrackeadoop2.x 版本引入了 Yarn 后，Jobtracker 就被替换成了 ResourceManager）是任务调，管理多个 NodeManager（Hadoop1.x 版本之前称之为 TaskTracker），NodeManag任务执行者[19]。. MR 执行 job 任务流程

它的出现是为了解决分布式数据集合分片后的数据结构。这务器的内存当中，目的就是为了解决诸如 MapReduce 和 Hive 等计算它是 Spark 提供的一个特殊集合类[31]。普通的集合数据作为一个整体进行了分区 Partition 处理，这样做的目的就是为了分布式。如：传统 L体，RDD 可能就是 RDD(1,2) (3,4)。这样如需计算时，就把 1 和 2 发把 3 和 4 发送给另一个 worker，按分区完成数据的分发[32]。 主要分为三部分组成：数据分片、计算函数、RDD 依赖（lineage 血 RDD 有了生命，可以进行向前的追溯，当某个节点计算错误时，只新计算相关的操作而不必回滚整个程序，这点对懒执行和容错特别来源的数据 都可以经过转换变为 RDD 再由 Spark 进行处理 RDD 弹 Spark 处理数据的基本和统一的数据结构，将大量的数据切分为若干统一的方式和格式下被 Spark 处理[34]。向无环图

21DataNode1 DataNode2 DataNode3 DataNode42 基于大数据的粮仓智能通风系统架构图分布式结构，本节对 Hadoop 如何做到集群高可用 NameNodes 通过一组名为 JournalNodes 的独立进程动 NameNode 的名称空间进行任何更改时，将会通用状态的 NameNodes 有能力在 JNs 中读取更改信
【相似文献】

相关期刊论文 前10条

1 杨卫东;李文浩;尚磊;;低功耗粮情测控物联网模型研究[J];粮食储藏;2017年01期

2 付鹏程;赵小军;李晓亮;姜祖新;曹志帅;;粮情分析系统开发及应用实践(一)[J];粮食储藏;2017年04期

3 曹志帅;姜祖新;赵小军;蒋雪梅;吴军里;马中萍;高克勤;张震;黄勇;宋志刚;;粮情分析系统开发及应用实践(二)[J];粮食储藏;2017年05期

4 王树田;;粮情检查[J];中国粮食经济;2013年06期

5 王立根;王贵甫;;粮情测控技术及其发展[J];计算机应用与软件;2010年05期

6 甄彤;陈乔;;粮情智能决策支持系统研究与设计[J];微计算机信息;2008年30期

7 江燮云;;粮情检查的内容与程序[J];粮油仓储科技通讯;2006年03期

8 可铁;储粮测控及粮情分析系统[J];河南科技;2000年07期

9 陈邦浩;;应用微机新技术 促进粮情检测管理现代化[J];粮油仓储科技通讯;1987年02期

10 ;粮库粮食温度微机自动检测及粮情管理[J];军民两用技术与产品;1989年03期

相关博士学位论文 前2条

1 周慧玲;多功能粮情智能监测和控制系统平台的研究[D];北京邮电大学;2010年

2 张锋辉;无线传感器网络粮情监测组网研究[D];北京邮电大学;2010年

相关硕士学位论文 前10条

1 胡庆贺;粮情检测系统中数据获取与分析预测方法的研究与实现[D];安徽大学;2018年

2 程雯婷;高并发粮情测控系统Web服务端的设计与实现[D];安徽大学;2018年

3 胡荣辉;基于大数据技术的粮仓智能通风策略研究[D];河南工业大学;2018年

4 徐柏森;仓储粮情监测物联网组网研究[D];河南工业大学;2012年

5 王犇;基于移动终端的粮情监测信息可视化研究与实现[D];河南工业大学;2014年

6 钟志杰;基于“云外包”模式的粮情测控系统设计与实现[D];安徽大学;2014年

7 张驰;基于无线传感网络的粮情在线监测系统关键技术研究与实现[D];北京邮电大学;2012年

8 崔德权;粮情测控系统的研究与设计[D];西安工业大学;2012年

9 何强;数字化粮情监控系统方案设计与研究[D];甘肃农业大学;2007年

10 王刚;基于RS-485总线和GPRS网络的粮情测控系统[D];延边大学;2014年

本文编号：2840400