面向农业物联网的异构数据存储方法研究

发布时间：2017-09-17 22:02

  本文关键词：面向农业物联网的异构数据存储方法研究

  更多相关文章： 农业物联网 异构数据 统一存储 数据模型 数据存储

【摘要】：随着农业物联网应用的不断推广,其系统的规模也不断扩展,对数据存储系统的要求也越来越高。首先,随着人们对农业物联网技术要求的提高,更多的农业生产对象将接入到物联网系统,农业物联网的数据规模不断增大,越来越需要分布式集群来存储日益增多的海量数据;其次,由于农业物联网接入的传感器类型繁多,采集的数据种类也越来越多并不断变化,不仅有各种数值类型结构化数据,也包含了大量文档数据、图像、以及视频等非结构化数据,这导致农业物联网的部分数据越来越多地出现非结构趋势。这种非结构化数据与结构化数据并存的现象对农业物联网的存储系统提出了更高的要求。为了解决农业物联网海量化和异构化数据高效读写的问题,本文开展了如下工作:(1)针对农业物联网不同类别、不同数据块大小等等数据特征,分别在关系型和非关系型底层存储系统上进行检索和写入效率的实验,并分析对比,探究了底层存储模型和数据特征之间的内在联系,得出结论关系模型更适宜存储结构化、小数据块数据,非关系型根据其模型的不同分别适合存储不同的非结构化数据。(2)根据(1)的实验结论建立基于数据特征的统一存储模型,指出统一存储模型的数据规范和数据交换应遵循的要点,将一切类型的数据视为具有统一格式的数据对象,并根据一定的规则与底层存储系统进行信息交换。(3)基于统一数据模型建立了异构数据统一存储平台HDIP。通过建立异构数据统一存储平台,解决了用户海量数据的高效存储问题,统一的操作接口简化了用户的数据模型,建立了统一的数据结构,实现了用户数据的统一存储与检索;通过元数据映射机制,解决了统一数据对象和底层存储系统之间的映射;通过类型的映射解决异构数据存储模型之间的类型匹配。(4)本文基于HDIP架构设计,采用MongoDB、MySQL、Hbase作为底层数据存储系统,构建了面向农业物联网应用系统原型--小麦农情监测数据存储系统原型。本文通过建立统一数据模型,为异构数据存储提供了解决方案;通过构建面向农业物联网的应用系统原型,验证异构数据统一存储平台的实用性和有效性,对未来面向农业物联网异构数据存储解决方案提供参考。
【关键词】：农业物联网 异构数据 统一存储 数据模型 数据存储
【学位授予单位】：河南农业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.44;TN929.5;S126
【目录】：

• 致谢4-7
• 摘要7-8
• 1.文献综述8-13
• 1.1 农业物联网发展概述8-9
• 1.2 农业物联网中的数据存储技术概述9-10
• 1.3 数据存储技术的发展现状10-11
• 1.3.1 结构化数据存储方法10
• 1.3.2 非结构化数据存储技术10-11
• 1.4 异构数据集成发展现状11-13
• 1.4.1 国内研究现状11-12
• 1.4.2 国外研究现状12-13
• 2.引言13-15
• 3.农业物联网异构数据特点及存储效率分析15-26
• 3.1 农业物联网的数据特点分析15-16
• 3.1.1 农业物联网数据的海量化15-16
• 3.1.2 农业物联网数据异构化16
• 3.2 异构条件下存储效率分析16-24
• 3.2.1 实验环境17-18
• 3.2.2 数据类别特征18-23
• 3.2.3 数据块大小特征23-24
• 3.3 小结24-26
• 4.UDM模型设计26-31
• 4.1 统一数据对象26-27
• 4.2 统一数据类型27-29
• 4.3 映射规则29-30
• 4.4 小结30-31
• 5.HDIP平台设计31-45
• 5.1 架构设计31-33
• 5.1.1 物理架构31-32
• 5.1.2 逻辑架构32-33
• 5.2 元数据模型的设计33-42
• 5.2.1 元数据概念33-35
• 5.2.2 元数据逻辑架构35-37
• 5.2.3 基于元数据的UDO数据流37-38
• 5.2.4 基于元数据的UDO事务38-39
• 5.2.5 基于元数据的两级映射39-42
• 5.3 统一数据存储42
• 5.4 统一数据检索42-44
• 5.5 小结44-45
• 6. HDIP与小麦农情监测数据存储系统原型实现45-53
• 6.1 HDIP平台核心对象45-49
• 6.1.1 统一接口设计46-47
• 6.1.2 HDIP服务与交互界面47-49
• 6.2 小麦农情监测数据存储系统原型49-52
• 6.2.1 基于HDIP的总体架构49-50
• 6.2.2 基于HDIP的数据结构50-51
• 6.2.3 大田环境监测物联网系统原型51-52
• 6.3 小结52-53
• 7.总结与展望53-54
• 参考文献54-57
• ABSTRACT57

【相似文献】

中国期刊全文数据库 前10条

1 马兴;王巍;韩洁;袁顺全;李鹏;庞纯伟;张靖康;王海豹;;以物联网技术加快实现农业现代化[J];山西农业科学;2011年04期

2 胡平霞;;物联网及其应用探索[J];湖南环境生物职业技术学院学报;2011年02期

3 司凯;臧亮;;物联网在农业中的应用研究[J];农村经济与科技;2011年08期

4 梁恒;陈强;;我国农村物联网应用与发展对策研究[J];现代商贸工业;2013年10期

5 李春勇;;物联网及其在林业中的应用[J];北京农业;2013年18期

6 张文娟;;农业物联网 看上去很美[J];中国农村科技;2013年10期

7 韩华威;;朗坤物联网 智慧农业“布道者”[J];中国农村科技;2013年10期

8 黄盛杰;金芳;;农业物联网技术的发展和应用[J];江苏农机化;2013年05期

9 ;天津:物联网应用在温室领域“开花结果”[J];蔬菜;2013年11期

10 陈艺;;农业物联网技术应用探讨[J];农业与技术;2013年08期

中国重要会议论文全文数据库 前10条

1 柯欣;;物联网的智慧从何而来[A];两化融合与物联网发展学术研讨会论文集[C];2010年

2 李晨熙;;物联网的发展状况与趋势[A];两化融合与物联网发展学术研讨会论文集[C];2010年

3 朱顺强;;中国物联网发展状况分析[A];中国通信学会2010年光缆电缆学术年会论文集[C];2010年

4 李文增;李拉;;对我国物联网产业进一步加快发展的对策研究[A];2010年度京津冀区域协作论坛论文集[C];2010年

5 曾跃;罗斌;周东晓;;关注物联网发展:冷静分析,务实前行[A];两化融合与物联网发展学术研讨会论文集[C];2010年

6 张金鑫;魏峻旭;;我国物联网发展现状研究[A];两化融合与物联网发展学术研讨会论文集[C];2010年

7 肖良颜;余翔宇;;广东省物联网建设和发展的思考[A];广东通信2010青年论坛优秀论文集[C];2010年

8 曹玉旺;张炎明;;浅析物联网下智慧城市的发展策略[A];融合与创新——中国通信学会通信管理委员会第29次学术研讨会论文集[C];2011年

9 陈卫国;;超级物联网:中国物联网发展第三条道路[A];新观点新学说学术沙龙文集47：物联网产业与区域经济发展[C];2010年

10 王继祥;;避免浮躁气息,求同存异推进物联网应用[A];新观点新学说学术沙龙文集47：物联网产业与区域经济发展[C];2010年

中国重要报纸全文数据库 前10条

1 本报记者 张煜;物联网：下一个经济增长点？[N];中国电子报;2009年

2 本报记者 魏刚;物联网：地球的神经元[N];北京科技报;2009年

3 本报通讯员 张前　本报记者 陈晓春;神奇物联网,大步走近我们的生活[N];新华日报;2009年

4 蔡玉高　刘巍巍;我国科研机构加紧研发物联网技术[N];人民邮电;2009年

5 记者 付秋实;物联网,危机催生的新技术[N];金融时报;2009年

6 朱小兵;物联网不可一阵风[N];计算机世界;2009年

7 本报记者 谷慧;物联网掘金潮:前夜突围[N];中国经营报;2009年

8 本报记者 张丽娅　陈薇亦 实习生 方卿;“物联网”生活令人憧憬[N];江苏经济报;2009年

9 工业和信息化部 通信科技委委员 侯自强;物联网仅仅才开始[N];计算机世界;2009年

10 本报记者 余建斌　整理 刘先云;物联网,智能改变生活[N];人民日报;2009年

中国博士学位论文全文数据库 前10条

1 董新平;物联网产业成长研究[D];华中师范大学;2012年

2 苏美文;物联网产业发展的理论分析与对策研究[D];吉林大学;2015年

3 邓雪峰;设施农业物联网系统建模与模型验证[D];中国农业大学;2016年

4 王峰;物联网数据处理若干关键问题研究[D];吉林大学;2016年

5 原旭;面向精细化种植的物联网数据处理方法研究[D];大连理工大学;2016年

6 喻涛;物联网感知终端及数据管理关键技术研究[D];武汉大学;2015年

7 杜克明;小麦生长监测物联网关键技术研究[D];中国农业科学院;2015年

8 方昶;物联网环境下混合生产系统中三种新的生产计划模型及求解算法研究[D];合肥工业大学;2016年

9 杨建栋;面向城市生命线管理的物联网关键技术研究与应用[D];北京工业大学;2016年

10 丛林;基于技术、应用、市场三个层面的我国物联网产业发展研究[D];辽宁大学;2016年

中国硕士学位论文全文数据库 前10条

1 关勇;物联网行业发展分析[D];北京邮电大学;2010年

2 刘鹏程;物联网标准体系构建研究[D];北京交通大学;2011年

3 黄迪;物联网的应用和发展研究[D];北京邮电大学;2011年

4 曹自立;物联网产业发展的驱动因素研究[D];南京邮电大学;2012年

5 周桄召;我国物联网产业布局及对策研究[D];南京邮电大学;2012年

6 覃敏杰;物联网产业发展影响研究[D];北京邮电大学;2012年

7 程钰杰;我国物联网产业发展研究[D];安徽大学;2012年

8 唐力;物联网伦理问题探究[D];太原科技大学;2012年

9 宁金芳;从虚拟到实在：对物联网的哲学探究[D];中南大学;2012年

10 周洁;物联网环境下我国政府公共服务的研究[D];西南交通大学;2012年

，

本文编号：871602