大数据环境下农业数字资源存储与分析技术研究

发布时间：2017-11-14 09:12

  本文关键词：大数据环境下农业数字资源存储与分析技术研究

  更多相关文章： 大数据 Hbase Spark 数据存储与应用

【摘要】：随着互联网技术的广泛普及与飞速发展,整个社会各种类型的数据总量飞速增长,我们正在步入大数据时代。在大数据时代数字图书馆面临着两个关键性问题:海量数字资源的高速检索和数字资源的深度挖掘与分析。传统的基于关系型数据库的技术体系在面对海量数据的检索和应用在性能上要面临着很大的挑战,所以为了更好地整合存储各类数字资源,提高海量数字资源的应用水平,提供专业化水平更高知识服务,数字图书馆应创新技术体系,适时引入大数据技术以此作为工作的新入口。本文以国家农业图书馆馆藏数据资源为对象,分析了国家农业图书馆现有资源的总体情况以及目前国家农业图书馆所使用的技术体系面临的问题,对比当今流行的大数据技术在性能和功能上的优势,提出了一种基于大数据技术的新型数字图书馆数字资源存储与应用的技术框架。此框架整合了HDFS、Hbase与Spark大数据存储与处理技术。随后在本研究设计的技术框架的基础上搭建了具有三个节点的实验集群,初步构建了大数据技术平台。论文后半部分论述了基于Hbase的大数据存储体系与基于Spark的大数据分析体系的优势,通过实例化的方式实现了基于Hbase的农产品贸易数据的存储与挖掘分析,借此方式对这种新型技术体系进行技术可行性分析与功能探索。本研究所使用的农产品贸易数据在数据存储层采用Hbase进行数据组织并通过HDFS实现数据的分布式存储,并通过实验对比分析基于大数据技术体系的农产品贸易数据库在性能上和关系型数据库优劣,实验结果证明采用论文提出的新型基于大数据技术的技术体系在数据检索效率上远远高于传统关系型数据库。最后利用Spark的高性能机器学习与计算功能,采用新型图计算工具Spark GraphX对农产品贸易数据进行基于复杂网络算法的深度挖掘研究,扩展了农业数字资源的应用场景。本研究从基于大数据技术的数据存储、数据检索、数据挖掘等多个方面探索了大数据环境下数字图书馆采用新型分布式数字资源存储与应用的具体实现方式,相比关系型数据库技术体系在性能上有所提升,有一定现实意义。
【学位授予单位】：中国农业科学院
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：S-0;G250.7

【参考文献】

中国期刊全文数据库 前10条

1 李呈栋;戴跃发;王伟;吴波;;Hadoop框架下的容灾系统研究[J];电脑知识与技术;2009年28期

2 赵瑞雪;;农业科学数据共享中数据汇交与管理研究[J];科技管理研究;2009年08期

3 林略;周力全;;小世界网络结构下的用户创新扩散分析[J];科技进步与对策;2009年23期

4 赵瑞雪;;数字环境下面向专业研究所的知识服务探索[J];情报杂志;2011年06期

5 侯建;帅仁俊;侯文;;基于云计算的海量数据存储模型[J];通信技术;2011年05期

6 鲜国建;赵瑞雪;;基于Solr的中文农业期刊文摘检索系统的构建研究[J];现代图书情报技术;2011年06期

7 张燕平;李东亮;赵姝;郑尧军;;一种新的网络拓扑建模方法[J];计算机工程与应用;2010年22期

8 严霄凤;张德馨;;大数据研究[J];计算机技术与发展;2013年04期

9 鲜国建;赵瑞雪;寇远涛;朱亮;张洁;;农业科学叙词表关联数据构建研究与实践[J];现代图书情报技术;2013年11期

10 Shengmei Luo;Zhikun Wang;Zhiping Wang;;Big-Data Analytics:Challenges,Key Technologies and Prospects[J];ZTE Communications;2013年02期

中国博士学位论文全文数据库 前3条

1 姜春茂;基于移动P2P的分布式存储和传输机制研究[D];哈尔滨工程大学;2013年

2 丁青艳;复杂网络结构下供应链企业间合作关系研究[D];北京交通大学;2012年

3 薛健;复杂网络视角下台海区域间产业及贸易关系研究[D];北京工业大学;2010年

中国硕士学位论文全文数据库 前10条

1 潘爽;面向MapReduce的缓存感知调度平台的设计与实现[D];哈尔滨工业大学;2014年

2 唐振坤;基于Spark的机器学习平台设计与实现[D];厦门大学;2014年

3 曹六一;海量图像检索系统设计与实现[D];山东大学;2014年

4 张呈;Hadoop集群下海量小文件优化处理[D];武汉理工大学;2014年

5 杨静;试验数据管理平台云存储服务的研究与实现[D];西安电子科技大学;2014年

6 赵辉;基于复杂网络的中文文本分类研究[D];西安电子科技大学;2014年

7 杨男;基于云的多媒体会议系统关键技术的研究[D];北京邮电大学;2014年

8 刘豹;一种分布式ETL系统的设计与研究[D];北京邮电大学;2014年

9 陈存衡;基于MapReduce的数据图检索算法研究[D];大连海事大学;2013年

10 李浩;基于Twitter Storm的云平台监控系统研究与实现[D];东北大学;2013年

，

本文编号：1184767