智能地质调查大数据应用体系架构与关键技术

发布时间：2018-11-27 07:58

【摘要】：地质调查数据主要由结构化和非结构化多样性的数据构成。由非结构化多样性数据文件组成的报告,由于技术原因,长期以来一直以传统的目录文件方式进行存储。这种存储方式导致数据的查询、统计、更新等操作不但低效,而且非常不利于检索、查询、挖掘等应用,使得数据服务能力极低。通过把Hadoop生态体系融入中国地质调查云平台架构,基于Hadoop HDFS和HBase存储架构,建立非结构化地质数据基础内容库存储组织模式,采用Lucene全文搜索引擎架和地质领域本体词库构建快速随机访问的索引文件机制,改变了多样化、碎片化的复杂地质调查非结构化数据的存储、阅读、搜索和应用模式,为智能地质调查提供精确、快速服务奠定基础。
[Abstract]:Geological survey data are mainly composed of structured and unstructured data. The report composed of unstructured diversity data files has been stored in traditional directory files for a long time due to technical reasons. This storage method not only leads to inefficient operation of data query, statistics and update, but also is not conducive to the application of retrieval, query and mining, which makes the ability of data service extremely low. By integrating the Hadoop ecosystem into the cloud platform of China Geological Survey, and based on the storage structure of Hadoop HDFS and HBase, the organization model of unstructured geological data basic content repository is established. The Lucene full-text search engine frame and geological domain ontology lexicon are used to construct the fast random access index file mechanism, which changes the storage, reading, searching and application mode of diversified and fragmented unstructured data of complex geological survey. Provide accurate and fast service for intelligent geological survey.
【作者单位】： 中国地质调查局发展研究中心;国土资源部地质信息技术重点实验室;武汉中地数码科技有限公司;中国地质调查局西安地质调查中心;
【基金】：中国地质调查局项目(编号:12120115073201、1212011120436、1212011120449)
【分类号】：P628.1

【参考文献】

相关期刊论文 前8条

1 吴信才;徐世武;万波;吴亮;;新一代的软件结构T-C-V结构[J];地球科学(中国地质大学学报);2014年02期

2 王风;杨璐璐;;基于Hadoop软件框架下海量数据集群处理的探究[J];长沙通信职业技术学院学报;2013年04期

3 陈吉荣;乐嘉锦;;基于Hadoop生态系统的大数据解决方案综述[J];计算机工程与科学;2013年10期

4 涂新莉;刘波;林伟伟;;大数据研究综述[J];计算机应用研究;2014年06期

5 任树怀;;LUCENE搜索算法剖析及优化研究[J];图书馆杂志;2014年12期

6 李超岭;杨东来;李丰丹;刘畅;刘修国;于庆文;吕霞;;中国数字地质调查系统的基本构架及其核心技术的实现[J];地质通报;2008年07期

7 刘智慧;张泉灵;;大数据技术研究综述[J];浙江大学学报(工学版);2014年06期

8 张智;龚宇;;分布式存储系统HBase关键技术研究[J];现代计算机(专业版);2014年32期

【共引文献】

相关期刊论文 前10条

1 王蓓蓓;;浅谈面向对象技术在1:5万战略性矿产远景调查地质图空间数据库建设中的应用[J];出国与就业(就业版);2011年12期

2 倪平泽;刘修国;李超岭;李丰丹;;3D矿床建模技术在数字矿产勘查中的应用[J];地球科学(中国地质大学学报);2010年03期

3 单永杰;;数字矿产远景调查原始资料归档探讨[J];甘肃地质;2011年02期

4 刘畅;刘园园;李健强;;北斗卫星技术在数字地质调查系统中的集成开发与应用[J];地质力学学报;2012年03期

5 高光大;王永志;屈红刚;缪谨励;宋越;;矿产资源领域三项基本国情调查成果数据的综合集成与应用[J];吉林大学学报(地球科学版);2013年04期

6 王芳琴;武雪梅;金萍秀;孙金凤;张亚红;;DGSS及其相关软件在矿产勘查中的应用[J];甘肃地质;2014年01期

7 曾玉珠;吴小东;;本科计算机专业培养云计算应用型人才实践[J];电脑编程技巧与维护;2014年08期

8 肖筱华;周栋;;大数据技术及标准发展研究[J];信息技术与标准化;2014年04期

9 常海防;;基于Hadoop的运营商流量经营分析系统建设方案[J];电信工程技术与标准化;2014年07期

10 胡宇舟;范滨;顾学道;缪力;;基于Hadoop的云计算在清分系统中的应用[J];电子世界;2014年13期

相关会议论文 前2条

1 李天枫;姚欣;王劲松;;大规模网络异常流量实时云监测平台研究[A];第29次全国计算机安全学术交流会论文集[C];2014年

2 周婕;邹游;;大数据背景下的城乡规划研究思考[A];第十七届中国科协年会——分16　大数据与城乡治理研讨会论文集[C];2015年

相关博士学位论文 前1条

1 倪平泽;铜矿床地质统计学模型构建及其应用模式研究[D];中国地质大学;2010年

相关硕士学位论文 前10条

1 王明;西藏罗布莎铬铁矿床地质特征及三维模型的建立和应用[D];中国地质大学（北京）;2010年

2 杨程;基于地质统计学的金堆城钼矿矿床品位分布研究[D];西安建筑科技大学;2010年

3 张建铿;基于MapGIS的矿产资源储量动态计算模块的研究和实现[D];中南大学;2012年

4 郭浩;面向数字地质调查的移动GIS平台关键技术研究[D];北京林业大学;2013年

5 裴艳云;基于GeoGIS的数字地质调查系统的研建[D];北京林业大学;2013年

6 杨丽;地质平/剖面图自动成图系统研究与实现[D];中南大学;2013年

7 郝增勇;基于Hadoop用户行为分析系统设计与实现[D];北京交通大学;2014年

8 张夏旭;基于Hadoop的多星表存储与交叉证认的设计与实现[D];山东大学;2014年

9 赵玉龙;基于Hadoop的海量小文件处理性能研究与优化[D];内蒙古科技大学;2014年

10 赵静;云计算平台Hadoop负载均衡研究[D];河北工程大学;2014年

【二级参考文献】

相关期刊论文 前10条

1 孙其博;刘杰;黎，

本文编号：2359967