基于MongoDB与Hadoop的地学遥感大数据管理系统的设计

发布时间：2017-10-20 15:37

  本文关键词：基于MongoDB与Hadoop的地学遥感大数据管理系统的设计

  更多相关文章： 遥感数据 管理信息系统 系统设计 Mongo DB Hadoop 分布式

【摘要】：随着遥感技术的发展,卫星分辨率与覆盖率的日益提高,遥感数据的数据量呈爆炸式增长,目前每天以TB级别增长,存储级别已经为PB级别。同时由于采集遥感数据的卫星存在差异,导致数据产品在格式,大小等方面存在不同。因此对海量遥感数据的高效存储与管理已经成为业界关注的重点问题。针对该问题,本文讨论了一个基于Mongo DB与Hadoop的地学遥感大数据管理系统的设计情况,主要研究工作有以下几个方面:(1)分析并总结了遥感数据管理信息系统发展的现状,给出了系统的总体需求及其设计原则,阐述了系统的业务逻辑、体系结构,规划了系统的功能,设计了系统的数据结构,给出了系统的安全应对策略;(2)对系统的数据采集、数据查询、数据导出、数据计算服务、用户管理、节点维护、日志管理等子系统进行了设计,并对系统中的关键功能模块进行了算法的详细设计与部分实现,给出了系统的分布式架构的部署方案,对系统部分关键功能模块进行了性能的测试;(3)对系统的建设进行了总结,并提出下一步的主要工作任务。
【关键词】：遥感数据 管理信息系统 系统设计 Mongo DB Hadoop 分布式
【学位授予单位】：兰州大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 摘要3-4
• abstract4-9
• 第一章 绪论9-17
• 1.1 遥感数据管理系统现状9-15
• 1.2 项目目标及预期效果15-16
• 1.3 项目研究内容16-17
• 第二章 相关理论与技术17-20
• 2.1 MONGODB概述17-18
• 2.2 HADOOP概述18-20
• 第三章 系统的总体设计20-29
• 3.1 总体需求及设计原则20-21
• 3.1.1 总体需求20
• 3.1.2 系统的设计原则20-21
• 3.2 系统的业务逻辑21-22
• 3.3 系统的体系结构22-23
• 3.4 系统的功能模块23-24
• 3.5 系统的数据结构设计24-27
• 3.5.1 概述24-25
• 3.5.2 用户个人信息数据结构设计25
• 3.5.3 用户状态数据结构设计25
• 3.5.4 用户作业数据结构设计25-26
• 3.5.5 系统信息数据结构设计26
• 3.5.6 日志数据结构设计26
• 3.5.7 遥感元数据数据结构设计26-27
• 3.6 系统的安全策略27-28
• 3.7 系统的环境及要求28-29
• 第四章 数据采集子系统的设计29-37
• 4.1 概述29-30
• 4.2 数据采集子系统中关键功能模块的设计30-37
• 4.2.1 图像入库30-31
• 4.2.2 遥感产品入库31-33
• 4.2.3 CSV数据入库33-34
• 4.2.4 用户自定义数据入库34-35
• 4.2.5 查询结果导入计算节点35-37
• 第五章 数据查询子系统的设计与实现37-43
• 5.1 概述37
• 5.2 数据查询子系统中关键功能模块的设计与实现37-43
• 5.2.1 简单查询37-38
• 5.2.2 复杂查询38-41
• 5.2.3 空间查询41-42
• 5.2.4 地图查询42-43
• 第六章 数据导出子系统的设计43-51
• 6.1 概述43-44
• 6.2 数据导出子系统中关键功能模块的设计44-51
• 6.2.1 图表展示44-45
• 6.2.2 地图展示45-47
• 6.2.3 动态展示47-48
• 6.2.4 数据下载48-51
• 第七章 数据计算服务子系统的设计51-61
• 7.1 概述51-52
• 7.2 数据计算服务子系统中关键功能模块的设计与实现52-61
• 7.2.1 数据去重52-53
• 7.2.2 坐标变换53-55
• 7.2.3 地图融合55-57
• 7.2.4 像素统计57-59
• 7.2.5 图像识别59-61
• 第八章 用户管理子系统的设计61-69
• 8.1 概述61-62
• 8.2 用户管理子系统中关键功能模块的设计62-69
• 8.2.1 用户基本管理62-64
• 8.2.2 用户权限管理64-65
• 8.2.3 用户作业管理65-67
• 8.2.4 用户行为分析67-69
• 第九章 节点维护子系统的设计69-78
• 9.1 概述69-70
• 9.2 节点维护子系统中关键功能模块的设计70-78
• 9.2.1 节点运行监控70-71
• 9.2.2 节点动态拓扑71-72
• 9.2.3 节点配置设置72-74
• 9.2.4 数据分片设置74-75
• 9.2.5 节点任务分配75-78
• 第十章 日志管理子系统的设计78-85
• 10.1 概述78-79
• 10.2 日志管理子系统中关键功能模块的设计79-85
• 10.2.1 节点日志收集79-80
• 10.2.2 日志并行分析80-82
• 10.2.3 日志备份82-83
• 10.2.4 分析结果可视化83-85
• 第十一章 系统的分布式架构部署85-90
• 11.1 概述85
• 11.2 MONGODB分布式架构的部署85-87
• 11.3 HADOOP分布式架构的部署87-89
• 11.4 MONGODB与HADOOP分布式架构统一管理89-90
• 第十二章 系统性能及部分应用测试90-98
• 12.1 概述90
• 12.2 系统分布式存储架构稳定性测试90-91
• 12.3 系统分布式存储架构安全性测试91-92
• 12.4 数据清洗及数据导入性能测试92-97
• 12.5 数据检索性能测试97-98
• 第十三章 总结及下一步工作98-100
• 13.1 工作总结98
• 13.2 下一步主要工作98-100
• 参考文献100-102
• 攻读硕士期间参加的主要科研项目102-103
• 致谢103-104
• 附录1 L45TM数据产品元数据清洗及导入代码104-106
• 附录2 L45TM数据产品内文件解压及导入代码106-108
• 附录3 波段文件名中元数据的提取代码108-109

【相似文献】

中国期刊全文数据库 前10条

1 阮高华;仓库基础数据管理系统通过部级鉴定[J];计算机应用研究;1990年01期

2 杨则正;数据管理系统展示[J];管理科学文摘;1996年09期

3 杨英;广泛采用技术数据管理系统的困难[J];管理科学文摘;1997年11期

4 柴振荣;技术数据管理系统的采用问题[J];管理科学文摘;1998年11期

5 柳青,吴少敏;肿瘤发病登记数据管理系统的设计与应用[J];计算技术与自动化;1998年04期

6 杜益虹;建筑数据管理系统的设计[J];无锡轻工大学学报;2001年04期

7 于勇,黄晓瑞,姜兴渭;航天器推进系统数据管理系统的研制开发[J];航空兵器;2001年04期

8 刘桂兰;中原油田电力现状信息数据管理系统[J];电气时代;2002年09期

9 王振亚,师华,杨涛,孟红文,郭太祥;计控网络数据管理系统的开发和应用[J];河南冶金;2003年04期

10 王沛 ,郑冶钢 ,姚丹宏 ,吕杰 ,徐桂茏;辽宁农作物新品种图文数据管理系统的研制[J];计算机与农业.综合版;2003年06期

中国重要会议论文全文数据库 前10条

1 张维忠;宋永红;;港口交管船舶数据管理系统[A];船舶通信导航学术会议（1993）论文集[C];1993年

2 康强利;赵敏;孔朝辉;;石化公司腐蚀数据管理系统的建立及应用[A];石油和化工设备管道防腐技术与对策专题研讨会文集[C];2010年

3 邢延团;刘增平;张若辉;王可周;;煤矿地震数据管理系统的地质保障作用[A];中国煤炭学会矿井地质专业委员会、中国煤炭工业劳动保护科学技术学会水害防治专业委员会2005年学术交流会论文集[C];2005年

4 崔若飞;武旭仁;;煤矿地震数据管理系统的开发[A];山东煤炭学会2004年度优秀学术论文集[C];2004年

5 巫志峰;曾星;;应用科学数据管理系统(SDMS)进行Ⅰ期临床试验数据管理[A];2008第十一次全国临床药理学学术大会论文集[C];2008年

6 米东海;郭海林;;物理实验室性能检验数据管理系统开发[A];2011年河北省炼铁技术暨学术年会论文集[C];2011年

7 李璋;;浅谈基于螺旋模型式的热拌沥青混合料质量数据管理系统的测试与质量保证[A];天津市电视技术研究会2013年年会论文集[C];2013年

8 张晓梅;阎小飞;;CMS北京网格站点数据管理系统的研究和实现[A];第十四届全国核电子学与核探测技术学术年会论文集（下册）[C];2008年

9 杨绍战;陈建勋;赵超志;左庆忠;;隧道监控量测数据管理系统研究[A];自主创新与持续增长第十一届中国科协年会论文集（3）[C];2009年

10 孙辉先;陈小敏;;Cluster卫星的数据管理系统[A];中国空间科学学会空间探测专业委员会第十三次学术会议论文集[C];2000年

中国重要报纸全文数据库 前10条

1 越途;广东公路基础数据管理系统显现路况信息[N];中国测绘报;2004年

2 记者 张银炎;上海航运所数据管理系统批量装船[N];中国船舶报;2008年

3 刘学军　赵燕 许新贺;河北钢铁唐钢启动信息化主数据管理系统项目[N];中国冶金报;2011年

4 张双 王云峰;黑河电业局建设营销数据管理系统[N];中国电力报;2005年

5 王志田邋通讯员 陈艳新;大庆气田开发数据管理系统进入试运行[N];中国石油报;2007年

6 记者 林强;哈尔滨市物价局研发出“物价通”系统[N];中国经济导报;2009年

7 刘春;首钢矿业公司成功开发实施无线远程抄表及数据管理系统[N];世界金属导报;2006年

8 记者 江华;科学用药将有据可循[N];农资导报;2013年

9 王希建 冯雷;油库计量数据管理系统[N];中国石化报;2003年

10 张萍 刘金花;天津石化运销部信息化管理一目了然[N];中国石化报;2006年

中国博士学位论文全文数据库 前1条

1 邵明义;中药新药临床试验数据管理系统的设计及应用研究[D];成都中医药大学;2009年

中国硕士学位论文全文数据库 前10条

1 李杰斌;基于分布式系统的XML元数据管理系统的UI设计与实现[D];复旦大学;2013年

2 张林;运煤车全自动采样及综合数据管理系统的研究与实现[D];华北电力大学;2015年

3 许明莉;高速精密数控机床轴承全生命周期数据管理系统研发[D];河南科技大学;2015年

4 王浩轩;基于统一支撑平台的电网安稳数据管理系统的研究与开发[D];复旦大学;2014年

5 顾天宝;海上试验场平台数据管理系统的设计与实现[D];大连理工大学;2015年

6 路奕;卫生监督数据管理系统的设计与实现[D];大连理工大学;2015年

7 叶冠南;基于GPRS的智能充电桩数据管理系统的设计与实现[D];浙江工业大学;2014年

8 郑波;企业的市场发展基础数据管理系统的设计与实现[D];电子科技大学;2014年

9 刘婷婷;住宅小区智能监控管理系统的设计与实现[D];电子科技大学;2014年

10 夏菁;基于HDFS的微博数据管理系统的设计与实现[D];电子科技大学;2014年

，

本文编号：1068004