基于MongoDB的黑河流域时空数据云存储关键技术研究

发布时间：2017-10-10 15:41

  本文关键词：基于MongoDB的黑河流域时空数据云存储关键技术研究

  更多相关文章： 云存储 MongoDB 数字流域 Node.js MEAN NoSQL

【摘要】：在我国西北干旱半干旱地区,随着人口数量的急剧增加和经济的快速发展,区域水资源短缺现象日趋严重。水危机已成为制约社会经济可持续发展的重要因素和我们必须面对的挑战。为了解决和应对各种水环境、水生态问题,水文水资源信息的获取和有效利用对于揭示水文过程物理机制,合理规划水资源至关重要。今天,随着水文观测技术的发展,水文学已经由传统意义上的数据稀缺科学发展为数据丰富的可读科学。面对多源、海量的时空观测数据,如何实现多源时空数据的高效管理、合理分类、快速提取、共享、分析和可视化已成为水文学发展迫切需要解决的问题。Web2.0和移动互联网技术的快速兴起和广泛应用,一大批非关系型、分布式存储的NoSQL类型数据库的出现,给我们提供了一个解决上述水文信息科学问题的新思路。NoSQL类型数据库提供了高效并发读写数据的能力,同时具备高可用和高扩展性,与传统数据库相比较更加注重海量数据的高效存储。本文基于NoSQL类型中的MongoDB数据库搭建了一个云存储实验环境,采用开源MEAN框架设计开发了前端Web应用系统,旨在解决海量流域时空数据存储与并发访问中的一系列难题。本文主要完成工作内容如下:(1)搭建了Replica Set与Sharding结合方式的MongoDB云存储实验环境,用于储存海量时空数据;(2)探索性地尝试使用美国先进水文科学发展大学联盟(The Consortium of Universities for the Advancement of Hydrologic Science Inc.)ODM观测模型在MongoDB云存储环境中存储水文观测数据;(3)对比传统关系型空间数据库中数据存储方式,采用GeoJSON编码格式实现了MongoDB云存储实验环境下的空间数据存储;(4)对全栈式开发框架MEAN进行了深入细致的研究与分析,分析总结了其四大组成部分MongoDB、Express、AngularJS、Node.js在前端Web系统开发中的优越性和创新性。基于Ubuntu系统,采用MEAN框架设计开发了黑河流域时空数据存储平台。该平台系统为黑河流域水资源研究提供数据分析基础和经济社会可持续发展提供决策支撑基础。
【关键词】：云存储 MongoDB 数字流域 Node.js MEAN NoSQL
【学位授予单位】：兰州大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;TP333
【目录】：

• 中文摘要3-5
• Abstract5-10
• 第一章 绪论10-16
• 1.1 研究背景和意义10-11
• 1.2 研究现状11-14
• 1.3 论文主要研究内容14-15
• 1.4 论文的组织结构15-16
• 第二章 NoSQL与MEAN Stack16-24
• 2.1 NoSQL16-17
• 2.2 NoSQL类型数据库类型17-19
• 2.3 MongoDB数据库介绍19-20
• 2.4 MEAN技术架构20-24
• 2.4.1 MEAN Stack20
• 2.4.2 Full-stack JavaScript20-21
• 2.4.3 Node.js21
• 2.4.4 Node.js生态系统与Express21-23
• 2.4.5 AngularJS23-24
• 第三章 MongoDB云存储环境设计与实现24-44
• 3.1 MongoDB Replication24-25
• 3.2 MongoDB Sharding25-26
• 3.3 Relica Set与Sharding结合的MongoDB集群26-28
• 3.4 Relica Set与Sharding集群实现28-40
• 3.4.1 软件环境28
• 3.4.2 基于Sharding和Replica Set的MongoDB集群的设计28-29
• 3.4.3 MongoDB集群节点实现29-31
• 3.4.4 创建分片复制集31-36
• 3.4.5 配置Config Server的Replica Sets集群36-38
• 3.4.6 配置mongos38-40
• 3.5 性能测试40-44
• 3.5.1 MongoDB云存储环境单线程读写测试40-41
• 3.5.2 基于YCSB的多线程并发压力测试41-44
• 第四章 观测数据与空间数据的存储实现44-58
• 4.1 CUAHSI ODM观测数据模型44-45
• 4.2 基于CUAHSI观测数据模型的观测数据存储实现45-50
• 4.3 空间数据库的发展50-51
• 4.4 基于MongoDB的空间数据存储与实现51-58
• 4.4.1 常见的空间数据格式Shapefile52
• 4.4.2 文档模式转换引擎52-53
• 4.4.3 GeoJSON编码格式53-56
• 4.4.4 基于MongoDB的空间数据存储实现方法56-58
• 第五章 基于MongoDB云存储环境和MEAN框架的黑河流域地理信息数据存储平台实现与测试58-73
• 5.1 平台设计的目标和思路58
• 5.2 系统程序实现环境58-59
• 5.3 系统框架设计59-63
• 5.3.1 数据源60
• 5.3.2 服务器端60-61
• 5.3.3 浏览器端61-62
• 5.3.4 外部服务62-63
• 5.4 系统实现63-65
• 5.4.1 创建系统项目64
• 5.4.2 系统入口模块64
• 5.4.3 安装Bootstrap和AngularJS64-65
• 5.5 系统展示与测试65-73
• 5.5.1 系统展示65-71
• 5.5.2 系统测试和总结71-73
• 第六章 总结与展望73-74
• 6.1 论文总结73
• 6.2 下一步研究方向73-74
• 参考文献74-76
• 在学期间的研究成果76-77
• 致谢77

【相似文献】

中国期刊全文数据库 前10条

1 尹章才,邓运员;时空数据仓库初探[J];测绘科学;2002年03期

2 尹章才;李霖;;异构时空数据的转换机制研究[J];华中师范大学学报(自然科学版);2007年02期

3 陈荣清,谢刚生,邹时林;时态GIS中时空数据表达综述[J];华东地质学院学报;2001年04期

4 雷起宏;刘耀林;尹章才;何建华;;基于加权图的地籍时空数据描述模型研究[J];武汉大学学报(信息科学版);2006年07期

5 刘春菊;石敦敦;;城市规划信息系统的时空数据组织方案[J];地球信息科学;2006年04期

6 谢炯;刘仁义;刘南;;基于时空分区聚簇的海量时空数据性能优化方法研究[J];中国图象图形学报;2006年09期

7 乔金海;宋勤昌;;海洋地理信息系统时空数据组织模型研究[J];吉林大学学报(地球科学版);2006年S2期

8 赫建忠;张保钢;;地形图时空数据建库的两种方法及其对比[J];测绘科学;2008年03期

9 张宝才;周顺平;汪瑜;杨林;宋宗孝;;基于历史归档的时空数据管理研究[J];工程地球物理学报;2009年01期

10 童小华;;时空数据质量与模型[J];地理信息世界;2009年02期

中国重要会议论文全文数据库 前10条

1 周辉;周晓光;何凭宗;秦佐;;基态修正模型的时空数据组织和快照查询方法研究[A];2009`中国地理信息产业论坛暨第二届教育论坛就业洽谈会论文集[C];2009年

2 任家东;彭慧丽;张啸剑;;一种基于时空对象的数据模型不确定性扩展[A];第二十三届中国数据库学术会议论文集（技术报告篇）[C];2006年

3 刘纪远;;国家资源环境时空数据基础及其在资源环境研究中的应用[A];第十三届全国遥感技术学术交流会论文摘要集[C];2001年

4 龚俊;鲍曙明;殷守敬;赵祥生;;时空数据分析中的多阶模型应用[A];中国地理学会2006年学术年会论文摘要集[C];2006年

5 刘纪远;;资源环境时空数据基础与地理科学方法论的创新(摘要)[A];中国科协2001年学术年会分会场特邀报告汇编[C];2001年

6 杨华先;钱自红;;地球时空数据在资源环境领域的应用[A];湖北省测绘学会2004年度科学技术交流会论文集[C];2005年

7 杨华先;钱自红;;地球时空数据在资源环境领域的应用[A];测绘荆楚——湖北省测绘学会2005年“索佳杯”学术论文集[C];2005年

8 季民;靳奉祥;李婷;艾波;赵相伟;;基于格网的海洋时空数据组织策略研究[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年

9 刘纪远;;资源环境时空数据基础与地理科学方法论的创新[A];海峡两岸地理学术研讨会暨2001年学术年会论文摘要集[C];2001年

10 王欢;魏海平;;时空数据可视化浅述[A];第四届海峡两岸GIS发展研讨会暨中国GIS协会第十届年会论文集[C];2006年

中国重要报纸全文数据库 前1条

1 本报记者 孙安然;让信息共享“零距离”[N];中国海洋报;2013年

中国博士学位论文全文数据库 前10条

1 柏禄一;基于XML的模糊时空数据建模与查询方法的研究[D];东北大学;2013年

2 秦昆;时空数据建模方法研究[D];中国地质大学(北京);2016年

3 毛华坚;云环境中的移动文件存储和时空数据分析关键技术研究[D];国防科学技术大学;2013年

4 张丰;面向网格的海量时空数据访问、集成与互操作研究[D];浙江大学;2007年

5 汪汇兵;基础地理信息时空一体化建模与管理方法研究[D];武汉大学;2011年

6 滕龙妹;土地资源时空数据网格服务模型及其实现方法[D];浙江大学;2008年

7 季民;海洋渔业GIS时空数据组织与分析[D];山东科技大学;2004年

8 李昭;虚拟海洋环境时空数据建模与可视化服务研究[D];浙江大学;2010年

9 蔡中祥;基于GIS的长江河口空间决策支持研究[D];华东师范大学;2005年

10 尹华罡;基于海量时空数据的路线挖掘与检索[D];中国科学技术大学;2012年

中国硕士学位论文全文数据库 前10条

1 温波;基于时空数据的多约束地点推荐模型研究[D];华南理工大学;2015年

2 刘权芳;两类时空数据模型及其应用研究[D];长安大学;2015年

3 刘莎;空间数据与时空数据的分析方法及比较[D];长安大学;2015年

4 施志林;时空数据分布式存储研究[D];江西理工大学;2015年

5 李泽城;基于MongoDB的滇池流域非点源污染模拟时空数据库管理系统设计与实现[D];云南师范大学;2015年

6 董禹辛;移动云计算在车辆GPS中的研究与应用[D];华北电力大学;2015年

7 卢艳松;基于SOM的农业时空数据可视化分析模式[D];浙江农林大学;2015年

8 高锐;基于MongoDB的黑河流域时空数据云存储关键技术研究[D];兰州大学;2016年

9 周辉;基于基态修正模型的时空数据增量更新与查询方法研究[D];中南大学;2010年

10 欧阳斯达;时空数据的三维动态可视化技术研究[D];中国测绘科学研究院;2011年

，

本文编号：1007208