基于分布式存储的地理时空大数据管理系统研究
发布时间：2021-12-16 17:48
目前,中国北斗卫星导航系统已经日益成熟和完善,物联网技术得到了全面推广,由此产生的地理时空数据呈海量增长。本文依托国防科技创新特区项目“多元地球空间大数据集成、关联与协同认知”专项的一个子项“多元地球空间大数据的集成和可视化”课题,在分布式集群平台上,采用结构化开发方法,从系统的需求和可行性出发,利用分布式存储、负载均衡、WebGIS和数据可视化技术,融合NoSQL数据库和时空数据管理工具GeoMesa,构建了基于分布式存储的地理时空大数据管理系统。取得以下研究成果:1.根据时空大数据的数据结构,结合分布式数据库的实时处理和海量数据存储优势,采用大数据处理Cloudera Manager、CDH套件和时空大数据管理工具GeoMesa,搭建地理时空大数据管理平台,实现时空大数据的快速存储和查询。2.根据栅格瓦片的数据模型,利用集群解决图片服务器高并发的优势,采用Nginx负载均衡技术,在三台服务器上搭建了栅格瓦片的集群服务系统。3.根据浏览器的渲染模型,设计了地理时空大数据和栅格瓦片的数据可视化算法,并以气象的风场、热力数据和空气质量指数为例,通过数据可视化引擎Leftlet,实现地理时...
【文章来源】：江汉大学湖北省
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
WebGIS架构
卡托投影是著名荷兰地图学家墨卡托发明的，又称为等角正切圆柱投影。墨假设地球被包裹在圆柱体内，且赤道跟圆柱体相接，位于地球圆心位置的光地球的表面投影到圆柱体上，投影后的平面就是最基本的地球平面坐标系[14]。eb 墨卡托投影在墨卡托投影的基础上，为了简化计算，将地球椭球体模拟为球体道与本初子午线的交点为坐标原点，赤道的投影线为 X 轴，本初子午线的投Y 轴，构成平面直角坐标系，如图 2-2 所示。
图 2-3 Hash 算法的数据存储流程法的基础上，针对分布式系统中出现的增统稳定性问题，提出了一致性 Hash 算个虚拟的圆环，一般 Hash 函数的值空，假设现在有四台存储节点，通过选择哈希环上的位置，分别是 A、B、C、D，将(C,D)、(D,A)，且节点 A 负责存储在(D内的数据，依次类推。对数据进行 Hashash 算法的优点是当出现增加或减少存储数据；缺点是将所有的节点当成负载能异性，不利于实现负载均衡。
【参考文献】：
期刊论文
[1]自适应负载指标权值的负载均衡算法[J]. 郑浩,李宁,杨小涛. 计算机工程与设计. 2019(03)
[2]基于Thrift的HBase数据存储机制优化[J]. 温振蕙,樊永生,余红英. 科学技术与工程. 2019(06)
[3]基于LBS定位数据的建成环境对街道活力的影响及其时空特征研究[J]. 钮心毅,吴莞姝,李萌. 国际城市规划. 2019(01)
[4]一种面向金融应用的海量分布式关系数据库[J]. 刘文洁,李戬勃,李战怀,张利军. 华中科技大学学报(自然科学版). 2019(02)
[5]基于国产化服务器集群的海量数据处理负载均衡技术[J]. 聂璐,郑吉洲,王丽娜,刘海彬,王子豪. 航天控制. 2019(01)
[6]基于分布式集群的网络浏览行为大数据分析平台构建[J]. 蔡艳婧,王强,程实. 中国电子科学研究院学报. 2019(01)
[7]一种通用的工业大数据应用中海量对象存储方法实现[J]. 黄明,赵若尘,张云龙. 冶金自动化. 2019(01)
[8]基于WebGIS的神华机车实时状态远程监测系统[J]. 张俊峰,李飞. 机车电传动. 2019(01)
[9]配用电大数据分布式计算集群负载均衡框架[J]. 张令涛,赵林,张亮,田国辉,孙湃. 电网技术. 2019(01)
[10]分布式时空数据库去中心化负载均衡方法[J]. 胡珂,李成名,沈建明. 测绘通报. 2018(12)
博士论文
[1]基于密度聚类与时空图的市场数据可视分析方法研究[D]. 邓超.中国农业大学 2018
硕士论文
[1]基于Nginx的高并发访问服务器的研究与应用[D]. 陈大才.中国科学院大学(中国科学院沈阳计算技术研究所) 2018
[2]基于Hadoop平台的时空数据索引和查询技术研究[D]. 何立志.西安电子科技大学 2018
[3]轻量级地理空间栅格数据管理系统[D]. 陈苗.西安电子科技大学 2018
[4]云环境下海量GIS时空数据存储方法的研究与实现[D]. 许秋熹.西安电子科技大学 2018
[5]基于Hadoop的遥感影像数据私有云平台构建及应用[D]. 谭专条.中国地质大学(北京) 2018
[6]基于Nginx高并发Web服务器负载均衡策略的研究与改进[D]. 孔艳蓉.长安大学 2018
[7]HBase数据库监控系统的设计与实现[D]. 郭丽斯.北京邮电大学 2018
[8]城市车辆轨迹数据的时空索引设计研究[D]. 王凯.武汉大学 2017
[9]基于Hadoop的健康数据管理系统的研究和实现[D]. 王力.西安电子科技大学 2017
[10]面向轨迹大数据存储及查询的NoSQL数据库研究[D]. 闫密巧.华东师范大学 2017
本文编号：3538563
【文章来源】：江汉大学湖北省
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
WebGIS架构
卡托投影是著名荷兰地图学家墨卡托发明的，又称为等角正切圆柱投影。墨假设地球被包裹在圆柱体内，且赤道跟圆柱体相接，位于地球圆心位置的光地球的表面投影到圆柱体上，投影后的平面就是最基本的地球平面坐标系[14]。eb 墨卡托投影在墨卡托投影的基础上，为了简化计算，将地球椭球体模拟为球体道与本初子午线的交点为坐标原点，赤道的投影线为 X 轴，本初子午线的投Y 轴，构成平面直角坐标系，如图 2-2 所示。
图 2-3 Hash 算法的数据存储流程法的基础上，针对分布式系统中出现的增统稳定性问题，提出了一致性 Hash 算个虚拟的圆环，一般 Hash 函数的值空，假设现在有四台存储节点，通过选择哈希环上的位置，分别是 A、B、C、D，将(C,D)、(D,A)，且节点 A 负责存储在(D内的数据，依次类推。对数据进行 Hashash 算法的优点是当出现增加或减少存储数据；缺点是将所有的节点当成负载能异性，不利于实现负载均衡。
【参考文献】：
期刊论文
[1]自适应负载指标权值的负载均衡算法[J]. 郑浩,李宁,杨小涛. 计算机工程与设计. 2019(03)
[2]基于Thrift的HBase数据存储机制优化[J]. 温振蕙,樊永生,余红英. 科学技术与工程. 2019(06)
[3]基于LBS定位数据的建成环境对街道活力的影响及其时空特征研究[J]. 钮心毅,吴莞姝,李萌. 国际城市规划. 2019(01)
[4]一种面向金融应用的海量分布式关系数据库[J]. 刘文洁,李戬勃,李战怀,张利军. 华中科技大学学报(自然科学版). 2019(02)
[5]基于国产化服务器集群的海量数据处理负载均衡技术[J]. 聂璐,郑吉洲,王丽娜,刘海彬,王子豪. 航天控制. 2019(01)
[6]基于分布式集群的网络浏览行为大数据分析平台构建[J]. 蔡艳婧,王强,程实. 中国电子科学研究院学报. 2019(01)
[7]一种通用的工业大数据应用中海量对象存储方法实现[J]. 黄明,赵若尘,张云龙. 冶金自动化. 2019(01)
[8]基于WebGIS的神华机车实时状态远程监测系统[J]. 张俊峰,李飞. 机车电传动. 2019(01)
[9]配用电大数据分布式计算集群负载均衡框架[J]. 张令涛,赵林,张亮,田国辉,孙湃. 电网技术. 2019(01)
[10]分布式时空数据库去中心化负载均衡方法[J]. 胡珂,李成名,沈建明. 测绘通报. 2018(12)
博士论文
[1]基于密度聚类与时空图的市场数据可视分析方法研究[D]. 邓超.中国农业大学 2018
硕士论文
[1]基于Nginx的高并发访问服务器的研究与应用[D]. 陈大才.中国科学院大学(中国科学院沈阳计算技术研究所) 2018
[2]基于Hadoop平台的时空数据索引和查询技术研究[D]. 何立志.西安电子科技大学 2018
[3]轻量级地理空间栅格数据管理系统[D]. 陈苗.西安电子科技大学 2018
[4]云环境下海量GIS时空数据存储方法的研究与实现[D]. 许秋熹.西安电子科技大学 2018
[5]基于Hadoop的遥感影像数据私有云平台构建及应用[D]. 谭专条.中国地质大学(北京) 2018
[6]基于Nginx高并发Web服务器负载均衡策略的研究与改进[D]. 孔艳蓉.长安大学 2018
[7]HBase数据库监控系统的设计与实现[D]. 郭丽斯.北京邮电大学 2018
[8]城市车辆轨迹数据的时空索引设计研究[D]. 王凯.武汉大学 2017
[9]基于Hadoop的健康数据管理系统的研究和实现[D]. 王力.西安电子科技大学 2017
[10]面向轨迹大数据存储及查询的NoSQL数据库研究[D]. 闫密巧.华东师范大学 2017
本文编号：3538563
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3538563.html
