面向大数据的遥感影像金字塔模型的研究
发布时间：2021-01-11 10:45
随着大数据时代的到来,大数据对管理信息系统数据处理相关过程产生了非常大的影响,信息管理系统对数据的管理越来越精细化,大数据驱动下的管理工程已经全面爆发。遥感技术已经广泛应用到社会工作的方方面面,如何在遥感大数据驱动下对其进行高效管理是我们目前最需要解决的问题。影像金字塔技术和分布式技术是管理影像大数据的关键技术,可以实现影像大数据的高效读取,对遥感影像的应用具有重要意义。本文主要研究遥感大数据驱动下影像金字塔数据的管理,具体包括影像金字塔构建方法的研究和影像金字塔管理优化等。其中影像金字塔构建方法研究方面,首先针对多源、重叠区域的影像提出多分辨率影像分层策略,对不规则影像提出不规则分块策略;其次构建模板影像金字塔模型并对其进行Hilbert曲线编码,利用父编码+子编码的方式对索引进行改进,从而实现影像的快速加载和显示;最后通过对影像金字塔的增量更新研究实现了影像的更新替换。影像金字塔管理优化方面,建立基于HBase的影像数据存储结构,对其行键Row Key进行改进,并设计影像的快速读取流程,实现影像块的并行入库。设置基于GeoWebCache缓存中间件的金字塔影像块缓存区,从而缩短影像...
【文章来源】：东北林业大学黑龙江省 211工程院校 教育部直属院校
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
图２－１高斯金字塔图??
知范围的空间等分成四个相等的子空间，如此递归下去，直到树的层次可以满足一定要??求或达到某种深度后停止划分。四叉树作为一种有效的数据结构，不仅可以用来建立空??间数据的索引，它还可用于对栅格数据进行组织。四叉树的一般图形结构如图２－２所??示：??根节点??．?Ａ?Ａ??ｍｍ?ｍｍ??图２－２四叉树结构图??常规四叉树也叫非线性四叉树，即将栅格数据平均分成四份，即２ｎ＊２ｎ个，紧接着??检查四份数据的灰度值，如果灰度值差超过可以接受的阈值，则继续将该区域的数据平??均分成四份，一直到所在区域的灰度值差均在可接受的阈值内。如图２－３所示，四叉树??－９?－??
图２－６?ＨＤＦＳ系统架构图??一个标准的ＨＤＦＳ集群有３个守护进程组成，包括ＮａｍｅＮｏｄｅ、次ＮａｍｅＮｏｄｅ和多??个ＤａｔａＮｏｄｅ［３８］。ＨＤＦＳ系统架构图如图２－６所示：??整个ＨＤＦＳ集群只有一个ＮａｍｅＮｏｄｅ，也是我们所说的主节点，它作为集群中的管??理节点对整个集群中的元数据信息进行存储和管理，通过打开或关闭文件实现对文件系??统的名字空间的等相关操作，同时ＮａｍｅＮｏｄｅ节点也负责确定数据库到某一个具体??ＤａｔａＮｏｄｅ节点的映射关系。所以，客户端可以通过调用ＮａｍｅＮｏｄｅ主节点找到相关元??数据信息，从而可以找到相应的文件。此外，ＮａｍｅＮｏｄｅ还负责监控检查ＤａｔａＮｏｄｅ的??健康状况，如果发现ＤａｔａＮｏｄｅ出现毛病，会踢出该节点并把数据拷贝到其它??ＤａｔａＮｏｄｅ?〇??次ＮａｍｅＮｏｄｅ的任务是协助ＮａｍｅＮｏｄｅ处理相关事务，主要通过对ＮａｍｅＮｏｄｅ内事??务日志检查点定期进行处理
【参考文献】：
期刊论文
[1]云存储环境的多副本数据完整性验证方案[J]. 李昊宇,张龙军,李庆鹏. 中国科技论文. 2017(14)
[2]面向Spark的遥感影像金字塔模型的并行构建方法[J]. 黄冬梅,杨雨浩,梅海彬,王振华. 计算机应用与软件. 2017(05)
[3]基于HBase的分布式空间数据库技术[J]. 吴琰,唐小明. 吉林大学学报(理学版). 2016(06)
[4]遥感大数据研究现状与发展趋势[J]. 朱建章,石强,陈凤娥,史晓丹,董泽民,秦前清. 中国图象图形学报. 2016(11)
[5]云计算中Hadoop技术研究与应用综述[J]. 夏靖波,韦泽鲲,付凯,陈珍. 计算机科学. 2016(11)
[6]分布式存储中的纠删码容错技术研究[J]. 王意洁,许方亮,裴晓强. 计算机学报. 2017(01)
[7]利用四叉树编码的快速二值图像逻辑运算方法[J]. 郭斯羽,周卫方,温和,梁梦霞. 电子测量与仪器学报. 2016(06)
[8]大数据环境下的管理信息系统发展研究[J]. 杨丽彬,李海林,张飞波. 大数据. 2016(01)
[9]基于NoSQL的高分高光谱遥感影像存储模型设计与实现[J]. 王晓蕊,杨强根,陈凤敏,马维峰,唐湘丹,谭兴,张时忠. 地球科学(中国地质大学学报). 2015(08)
[10]基于MPI的大规模遥感影像金字塔并行构建方法[J]. 赫高进,熊伟,陈荦,吴秋云,景宁. 地球信息科学学报. 2015(05)
博士论文
[1]双态云支持下高分辨率遥感存储与计算一体化研究[D]. 李荣亚.浙江大学 2014
[2]分布式存储系统中基于纠删码的容错技术研究[D]. 朱云锋.中国科学技术大学 2014
硕士论文
[1]海量遥感影像快速浏览技术研究与实现[D]. 运晓东.中国科学院大学(工程管理与信息技术学院) 2016
[2]基于Arc SDE和SQL Server空间数据库的设计与优化方法研究[D]. 马元龙.安徽农业大学 2016
[3]基于HDFS的影像数据金字塔构建及存储技术研究[D]. 林峰.东北林业大学 2016
[4]基于HDFS的分布式存储系统的研究与实现[D]. 崔园.电子科技大学 2016
[5]基于HBase的弹性可视化遥感影像存储系统[D]. 张晓兵.浙江大学 2016
[6]视频编码与纠删码协同编码框架的研究[D]. 胡洁珺.吉林大学 2015
[7]高分辨率遥感影像共享关键技术研究与实现[D]. 高斌.电子科技大学 2014
[8]基于HDFS的分布式海量遥感影像数据存储技术研究[D]. 陈时远.中国科学院大学(工程管理与信息技术学院) 2013
[9]几何校正中重采样方法研究[D]. 陈灿.电子科技大学 2012
[10]基于HDFS的海量分布式文件系统的研究与优化[D]. 付东华.北京邮电大学 2012
本文编号：2970628
【文章来源】：东北林业大学黑龙江省 211工程院校 教育部直属院校
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
图２－１高斯金字塔图??
知范围的空间等分成四个相等的子空间，如此递归下去，直到树的层次可以满足一定要??求或达到某种深度后停止划分。四叉树作为一种有效的数据结构，不仅可以用来建立空??间数据的索引，它还可用于对栅格数据进行组织。四叉树的一般图形结构如图２－２所??示：??根节点??．?Ａ?Ａ??ｍｍ?ｍｍ??图２－２四叉树结构图??常规四叉树也叫非线性四叉树，即将栅格数据平均分成四份，即２ｎ＊２ｎ个，紧接着??检查四份数据的灰度值，如果灰度值差超过可以接受的阈值，则继续将该区域的数据平??均分成四份，一直到所在区域的灰度值差均在可接受的阈值内。如图２－３所示，四叉树??－９?－??
图２－６?ＨＤＦＳ系统架构图??一个标准的ＨＤＦＳ集群有３个守护进程组成，包括ＮａｍｅＮｏｄｅ、次ＮａｍｅＮｏｄｅ和多??个ＤａｔａＮｏｄｅ［３８］。ＨＤＦＳ系统架构图如图２－６所示：??整个ＨＤＦＳ集群只有一个ＮａｍｅＮｏｄｅ，也是我们所说的主节点，它作为集群中的管??理节点对整个集群中的元数据信息进行存储和管理，通过打开或关闭文件实现对文件系??统的名字空间的等相关操作，同时ＮａｍｅＮｏｄｅ节点也负责确定数据库到某一个具体??ＤａｔａＮｏｄｅ节点的映射关系。所以，客户端可以通过调用ＮａｍｅＮｏｄｅ主节点找到相关元??数据信息，从而可以找到相应的文件。此外，ＮａｍｅＮｏｄｅ还负责监控检查ＤａｔａＮｏｄｅ的??健康状况，如果发现ＤａｔａＮｏｄｅ出现毛病，会踢出该节点并把数据拷贝到其它??ＤａｔａＮｏｄｅ?〇??次ＮａｍｅＮｏｄｅ的任务是协助ＮａｍｅＮｏｄｅ处理相关事务，主要通过对ＮａｍｅＮｏｄｅ内事??务日志检查点定期进行处理
【参考文献】：
期刊论文
[1]云存储环境的多副本数据完整性验证方案[J]. 李昊宇,张龙军,李庆鹏. 中国科技论文. 2017(14)
[2]面向Spark的遥感影像金字塔模型的并行构建方法[J]. 黄冬梅,杨雨浩,梅海彬,王振华. 计算机应用与软件. 2017(05)
[3]基于HBase的分布式空间数据库技术[J]. 吴琰,唐小明. 吉林大学学报(理学版). 2016(06)
[4]遥感大数据研究现状与发展趋势[J]. 朱建章,石强,陈凤娥,史晓丹,董泽民,秦前清. 中国图象图形学报. 2016(11)
[5]云计算中Hadoop技术研究与应用综述[J]. 夏靖波,韦泽鲲,付凯,陈珍. 计算机科学. 2016(11)
[6]分布式存储中的纠删码容错技术研究[J]. 王意洁,许方亮,裴晓强. 计算机学报. 2017(01)
[7]利用四叉树编码的快速二值图像逻辑运算方法[J]. 郭斯羽,周卫方,温和,梁梦霞. 电子测量与仪器学报. 2016(06)
[8]大数据环境下的管理信息系统发展研究[J]. 杨丽彬,李海林,张飞波. 大数据. 2016(01)
[9]基于NoSQL的高分高光谱遥感影像存储模型设计与实现[J]. 王晓蕊,杨强根,陈凤敏,马维峰,唐湘丹,谭兴,张时忠. 地球科学(中国地质大学学报). 2015(08)
[10]基于MPI的大规模遥感影像金字塔并行构建方法[J]. 赫高进,熊伟,陈荦,吴秋云,景宁. 地球信息科学学报. 2015(05)
博士论文
[1]双态云支持下高分辨率遥感存储与计算一体化研究[D]. 李荣亚.浙江大学 2014
[2]分布式存储系统中基于纠删码的容错技术研究[D]. 朱云锋.中国科学技术大学 2014
硕士论文
[1]海量遥感影像快速浏览技术研究与实现[D]. 运晓东.中国科学院大学(工程管理与信息技术学院) 2016
[2]基于Arc SDE和SQL Server空间数据库的设计与优化方法研究[D]. 马元龙.安徽农业大学 2016
[3]基于HDFS的影像数据金字塔构建及存储技术研究[D]. 林峰.东北林业大学 2016
[4]基于HDFS的分布式存储系统的研究与实现[D]. 崔园.电子科技大学 2016
[5]基于HBase的弹性可视化遥感影像存储系统[D]. 张晓兵.浙江大学 2016
[6]视频编码与纠删码协同编码框架的研究[D]. 胡洁珺.吉林大学 2015
[7]高分辨率遥感影像共享关键技术研究与实现[D]. 高斌.电子科技大学 2014
[8]基于HDFS的分布式海量遥感影像数据存储技术研究[D]. 陈时远.中国科学院大学(工程管理与信息技术学院) 2013
[9]几何校正中重采样方法研究[D]. 陈灿.电子科技大学 2012
[10]基于HDFS的海量分布式文件系统的研究与优化[D]. 付东华.北京邮电大学 2012
本文编号：2970628
本文链接：https://www.wllwen.com/guanlilunwen/gongchengguanli/2970628.html
