基于分布式存储的海量遥感影像分类方法研究

发布时间：2020-06-08 00:37

【摘要】：随着对地观测技术的不断发展,遥感影像的分类在军事、农业等领域发挥着重要的作用。传统的遥感影像分类方法需要人工设计特征和参数,使得模型的泛化性差且分类精度低。深度学习作为一种新兴的技术,在图像分类领域取得了突破性进展,它能够自动的学习图像的深层特征,具有较高的识别准确率。由于深度学习模型参数较多,一般采用GPU服务器对其进行训练。但是遥感影像数据量较大,单GPU服务器无法高效的管理海量遥感影像。因此,本文提出了一种基于分布式存储的海量遥感影像分类方法,该方法将分布式文件系统作为底层的存储架构,在上层采用GPU服务器训练改进后的遥感影像分类模型。论文的主要研究内容如下所示:(1)为解决单GPU服务器无法高效地管理海量遥感影像的问题,本文提出了一种基于HBase的海量遥感影像并行处理方法。其利用HDFS分布式文件系统和分布式数据库HBase构造了面向遥感影像应用的并行处理架构,对大规模遥感影像进行管理。本文采用希尔伯特曲线和网格索引相结合的索引方式,保证遥感数据在HBase的物理存储结构上具有较高的空间临近性。同时在影像金字塔的构建和数据存储的过程中,本文提出了一种基于MapReduce的并行处理方法,有效的减少了数据的存储与读取时间。实验结果表明,基于HBase的并行处理遥感影像的方法,可以快速的处理大规模遥感影像。与Oracle和MongoDB存储方法相比,该方法具有较高的扩展性和较短的处理时间,能够为大规模遥感影像的分类提供良好的数据管理服务。(2)为了减少遥感影像分类模型的训练时间和提高分类精度,本文提出了一种基于迁移学习改进的U-Net网络模型。该方法首先基于分布式存储结构设计了一种并行采样算法MRSW,其充分利用了遥感影像金字塔数据,缩短了训练数据的构造时间。然后采用VGG16模型的卷积参数用于初始化U-Net模型,加速了模型的收敛速度;为了避免模型产生过拟合,本文对U-Net模型下采样前和上采样通道合并后进行Batch Normalization操作;由于遥感影像中类别分布不均衡,导致模型的分类精度较低,本文将用focal loss扩展到多分类作为损失函数,增加错分样本的损失权重提高了模型的分类精度。实验结果证明,本文提出的基于迁移学习改进的U-Net模型在训练过程中更加稳定,在减少模型训练时间的同时具有较高的泛化能力。其在测试数据集上可达到94.12%的准确率,较原始U-Net模型提高了 5.88%。
【图文】：

，关技术；同时，对迁移学习方法进行论述介绍了卷积神经网络和全卷和特点，将其应用于遥感影像的分类中。逡逑布式存储相关技术逡逑式文件系统将将物理存储资源不局限在本地节点，而是通过网络与其单机的处理方法难以存储海量的遥感数据，分布式文件系统可以动态储容量，解决了大规模遥感影像的存储问题。逡逑ａｄｏｏｐ邋概述逡逑ｏｏｐ由Ａｐａｃｈｅ邋Ｓｏｆｔｗａｒｅ邋Ｆｏｕｎｄａｔｉｏｎ公司于２００５年秋天作为Ｌｕｃｅｎｅ一部分正式引入，是一个运行在普通物理机上的分布式文件系统与并ａｄｏｏｐ是一个开源的云计算平台，能够为海量数据提供高效地、伸缩并行处理软件框架。它通过采用多副本存储的冗余存储方式保证了系解决了实际环境中，计算节点失效、并行任务执行失败的情况。由于成本较低的普通机与组成，其可以快速的利用多台ＰＣ机搭建出一个量大的并行集群环境。逦逦逡逑

逡逑图２－１展示了邋Ｈａｄｏｏｐ的架构，其主要包括分布式存储（ＨＤＦＳ）和分布式计算框架逡逑（ＭａｐＲｅｄｕｃｅ）两个部分，其中主节点负责管理集群的运行状态，从节点作为数据存储逡逑单元。逡逑２．１．２分布式文件系统逡逑分布式文件系统ＨＤＦＳ邋（Ｈａｄｏｏｐ邋Ｄｉｓｔｒｉｂｕｔｅｄ邋Ｈｉｅ邋Ｓｙｓｔｅｍ）是Ｈａｄｏｏｐ框架的主要组逡逑件之一［５６］。其采用多副本存储的方式将存储数据分散到集群中的多个计算节点中，保证逡逑了邋ＨＤＦＳ中存储数据具有较高的可靠性和稳定性，为用户提供了大规模数据的存储与访逡逑问功能。其架构图如图２－２所示。逡逑＾逦］邋Ｍ＝Ｔ．逡逑Ｓ？！逦＾；逦逦逡逑Ｍｅｔａｄａｔａ邋ｏｐｓ邋／逦＼逡逑，邋＼逡逑＾逦＾＾Ｂｌｏｃｋ邋ｏｐｓ逡逑Ｃ邋Ｃｌｉｅｎｔ邋Ｊ逡逑＊１逦ＤａｔａＮｏｄｅｓ逦＇Ｖ逡逑Ｉ邋Ｒｅａｄ邋ＤａｔａＮｏｄｅ逦Ｎ．逡逑□邋□逦□邋□邋口邋□邋Ｒｅｐｌｉｃａｔｉｏｎ邋□邋Ｏ逡逑ＥＺ１逦WW逦□逡逑Ｒａｃｋｌ逦Ｒａｃｋ２逡逑＾邋Ｃｌｉｅｎｔ邋Ｊ逡逑图２－２邋ＨＤＦＳ架构图逡逑分布式文件系统ＨＤＦＳ主要由两个部分组成：主节点Ｎａｍｅｎｏｄｅ和从节点逡逑ＤａｔａＮｏｄｅ。主节点用于存储在ＨＤＦＳ上的元数据，主要负责Ｈａｄｏｏｐ集群的运行监控和逡逑用户发出的数据请求等，是分布式文件系统的核心部分。从节点ＤａｔａＮｏｄｅ中存储具体逡逑的数据和执行用户提交的数据处理任务，，其最小的存储单元不是字节，而是数据块，这逡逑样在处理大规模数据事可以更好的利用硬盘的存储效率。在ＨＤＦＳ１．０系统中块大小为逡逑６４Ｍ
【学位授予单位】：东北林业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP751

【相似文献】

相关期刊论文 前10条

1 朱丹瑶;;遥感影像分类方法研究[J];黑龙江科技信息;2012年33期

2 贾坤;李强子;田亦陈;吴炳方;;遥感影像分类方法研究进展[J];光谱学与光谱分析;2011年10期

3 杜玫芳;;神经网络在遥感影像分类应用中的若干进展[J];科技情报开发与经济;2007年27期

4 赵海强;;基于样本优选改进的随机森林遥感影像分类研究[J];城市勘测;2017年04期

5 黄恩兴;;遥感影像分类结果的不确定性研究[J];中国农学通报;2010年05期

6 李爽,丁圣彦,许叔明;遥感影像分类方法比较研究[J];河南大学学报(自然科学版);2002年02期

7 曹磊;;面向高分辨率遥感影像分类的分层策略研究[J];四川水泥;2017年05期

8 张佳;谢玉凤;;高光谱遥感影像分类方法综述[J];安徽农学通报;2017年14期

9 黄冬梅;陈珂;王振华;刘爽;;利用空间抽样理论的遥感影像分类结果精度评价方法[J];计算机应用与软件;2016年07期

10 张雁;吴保国;王冬;;遥感影像分类方法研究动态[J];安徽农业科学;2012年28期

相关会议论文 前10条

1 王梁;韩坤英;;分形理论在遥感影像分类中的应用[A];第十二届全国数学地质与地学信息学术研讨会论文集[C];2013年

2 赵银娣;蔡燕;;纹理特征在高空间分辨率遥感影像分类中的应用探讨[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年

3 汪东川;龚建华;张利辉;;基于时间序列轨迹分析的遥感影像分类结果联合校正[A];第十七届中国遥感大会摘要集[C];2010年

4 宁敢;;基于对象级的遥感影像分类在土地利用类型变化检测与分析中的应用——以北京市海淀区韩家川村及马连洼村为例[A];地球资源环境定量化理论与应用——2009年全国数学地球科学与地学信息学术会议论文集[C];2009年

5 汤家法;;基于可拓分类器的遥感影像分类[A];第十七届中国遥感大会摘要集[C];2010年

6 王珊珊;季民;高洁;焦其松;;CBR方法在高分辨率遥感影像分类中的应用[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年

7 杨剑;蒲英霞;何一鸣;;基于Getis的遥感影像分类研究[A];中国地理学会百年庆典学术论文摘要集[C];2009年

8 杨春萍;余先川;;基于稀疏成分分析的遥感图像分类[A];地球资源环境定量化理论与应用——2009年全国数学地球科学与地学信息学术会议论文集[C];2009年

9 ;结合光谱、纹理与形状特征的高空间分辨率遥感影像分类(英文)[A];中国测绘学会第九次全国会员代表大会暨学会成立50周年纪念大会论文集[C];2009年

10 刘忠阳;陈怀亮;杜子璇;邹春辉;;基于决策树方法的Landsat7 ETM+遥感影像分类研究[A];农业生态与卫星遥感应用技术学术交流会论文摘要集[C];2006年

相关博士学位论文 前10条

1 张爱竹;基于万有引力模型的高分辨率遥感影像分类方法研究[D];中国石油大学(华东);2017年

2 王海军;深度卷积神经网络在遥感影像分类的应用研究[D];中国地质大学(北京);2018年

3 刘志刚;支撑向量机在光谱遥感影像分类中的若干问题研究[D];武汉大学;2004年

4 巫兆聪;粗集理论在遥感影像分类中的应用[D];武汉大学;2004年

5 胥海威;基于改进随机聚类决策森林算法的遥感影像分类研究[D];中南大学;2012年

6 亓呈明;基于多核学习的高光谱遥感影像分类方法研究[D];中国地质大学(北京);2016年

7 王巍;基于Agent的遥感影像分类方法及其应用研究[D];中国地质大学(北京);2016年

8 夏俊士;基于集成学习的高光谱遥感影像分类[D];中国矿业大学;2013年

9 丁胜;智能优化算法在高光谱遥感影像分类中的应用研究[D];武汉大学;2010年

10 陈丹;基于优化决策树的高分辨率遥感影像分类技术研究[D];武汉大学;2010年

相关硕士学位论文 前10条

1 乔贤贤;基于多特征融合与深度置信网络的遥感影像分类研究[D];河南大学;2019年

2 李洪川;多核支持向量机在高分辨率遥感影像分类中的应用研究[D];重庆邮电大学;2018年

3 田冬雪;基于分布式存储的海量遥感影像分类方法研究[D];东北林业大学;2019年

4 刘威;基于多类特征深度学习的高分辨率遥感影像分类[D];北京建筑大学;2019年

5 薛洪飞;基于深度学习的遥感影像分类方法研究[D];哈尔滨工程大学;2019年

6 余威;基于深度学习的遥感影像分类应用研究[D];贵州大学;2019年

7 段琳琳;基于深度学习的遥感影像分类研究[D];河南大学;2018年

8 王铭恺;高分辨率遥感影像分类方法研究及在景观格局分析中的应用[D];合肥工业大学;2018年

9 李健;国产高分遥感影像分类方法综合对比研究[D];长沙理工大学;2017年

10 汪光亚;基于条件随机场的多时相遥感影像分类[D];南京理工大学;2018年

本文编号：2702241