基于大数据的定标方法研究与初步应用
发布时间：2021-02-07 15:59
随着卫星载荷数量、功能、种类的不断增加,定标任务量持续上升,传统的定标方法和技术,越来越难以满足多参数、高时效和高频次的定标需求,以及难以提高定标时效性和频次,本文结合全球定标场网和自动化定标等新定标手段的应用,针对定标过程中多源、异构和巨量定标数据的获取、存储、管理和处理等问题,调研了国内外定标多源数据存储与管理方法,引入了基于分布式文件存储系统、分布式数据库和分布式计算等大数据技术,建立大数据定标数据库,为高频次定标提供时间连续的定标基础参量,增加遥感卫星过顶定标场地次数,提高在轨辐射定标频次。本文以Hadoop系统为基础,搭建大数据定标的原型系统,实现分布式存储与分布式计算功能。采用HTML5+JavaScript+React构建大数据定标平台前端页面,采用Java语言+Spring boot构建平台后端服务,并通过SWIG调用C/C++库、GDAL库、HDF4库和HDF5库,实现了基于B/S架构和类似于SAAS的数据和定标服务。为了增加地表和大气等定标参数的时间连续性,本文设计了类似于网络爬虫的定标多源数据自动获取功能,实现水汽、臭氧和地表等定标多源数据的爬取、预处理和存储,为...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：157 页
【学位级别】：博士
【部分图文】：
图１．１遥感技术原理图??遥感技术经过几十年的不断发展，在很多领域的作用越来越重要
量是定量化应用的基础［８］。辐射定标是在一系列的测量过程中决定仪器在空间域、??时间域和光谱域的辖射性能，它的输出是一个与辐射量真实值相关的数值??根据平台或者时期的差异，辐射定标可分为多类，如图１．２所示。??辐射定标??发射前定标?替代定标?星上定标??Ｉ??１?Ｉ?ｉｌｌ?ＩＩＩ??ｉ?外交场／?５?■月告??；?场叉地场ｆ?５亮￥??Ｉ?定定定景ｉ?＾?ｉ??＾?标标标素Ｓ标Ｓ??ｉｉｉ??反辐辐??射亮照??率度度??法法法??图１．２辐射定标类别??１．?１．?１发射前定标??为了确定系统的响应模型和仪器参数，载荷在发射前通常会进行较为全面的??实验室定标。发射前定标结果是判断载荷在轨期间各项性能参数是否衰变，以及??衡量衰变程度的依据［１１］。在太阳反射波段，发射前定标可分为实验室定标和外场??定标。发射前的实验室定标使用稳定光源在实验室对载荷进行辐射定标［１２１发射??前的外场定标使用经过参考板的反射太阳光对载荷进行辐射定标［１＼??１．?１．２星上定标??星上定标一般用于载荷从升空到退役的整个阶段，是监测载荷各项性能参数??的有效技术［１４？］。星上定标过程类似实验室定标过程，是为了获得载荷的各项参??数性能和定标系数，从而标定载荷的辐射、空间和光谱特性［１６＿１８１。由于各种因素??的限制实验室定标仪器难以布设在卫星上，因此需要简化实验室定标装置或者采??用其它合理有效的方法来完成定标。星上定标光源分为内置灯和太阳光两种。??内置灯定标包含灯＋漫射板和灯＋积分球两类
与观测地物光谱分布相近，所以太阳光源可作为标准源。由于太空中无大气衰减，??太阳照射的能量太大，无法直接进行观测，一般都需要衰减太阳光到可实现定标??为止，哀减的方式有两种：漫射板和哀减板＋漫射板，如图１．４所不。Ａｑｕａ和Ｔｅｒｒａ??卫星上搭载的中分辨率成像光谱仪（ＭＯＤＩＳ）、ＥＮＶＩＳＴ上搭载的中分辨率成像??光谱仪（ＭＥＲＩＳ）、Ｌａｎｄｓａｔ８上搭载的业务型陆地成像仪（ＯＬＩ）、ＦＹ－２Ｃ上搭载??的多通道扫描辐射计（ＭＣＲＳ）、ＳｅａＳｔａｒ上搭载的海洋宽视场载荷（ＳｅａＷｉＦＳ）等??均采用了?“太阳＋太阳漫反射板”的星上定标方式。??＾星载传感器?星载传感器??Ｘ?ＩＪ?漫射板＼??漫射板＼??图１．４太阳光定标：太阳＋漫反射板（左），太阳＋衰减板＋漫反射板（右）??图１．４中的两种定标方法很好地弥补了内置灯定标的不足，即全光路和光谱??分布差异，并在国内外很多卫星上得到应用。??３??
【参考文献】：
期刊论文
[1]浅谈Python爬虫技术的网页数据抓取与分析[J]. 吴永聪. 计算机时代. 2019(08)
[2]Real-time intelligent big data processing:technology, platform, and applications[J]. Tongya ZHENG,Gang CHEN,Xinyu WANG,Chun CHEN,Xingen WANG,Sihui LUO. Science China（Information Sciences）. 2019(08)
[3]Linux高性能计算集群SSH安全远程登录的研究[J]. 金能智,文洮,安文婷,杨博超. 现代信息科技. 2019(13)
[4]基于三次样条插值的智能汽车酒驾测控系统设计[J]. 罗春林,崔浩,舒朝君,王亚. 现代电子技术. 2019(10)
[5]基于分布式文件系统的海量数据存储专利技术综述[J]. 倪赛华. 中国新通信. 2019(03)
[6]常见数据预处理技术分析[J]. 周泉锡. 通讯世界. 2019(01)
[7]基于NoSQL的特色数据库系统研究[J]. 赵永强. 图书馆工作与研究. 2018(S1)
[8]面向空间大数据的分布式存储策略[J]. 唐桂文,韩嘉福,李洪省. 计算机技术与发展. 2019(03)
[9]关于国际工程测量的UTM投影变形及抵偿的研究[J]. 张丽娜,靳自强. 河南建材. 2018(06)
[10]无人值守的太阳反射波段超光谱辐照度仪的光机系统设计[J]. 张权,李新,张艳娜,翟文超,刘恩超,郑小兵. 光学学报. 2019(03)
博士论文
[1]场地反射率直接法观测系统的研制与测试[D]. 张权.中国科学技术大学 2019
[2]空间高光谱遥感仪器辐射定标技术研究[D]. 孙立微.中国科学院大学(中国科学院长春光学精密机械与物理研究所) 2018
[3]国产光学卫星遥感数据VNIR波段交叉辐射定标方法与体系研究[D]. 杨爱霞.中国科学院大学(中国科学院遥感与数字地球研究所) 2017
[4]星上比辐射定标器及性能评估方法研究[D]. 李孟凡.中国科学技术大学 2017
[5]大数据环境下遥感图谱应用方法研究[D]. 叶思菁.中国农业大学 2016
硕士论文
[1]基于Hadoop的分布式网络爬虫的研究与实现[D]. 刘星辰.西安理工大学 2019
[2]BRDF测量系统控制软件设计与敦煌场地实测数据处理及分析[D]. 余谭其.中国科学技术大学 2018
[3]基于Hadoop的分布式中文微博情感分析研究与实现[D]. 冯月华.兰州大学 2017
[4]基于HDFS的影像数据金字塔构建及存储技术研究[D]. 林峰.东北林业大学 2016
[5]基于Hadoop的分布式遥感图像处理研究[D]. 殷兵.华东师范大学 2015
[6]基于Hadoop和SVM算法的中文文本分类的研究与实现[D]. 张磊磊.昆明理工大学 2015
[7]遥感陆表特征参量产品真实性检验关键技术研究与系统实现[D]. 张良.电子科技大学 2015
[8]太阳磁场图像的实时采集和分布式存储系统研究与实现[D]. 沈洋斌.昆明理工大学 2014
[9]基于MapReduce的分布式空间连接查询研究[D]. 刘杰.江西理工大学 2013
[10]基于Hadoop云计算平台的聚类算法并行化研究[D]. 张亚楠.内蒙古科技大学 2013
本文编号：3022465
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：157 页
【学位级别】：博士
【部分图文】：
图１．１遥感技术原理图??遥感技术经过几十年的不断发展，在很多领域的作用越来越重要
量是定量化应用的基础［８］。辐射定标是在一系列的测量过程中决定仪器在空间域、??时间域和光谱域的辖射性能，它的输出是一个与辐射量真实值相关的数值??根据平台或者时期的差异，辐射定标可分为多类，如图１．２所示。??辐射定标??发射前定标?替代定标?星上定标??Ｉ??１?Ｉ?ｉｌｌ?ＩＩＩ??ｉ?外交场／?５?■月告??；?场叉地场ｆ?５亮￥??Ｉ?定定定景ｉ?＾?ｉ??＾?标标标素Ｓ标Ｓ??ｉｉｉ??反辐辐??射亮照??率度度??法法法??图１．２辐射定标类别??１．?１．?１发射前定标??为了确定系统的响应模型和仪器参数，载荷在发射前通常会进行较为全面的??实验室定标。发射前定标结果是判断载荷在轨期间各项性能参数是否衰变，以及??衡量衰变程度的依据［１１］。在太阳反射波段，发射前定标可分为实验室定标和外场??定标。发射前的实验室定标使用稳定光源在实验室对载荷进行辐射定标［１２１发射??前的外场定标使用经过参考板的反射太阳光对载荷进行辐射定标［１＼??１．?１．２星上定标??星上定标一般用于载荷从升空到退役的整个阶段，是监测载荷各项性能参数??的有效技术［１４？］。星上定标过程类似实验室定标过程，是为了获得载荷的各项参??数性能和定标系数，从而标定载荷的辐射、空间和光谱特性［１６＿１８１。由于各种因素??的限制实验室定标仪器难以布设在卫星上，因此需要简化实验室定标装置或者采??用其它合理有效的方法来完成定标。星上定标光源分为内置灯和太阳光两种。??内置灯定标包含灯＋漫射板和灯＋积分球两类
与观测地物光谱分布相近，所以太阳光源可作为标准源。由于太空中无大气衰减，??太阳照射的能量太大，无法直接进行观测，一般都需要衰减太阳光到可实现定标??为止，哀减的方式有两种：漫射板和哀减板＋漫射板，如图１．４所不。Ａｑｕａ和Ｔｅｒｒａ??卫星上搭载的中分辨率成像光谱仪（ＭＯＤＩＳ）、ＥＮＶＩＳＴ上搭载的中分辨率成像??光谱仪（ＭＥＲＩＳ）、Ｌａｎｄｓａｔ８上搭载的业务型陆地成像仪（ＯＬＩ）、ＦＹ－２Ｃ上搭载??的多通道扫描辐射计（ＭＣＲＳ）、ＳｅａＳｔａｒ上搭载的海洋宽视场载荷（ＳｅａＷｉＦＳ）等??均采用了?“太阳＋太阳漫反射板”的星上定标方式。??＾星载传感器?星载传感器??Ｘ?ＩＪ?漫射板＼??漫射板＼??图１．４太阳光定标：太阳＋漫反射板（左），太阳＋衰减板＋漫反射板（右）??图１．４中的两种定标方法很好地弥补了内置灯定标的不足，即全光路和光谱??分布差异，并在国内外很多卫星上得到应用。??３??
【参考文献】：
期刊论文
[1]浅谈Python爬虫技术的网页数据抓取与分析[J]. 吴永聪. 计算机时代. 2019(08)
[2]Real-time intelligent big data processing:technology, platform, and applications[J]. Tongya ZHENG,Gang CHEN,Xinyu WANG,Chun CHEN,Xingen WANG,Sihui LUO. Science China（Information Sciences）. 2019(08)
[3]Linux高性能计算集群SSH安全远程登录的研究[J]. 金能智,文洮,安文婷,杨博超. 现代信息科技. 2019(13)
[4]基于三次样条插值的智能汽车酒驾测控系统设计[J]. 罗春林,崔浩,舒朝君,王亚. 现代电子技术. 2019(10)
[5]基于分布式文件系统的海量数据存储专利技术综述[J]. 倪赛华. 中国新通信. 2019(03)
[6]常见数据预处理技术分析[J]. 周泉锡. 通讯世界. 2019(01)
[7]基于NoSQL的特色数据库系统研究[J]. 赵永强. 图书馆工作与研究. 2018(S1)
[8]面向空间大数据的分布式存储策略[J]. 唐桂文,韩嘉福,李洪省. 计算机技术与发展. 2019(03)
[9]关于国际工程测量的UTM投影变形及抵偿的研究[J]. 张丽娜,靳自强. 河南建材. 2018(06)
[10]无人值守的太阳反射波段超光谱辐照度仪的光机系统设计[J]. 张权,李新,张艳娜,翟文超,刘恩超,郑小兵. 光学学报. 2019(03)
博士论文
[1]场地反射率直接法观测系统的研制与测试[D]. 张权.中国科学技术大学 2019
[2]空间高光谱遥感仪器辐射定标技术研究[D]. 孙立微.中国科学院大学(中国科学院长春光学精密机械与物理研究所) 2018
[3]国产光学卫星遥感数据VNIR波段交叉辐射定标方法与体系研究[D]. 杨爱霞.中国科学院大学(中国科学院遥感与数字地球研究所) 2017
[4]星上比辐射定标器及性能评估方法研究[D]. 李孟凡.中国科学技术大学 2017
[5]大数据环境下遥感图谱应用方法研究[D]. 叶思菁.中国农业大学 2016
硕士论文
[1]基于Hadoop的分布式网络爬虫的研究与实现[D]. 刘星辰.西安理工大学 2019
[2]BRDF测量系统控制软件设计与敦煌场地实测数据处理及分析[D]. 余谭其.中国科学技术大学 2018
[3]基于Hadoop的分布式中文微博情感分析研究与实现[D]. 冯月华.兰州大学 2017
[4]基于HDFS的影像数据金字塔构建及存储技术研究[D]. 林峰.东北林业大学 2016
[5]基于Hadoop的分布式遥感图像处理研究[D]. 殷兵.华东师范大学 2015
[6]基于Hadoop和SVM算法的中文文本分类的研究与实现[D]. 张磊磊.昆明理工大学 2015
[7]遥感陆表特征参量产品真实性检验关键技术研究与系统实现[D]. 张良.电子科技大学 2015
[8]太阳磁场图像的实时采集和分布式存储系统研究与实现[D]. 沈洋斌.昆明理工大学 2014
[9]基于MapReduce的分布式空间连接查询研究[D]. 刘杰.江西理工大学 2013
[10]基于Hadoop云计算平台的聚类算法并行化研究[D]. 张亚楠.内蒙古科技大学 2013
本文编号：3022465
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3022465.html
