喀斯特石漠化大数据平台架构和技术初探
发布时间：2021-08-11 07:21
喀斯特石漠化数据多源异构、涉及面广,石漠化成因问题复杂。为更好地揭示喀斯特石漠化的发生发展及其变化规律,解决石漠化治理中的科技难点,将大数据技术引入喀斯特石漠化领域。厘清喀斯特石漠化大数据定义,结合喀斯特石漠化大数据要求,从大数据平台、基础设施平台、技术平台、应用服务平台、运维平台5方面构建喀斯特石漠化大数据平台,旨在为喀斯特地区石漠化综合治理、监测预警、生态修复和生态产业发展提供新的技术手段和决策支持。
【文章来源】：贵州师范大学学报(自然科学版). 2020,38(04)
【文章页数】：8 页
【部分图文】：
喀斯特石漠化大数据平台登录界面
数据源是大数据平台的第一要素,是喀斯特石漠化大数据平台建设的关键支撑。如何增强数据采集与获取能力,有效集成并融合石漠化各类相关数据,是构建喀斯特石漠化大数据平台的前提和基础。喀斯特石漠化数据类型多样,不仅包括自然地理环境本底数据、土地利用现状数据、实时监测数据、多源遥感数据,还包括石漠化生态产业数据、社会经济调查数据、能源结构分布数据、专项调查数据、石漠化治理工程数据、科学研究数据、监测站水文站等收集的数据,并且这些数据分布在自然资源、地质、发改、规划、农业、林业、统计、气象、水利、能源、科研院所等众多部门。例如,地理本底数据中包含有地形、地貌、水文、洞穴分布、土壤、岩性、植被等也分属在不同部门;土地利用现状数据、各类遥感影像及解译数据、水土流失等国土数据;各地面气象站、气象卫星、气象雷达等监测的气象数据;石漠化治理的工程布局数据、治理产业布局、农林草生态工程数据等各类工程数据;石漠化区石漠化现状等级、土壤养分、理化性质及野外调查数据等各类科研数据。叠加社会、经济等人文要素,再考虑1 a、10 a、30 a、50 a不同时间尺度,全球、国家、县域、小流域不同空间尺度,从而形成了多源异构、时空交替、复杂非线性的海量数据。随着物联网、5G技术及“天空地一体化”技术发展,喀斯特石漠化数据来源将不断扩展,多媒体、各类APP数据、地理位置数据、文字短报数据、各类传感器设备采集数据等也成为喀斯特石漠化数据来源的新渠道。大数据时代,喀斯特石漠化数据的空间分布范围更广、时效性更强、数据量更大、内容更庞杂,这对石漠化大数据的采集获取、存储管理及处理分析等提出了更高要求[7]。
数据采集就是搜集符合数据挖掘要求的原始数据[14-15]。数据采集在大数据研究与应用极为重要。数据采集工作做得好,大数据集成、分析与管理工作才能有序进行[20]。根据采集数据的类型可以分为不同的采集方式,主要有传感器采集、网络数据采集、系统日志采集以及其他数据采集[7,14,17]等。喀斯特石漠化生态环境数据采集最常用、操作简单的手段就是通过传感器采集,外业科技人员利用无线或有线传感器设备采集了大量的地质灾害调查、石漠化治理监测、生态环境监测与调查、植被监测和水土流失监测等,常用的土壤温湿度、空气温湿度、雨量、光照传感器等都是生态环境监测的必配;网络数据采集主要针对非结构化数据的采集,是通过网络爬虫工具或网页公开的API从各类网页上获取的非结构数据,并以结构化的方式存储到统一的本地数据文件。对于网络流量的采集还可以使用DPI或DFI等带宽管理技术进行处理。Apache的Chukwa、Cloudera的Flume、Facebook的Scribe和Linkedin的Kafka等[17,19,21]均采用系统日志采集,也是大多数互联网企业[21]对海量数据采集的主要工具。另外,国家规定的保密性数据,必须按照国家信息技术大数据安全相关标准严格遵守保密规定;对于企业生产经营数据或科学研究数据等保密性数据,通过签订保密协议、技术合作或有偿购买服务,在遵守国家数据保密相关标准和数据保护知识产权的情况下,采用使用特定系统接口等相关方式采集数据,确保数据的安全性。3.3.1.2 数据传输
【参考文献】：
期刊论文
[1]大数据技术在生态环境领域的应用综述[J]. 熊丽君,袁明珠,吴建强. 生态环境学报. 2019(12)
[2]时空大数据背景下并行数据处理分析挖掘的进展及趋势[J]. 关雪峰,曾宇媚. 地理科学进展. 2018(10)
[3]第三次石漠化监测主要技术特点与存在问题分析[J]. 李梦先,但新球,吴协保,吴照柏. 中南林业调查规划. 2018(03)
[4]基于大数据的政府环境决策能力建设[J]. 邬晓燕. 行政管理改革. 2017(09)
[5]生态环境大数据平台架构和技术初探[J]. 赵芬,张丽云,赵苗苗,邵蕊,刘丽香,赵海凤,徐明. 生态学杂志. 2017(03)
[6]大数据在生态环境领域的应用进展与展望[J]. 赵苗苗,赵师成,张丽云,赵芬,邵蕊,刘丽香,赵海凤,徐明. 应用生态学报. 2017(05)
[7]网络安全态势监控机制与模型研究[J]. 刘鹏,陈厚武,房潇,杨健. 信息网络安全. 2015(09)
[8]大数据系统综述[J]. 李学龙,龚海刚. 中国科学:信息科学. 2015(01)
[9]农业大数据综述[J]. 张浩然,李中良,邹腾飞,魏旭阳,杨国才. 计算机科学. 2014(S2)
[10]大数据:概念、技术及应用研究综述[J]. 方巍,郑玉,徐江. 南京信息工程大学学报(自然科学版). 2014(05)
博士论文
[1]林业资源信息云计算服务体系研究[D]. 孙伟.中国林业科学研究院 2012
硕士论文
[1]喀斯特石漠化治理农村专业合作经济组织培育与生态产业模式[D]. 刘艳鸿.贵州师范大学 2018
[2]基于卷积神经网络的语音情感识别[D]. 陈晓东.华南理工大学 2015
[3]数据清洗的若干关键技术研究[D]. 包从剑.江苏大学 2007
本文编号：3335733
【文章来源】：贵州师范大学学报(自然科学版). 2020,38(04)
【文章页数】：8 页
【部分图文】：
喀斯特石漠化大数据平台登录界面
数据源是大数据平台的第一要素,是喀斯特石漠化大数据平台建设的关键支撑。如何增强数据采集与获取能力,有效集成并融合石漠化各类相关数据,是构建喀斯特石漠化大数据平台的前提和基础。喀斯特石漠化数据类型多样,不仅包括自然地理环境本底数据、土地利用现状数据、实时监测数据、多源遥感数据,还包括石漠化生态产业数据、社会经济调查数据、能源结构分布数据、专项调查数据、石漠化治理工程数据、科学研究数据、监测站水文站等收集的数据,并且这些数据分布在自然资源、地质、发改、规划、农业、林业、统计、气象、水利、能源、科研院所等众多部门。例如,地理本底数据中包含有地形、地貌、水文、洞穴分布、土壤、岩性、植被等也分属在不同部门;土地利用现状数据、各类遥感影像及解译数据、水土流失等国土数据;各地面气象站、气象卫星、气象雷达等监测的气象数据;石漠化治理的工程布局数据、治理产业布局、农林草生态工程数据等各类工程数据;石漠化区石漠化现状等级、土壤养分、理化性质及野外调查数据等各类科研数据。叠加社会、经济等人文要素,再考虑1 a、10 a、30 a、50 a不同时间尺度,全球、国家、县域、小流域不同空间尺度,从而形成了多源异构、时空交替、复杂非线性的海量数据。随着物联网、5G技术及“天空地一体化”技术发展,喀斯特石漠化数据来源将不断扩展,多媒体、各类APP数据、地理位置数据、文字短报数据、各类传感器设备采集数据等也成为喀斯特石漠化数据来源的新渠道。大数据时代,喀斯特石漠化数据的空间分布范围更广、时效性更强、数据量更大、内容更庞杂,这对石漠化大数据的采集获取、存储管理及处理分析等提出了更高要求[7]。
数据采集就是搜集符合数据挖掘要求的原始数据[14-15]。数据采集在大数据研究与应用极为重要。数据采集工作做得好,大数据集成、分析与管理工作才能有序进行[20]。根据采集数据的类型可以分为不同的采集方式,主要有传感器采集、网络数据采集、系统日志采集以及其他数据采集[7,14,17]等。喀斯特石漠化生态环境数据采集最常用、操作简单的手段就是通过传感器采集,外业科技人员利用无线或有线传感器设备采集了大量的地质灾害调查、石漠化治理监测、生态环境监测与调查、植被监测和水土流失监测等,常用的土壤温湿度、空气温湿度、雨量、光照传感器等都是生态环境监测的必配;网络数据采集主要针对非结构化数据的采集,是通过网络爬虫工具或网页公开的API从各类网页上获取的非结构数据,并以结构化的方式存储到统一的本地数据文件。对于网络流量的采集还可以使用DPI或DFI等带宽管理技术进行处理。Apache的Chukwa、Cloudera的Flume、Facebook的Scribe和Linkedin的Kafka等[17,19,21]均采用系统日志采集,也是大多数互联网企业[21]对海量数据采集的主要工具。另外,国家规定的保密性数据,必须按照国家信息技术大数据安全相关标准严格遵守保密规定;对于企业生产经营数据或科学研究数据等保密性数据,通过签订保密协议、技术合作或有偿购买服务,在遵守国家数据保密相关标准和数据保护知识产权的情况下,采用使用特定系统接口等相关方式采集数据,确保数据的安全性。3.3.1.2 数据传输
【参考文献】：
期刊论文
[1]大数据技术在生态环境领域的应用综述[J]. 熊丽君,袁明珠,吴建强. 生态环境学报. 2019(12)
[2]时空大数据背景下并行数据处理分析挖掘的进展及趋势[J]. 关雪峰,曾宇媚. 地理科学进展. 2018(10)
[3]第三次石漠化监测主要技术特点与存在问题分析[J]. 李梦先,但新球,吴协保,吴照柏. 中南林业调查规划. 2018(03)
[4]基于大数据的政府环境决策能力建设[J]. 邬晓燕. 行政管理改革. 2017(09)
[5]生态环境大数据平台架构和技术初探[J]. 赵芬,张丽云,赵苗苗,邵蕊,刘丽香,赵海凤,徐明. 生态学杂志. 2017(03)
[6]大数据在生态环境领域的应用进展与展望[J]. 赵苗苗,赵师成,张丽云,赵芬,邵蕊,刘丽香,赵海凤,徐明. 应用生态学报. 2017(05)
[7]网络安全态势监控机制与模型研究[J]. 刘鹏,陈厚武,房潇,杨健. 信息网络安全. 2015(09)
[8]大数据系统综述[J]. 李学龙,龚海刚. 中国科学:信息科学. 2015(01)
[9]农业大数据综述[J]. 张浩然,李中良,邹腾飞,魏旭阳,杨国才. 计算机科学. 2014(S2)
[10]大数据:概念、技术及应用研究综述[J]. 方巍,郑玉,徐江. 南京信息工程大学学报(自然科学版). 2014(05)
博士论文
[1]林业资源信息云计算服务体系研究[D]. 孙伟.中国林业科学研究院 2012
硕士论文
[1]喀斯特石漠化治理农村专业合作经济组织培育与生态产业模式[D]. 刘艳鸿.贵州师范大学 2018
[2]基于卷积神经网络的语音情感识别[D]. 陈晓东.华南理工大学 2015
[3]数据清洗的若干关键技术研究[D]. 包从剑.江苏大学 2007
本文编号：3335733
本文链接：https://www.wllwen.com/projectlw/zrdllw/3335733.html
