基于Hadoop的气温数据组织及时空分异特征提取方法研究

发布时间：2017-10-11 06:47

  本文关键词：基于Hadoop的气温数据组织及时空分异特征提取方法研究

  更多相关文章： 气象数据 Hadoop 数据组织 KDE 时空分异

【摘要】：气温要素是气象研究的热点对象,深入了解气温要素的变化规律有助于提高气象预报精度,对指导农业生产、生态治理也具有重要意义。随着气象事业信息化程度的不断提高,气象科研和管理活动中采集并积累了大量气象信息资料。气象信息种类繁多,格式迥异、管理分散等特点,极大阻碍了公共气象信息服务的发展。目前对气象数据的研究存在海量气象数据处理效率低,多种研究技术的融合程度低等问题,无法满足气象服务的时效性和内容丰富性的要求。此外还缺乏针对于气温日变化的时空分异特征的大尺度、多维度的研究。Hadoop这一开源的云计算框架为海量气象数据的研究提供了新的手段。基于此,本文在已有的气象学理论研究基础上,以Hadoop和GIS为技术支撑,引入云计算和地理学中相关的数据分析、处理方法,顾及地域对气湿的影响,以美国国家气候数据中心(以下简称NCDC)2009-2013五年的全球地面小时观测数据为数据源,进行数据组织方法的设计和气温日变化时空分异特征的提取。主要研究内容和研究成果如下：(1)针对气温观测日志数据的特点,基于HBase研究海量气象时空数据组织方法。研究并设计了气象数据的表结构,索引机制及入库方式,并提出了HBase运行参数的优化方案。通过引入Solr分布式搜索引擎的索引机制解决了HBase不支持二级辅助索引的问题。(2)借助Hadoop平台和GIS平台,研究气温日变化时空分异特征提取的方法。基于MapReduce编程模型研究并设计了气温因子提取、统计,气温日变化曲线模拟的分布式算法。在此基础上,借助GIS地学分析方法研究并设计了气温日变化空间影响因素提取、计算方法。(3)对文中提出的气象数据组织方法、气温日变化时空分异特征提取方法分别从高效性和准确性方面进行验证。实验结果表明,本文提出的基于HBase设计的气象数据组织方法和借助Hadoop和GIS技术设计的气温日变化时空分异特征提取方法高效、准确。
【关键词】：气象数据 Hadoop 数据组织 KDE 时空分异
【学位授予单位】：南京师范大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P413;P409
【目录】：

• 摘要4-5
• Abstract5-13
• 第一章 绪论13-24
• 1.1 研究背景与意义13-14
• 1.1.1 研究背景13-14
• 1.1.2 研究意义14
• 1.2 国内外研究现状14-18
• 1.2.1 气象数据挖掘14-15
• 1.2.2 云计算在气象中的应用15-17
• 1.2.3 GIS在气象中的应用17-18
• 1.2.4 研究现状总结18
• 1.3 研究目标、研究内容18-19
• 1.3.1 研究目标18-19
• 1.3.2 研究内容19
• 1.4 研究方法和技术路线19-22
• 1.4.1 研究方法19
• 1.4.2 技术路线19-22
• 1.5 论文结构22-23
• 1.6 本章小结23-24
• 第二章 相关理论与技术24-34
• 2.1 Hadoop24-32
• 2.1.1 分布式文件系统(HDFS)24-26
• 2.1.2 分布式计算模型(MapReduce)26-28
• 2.1.3 分布式数据库HBase28-32
• 2.2 Solr搜索引擎32-33
• 2.3 核密度估计(KDE)33
• 2.4 本章小结33-34
• 第三章 基于HBase的气象时空数据组织方法34-47
• 3.1 气象数据来源及其特点34-36
• 3.1.1 气象数据来源及种类34-35
• 3.1.2 气象数据特点35-36
• 3.2 NCDC数据概述36
• 3.3 研究数据选取36-38
• 3.4 研究平台构建38-40
• 3.4.1 集群软硬件架构38-39
• 3.4.2 环境配置39-40
• 3.5 基于HBase的气象时空数据组织方法40-46
• 3.5.1 HBase表结构设计41
• 3.5.2 数据入库方式41-43
• 3.5.3 基于Solr的辅助索引构建方法43-45
• 3.5.4 HBase配置参数调整方法45-46
• 3.6 本章小结46-47
• 第四章 气温日变化时空分异特征提取方法研究47-74
• 4.1 基于MapReduce的处理方法设计47-53
• 4.1.1 Map函数设计——气温要素提取方法47-49
• 4.1.2 Reduce函数设计——气温数据标准化方法49-50
• 4.1.3 基于MapReduce的气象数据变化过程50-53
• 4.2 气温日变化时间特征提取53-67
• 4.2.1 气象站分类方法53-55
• 4.2.2 KDE空间分析及气候特征点选取55-57
• 4.2.3 各气候带气温日变化时间特征提取57-63
• 4.2.4 气温日变化特征曲线模拟及特征分析63-67
• 4.3 气温日变化空间特征提取67-71
• 4.3.1 研究区气象站分类68-69
• 4.3.2 海南省气温日变化空间特征提取69-70
• 4.3.3 海南省气温日变化空间特征分析70-71
• 4.4 气温日变化时空耦合特征提取71-73
• 4.4.1 气温日变化时空耦合特征函数71-72
• 4.4.2 祁门县7月份气温日变化时空耦合特征提取72
• 4.4.3 祁门县气温日变化时空耦合特征分析72-73
• 4.5 本章小结73-74
• 第五章 气温日变化时空分异特征提取方法验证74-81
• 5.1 提取方法效率对比验证74-77
• 5.1.1 测试用例74-75
• 5.1.2 对比结果及分析75-77
• 5.2 提取结果准确性分析验证77-80
• 5.3 本章小结80-81
• 第六章 结论与展望81-83
• 6.1 研究结论81-82
• 6.2 研究展望82-83
• 参考文献83-89
• 在读期间参与的项目89-90
• 致谢90-91

【共引文献】

中国期刊全文数据库 前10条

1 钟晓旭;胡学钢;;基于数据挖掘的Web招聘信息相关性分析[J];安徽建筑工业学院学报(自然科学版);2010年04期

2 周为吉;谢健Pr;刘志勇;邓航;;聚类分析法在农用地定级中的应用研究——以广东省潮州市湘桥区为例[J];安徽农业科学;2009年05期

3 唐涛;;电信客户分群的KXEN应用[J];边疆经济与文化;2010年11期

4 高燕飞;陈俊杰;强彦;;自适应数据库中基于特征向量的聚类算法的研究与改进[J];电脑开发与应用;2008年07期

5 李晶;陈俊杰;强彦;;数据库负载自适应的体系结构设计[J];电脑开发与应用;2008年07期

6 罗烨;蔡秋茹;柳益君;李秉璋;;电信客户分群的KXEN分析[J];电脑知识与技术;2009年14期

7 虞乐;肖基毅;;数据挖掘中强局部加权回归算法实现[J];电脑知识与技术;2012年07期

8 蔡建新;徐迪威;;基于云计算平台的海量数据挖掘技术在塑料电子商务平台中的应用[J];广东科技;2011年16期

9 曹英杰;张建良;国宏伟;杜申;白俊丽;;基于TwoStep算法的国丰1号高炉操作炉型聚类分析与应用[J];钢铁;2013年10期

10 羊斌;;基于K-均值动态聚类分析的企业信用等级划分法[J];计算机光盘软件与应用;2013年20期

，

本文编号：1011078