面向海量气象数据的缓存机制与数据库优化研究
发布时间：2021-08-14 13:13
随着社会各领域科学技术的竞相发展,各行各业的信息量呈现了爆发式增长。在气象行业中,全国直辖市、自治区、省、特别行政区以及各大中型主要城市的气象服务数据和产品的数据量非常可观,形成了气象数据来源复杂、格式多样、数量巨大、形式各异等特点。气象大数据和气象服务时效性之间矛盾使得气象数据的存储、管理、使用的复杂程度和难度与日俱增；现有气象数据网络的异构性和地域分布性使得气象数据的访问陷入困境,比如雷达基数据的上传是每5分钟一次,但是很多时候5分钟的间隔并不能满足数据节点之间的网络传输时延,数据传输和访问都暴露出了很大的问题。因此,本文以此为切入点,针对上面提到的问题提出合理的数据存储、数据访问方案,进而优化气象行业的服务质量；同时针对访问过程中的性能问题,将数据库优化技术加入到系统实现。本文具体完成了以下工作：（1）设计了一种基于分布式文件系统的气象缓存框架MeteCS,在框架中首先研究了现有的数据放置算法并基于一致性的哈希数据放置算法提出了一种节点负载均衡的哈希数据放置算法MeteHash,充分考虑了分布式系统中异构的节点网络可能存在的性能差异。（2）基于Greedy Dual Size F...
【文章来源】：南京信息工程大学江苏省
【文章页数】：73 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 缓存框架研究现状
1.2.2 缓存替换算法研究现状
1.2.3 数据库优化研究现状
1.3 论文主要研究内容
1.4 论文的组织结构
第二章 面向海量气象数据的缓存框架MeteCS
2.1 概述
2.2 业务背景
2.3 MeteCS整体架构
2.4 缓存数据放置MeteHash算法
2.5 本章小结
第三章 加权的缓存数据替换算法WGDSF
3.1 概述
3.2 GD系列算法
3.2.1 GD算法
3.2.2 GDS算法
3.2.3 GDSF算法
3.2.4 GDSF-AI算法
3.3 缓存替换算法WGDSF成本/价值模型
3.3.1 基于时间加权的频率参数
3.3.2 基于类型加权的内容参数
3.3.3 基于大小加权的代价参数
3.3.4 缓存替换算法WGDSF成本/价值模型
3.4 缓存替换算法WGDSF流程设计
3.4.1 请求处理流程
3.4.2 算法详细流程
3.5 缓存替换算法对比试验
3.5.1 性能指标
3.5.2 缓存系统
3.5.3 实验结果与分析
3.6 本章小结
第四章 基于HBase的数据库优化
4.1 雷达数据平台概述
4.2 雷达数据平台架构
4.2.1 Hadoop系列技术
4.2.2 气象雷达基数据
4.2.3 数据平台架构
4.3 HBase数据库优化
4.3.1 问题描述
4.3.2 HBase表设计优化
4.3.3 HBase查询优化
4.3.4 实验结果与分析
4.4 本章小结
第五章 总结与展望
5.1 论文工作总结
5.2 论文主要创新点
5.3 研究展望
参考文献
致谢
作者简介
【参考文献】：
期刊论文
[1]基于MapReduce和HBase的海量网络数据处理[J]. 景晗,郑建生,陈鲤文,许朝威. 科学技术与工程. 2015(34)
[2]大数据环境下基于Hbase的分布式查询优化研究[J]. 杜晓东. 计算机光盘软件与应用. 2014(08)
[3]Hadoop系统性能优化与功能增强综述[J]. 董新华,李瑞轩,周湾湾,王聪,薛正元,廖东杰. 计算机研究与发展. 2013(S2)
[4]分布式存储系统中一致性哈希算法的研究[J]. 杨彧剑,林波. 电脑知识与技术. 2011(22)
[5]一种基于有限记忆多LRU的Web缓存替换算法[J]. 钮俊清,郑浩然,李恒,王煦法. 小型微型计算机系统. 2008(06)
[6]基于最小延迟代价的Web缓存替换算法研究[J]. 韩英杰,石磊. 计算机工程与设计. 2008(08)
硕士论文
[1]Web缓存替换策略与预取技术的研究[D]. 张旺俊.中国科学技术大学 2011
本文编号：3342530
【文章来源】：南京信息工程大学江苏省
【文章页数】：73 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 缓存框架研究现状
1.2.2 缓存替换算法研究现状
1.2.3 数据库优化研究现状
1.3 论文主要研究内容
1.4 论文的组织结构
第二章 面向海量气象数据的缓存框架MeteCS
2.1 概述
2.2 业务背景
2.3 MeteCS整体架构
2.4 缓存数据放置MeteHash算法
2.5 本章小结
第三章 加权的缓存数据替换算法WGDSF
3.1 概述
3.2 GD系列算法
3.2.1 GD算法
3.2.2 GDS算法
3.2.3 GDSF算法
3.2.4 GDSF-AI算法
3.3 缓存替换算法WGDSF成本/价值模型
3.3.1 基于时间加权的频率参数
3.3.2 基于类型加权的内容参数
3.3.3 基于大小加权的代价参数
3.3.4 缓存替换算法WGDSF成本/价值模型
3.4 缓存替换算法WGDSF流程设计
3.4.1 请求处理流程
3.4.2 算法详细流程
3.5 缓存替换算法对比试验
3.5.1 性能指标
3.5.2 缓存系统
3.5.3 实验结果与分析
3.6 本章小结
第四章 基于HBase的数据库优化
4.1 雷达数据平台概述
4.2 雷达数据平台架构
4.2.1 Hadoop系列技术
4.2.2 气象雷达基数据
4.2.3 数据平台架构
4.3 HBase数据库优化
4.3.1 问题描述
4.3.2 HBase表设计优化
4.3.3 HBase查询优化
4.3.4 实验结果与分析
4.4 本章小结
第五章 总结与展望
5.1 论文工作总结
5.2 论文主要创新点
5.3 研究展望
参考文献
致谢
作者简介
【参考文献】：
期刊论文
[1]基于MapReduce和HBase的海量网络数据处理[J]. 景晗,郑建生,陈鲤文,许朝威. 科学技术与工程. 2015(34)
[2]大数据环境下基于Hbase的分布式查询优化研究[J]. 杜晓东. 计算机光盘软件与应用. 2014(08)
[3]Hadoop系统性能优化与功能增强综述[J]. 董新华,李瑞轩,周湾湾,王聪,薛正元,廖东杰. 计算机研究与发展. 2013(S2)
[4]分布式存储系统中一致性哈希算法的研究[J]. 杨彧剑,林波. 电脑知识与技术. 2011(22)
[5]一种基于有限记忆多LRU的Web缓存替换算法[J]. 钮俊清,郑浩然,李恒,王煦法. 小型微型计算机系统. 2008(06)
[6]基于最小延迟代价的Web缓存替换算法研究[J]. 韩英杰,石磊. 计算机工程与设计. 2008(08)
硕士论文
[1]Web缓存替换策略与预取技术的研究[D]. 张旺俊.中国科学技术大学 2011
本文编号：3342530
本文链接：https://www.wllwen.com/projectlw/qxxlw/3342530.html
