基于改进贝叶斯网络的气象数据预测算法研究

发布时间：2017-10-06 00:09

  本文关键词：基于改进贝叶斯网络的气象数据预测算法研究

  更多相关文章： 天气预测 气象数据 贝叶斯网络 Hadoop MapReduce

【摘要】：随着计算机技术和互联网技术的发展,人们的生产生活变得越来越便捷,随之积累的数据量也越来越大。这些海量的数据背后蕴含着丰富的知识和规律,如果能把这些有用的信息挖掘出来,那将对我们未来的生活带来很大的帮助,尤其是在气象领域,这种帮助将更加明显。长期以来,气象预测在人们的生产和生活中都占据着非常重要的位置,大到飞机起飞、火箭发射,小到种植计划、穿衣出行,气象预测深刻影响着我国的科研领域、经济建设和人民生活。近年来,气象事业的现代化水平和现代气象业务体系在不断提高和完善,随之也产生了地面、卫星观测和数值预报等各种类型的大量观测数据,数据量已经达到了PB级。遗憾的是,尽管数据的增长十分迅速,但我们处理数据的技术却发展的相对滞后,传统的数据挖掘方法在面对这些海量数据时,处理和计算都遇到了很大的障碍。在这样的背景下,Hadoop平台的出现为高效地实现海量气象数据的挖掘提供了可能,Hadoop平台利用网络互联技术将若干台计算机连接在一起,实现对资源的集中管理和统一调度。基于Hadoop的海量气象数据预测的基本思想是将传统的气象数据预测算法和Hadoop平台相结合,利用Hadoop超强的计算能力,使海量数据得到充分利用,最终取得更好的气象预测效果。Hadoop技术作为处理海量数据的一种解决方案,具有低成本、高吞吐量、高容错等特点,得到了社会各界广泛的应用。论文深入研究了Hadoop平台和气象数据预测算法,针对朴素贝叶斯分类算法和贝叶斯网络算法在气象预测领域中的一些不足,结合Hadoop平台分布式处理数据的优势和气象数据自身的特性,提出在MapReduce框架基础上运行的贝叶斯网络分类算法,论文主要做了如下研究:(1)考虑到气象数据的海量性,论文采用Hadoop平台对数据进行预处理,并计算任意属性和决策属性之间的相关系数,利用相关系数筛选预测属性,降低了算法的复杂度,提高了模型训练的效率。(2)结合气象数据的特性,对比常用的气象数据预测算法,论文选择了贝叶斯网络分类算法,并利用互信息有关知识对贝叶斯网络结构进行学习。算法在Hadoop平台上运行良好,对气象数据的不确定性和关联性具有较强的适应能力。(3)在算法中加入迭代模型,用测试集对训练得到的贝叶斯网络进行精度评估,如果网络模型不满足系统预设的精度要求,则要修改模型参数,重新对贝叶斯网络进行训练,以获得较优的网络结构。通过和现有气象预测算法进行实验对比,证明了论文改进算法在精度和效率上都有一定的提高。
【关键词】：天气预测 气象数据 贝叶斯网络 Hadoop MapReduce
【学位授予单位】：太原理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：P409;TP18
【目录】：

• 摘要3-5
• ABSTRACT5-11
• 第一章 绪论11-17
• 1.1 研究背景和意义11-12
• 1.2 国内外研究动态12-14
• 1.2.1 气象数据预测的研究现状12-13
• 1.2.2 Hadoop技术研究发展现状13-14
• 1.3 论文主要工作14
• 1.4 论文组织结构14-17
• 第二章 Hadoop相关技术概述17-29
• 2.1 Hadoop概述17-18
• 2.2 HDFS介绍18-20
• 2.2.1 HDFS的体系结构18-19
• 2.2.2 HDFS的工作原理19-20
• 2.3 MapReduce概述20-23
• 2.3.1 MapReduce实现机制20-21
• 2.3.2 MapReduce执行流程21-23
• 2.3.3 MapReduce运行速度23
• 2.4 基于Hadoop的气象数据存储方案23-27
• 2.4.1 海量气象数据管理面临的主要问题24
• 2.4.2 数据中心层次结构24-27
• 2.5 本章小结27-29
• 第三章 气象数据预测29-39
• 3.1 数据挖掘简介29-31
• 3.1.1 数据挖掘定义29-30
• 3.1.2 数据挖掘过程30-31
• 3.2 典型气象数据预测方法介绍31-33
• 3.2.1 气象数据的特点31
• 3.2.2 常用的气象数据预测方法31-33
• 3.3 贝叶斯分类算法33-37
• 3.3.1 贝叶斯分类理论33-34
• 3.3.2 朴素贝叶斯分类器34-36
• 3.3.3 贝叶斯网络分类器36-37
• 3.4 本章小结37-39
• 第四章 基于Hadoop的贝叶斯网络分类器的实现39-59
• 4.1 贝叶斯网络学习研究39-43
• 4.1.1 贝叶斯网络结构学习39-42
• 4.1.2 贝叶斯网络参数学习42-43
• 4.2 基于最大信息系数的贝叶斯网络结构学习改进算法43-47
• 4.2.1 最大信息系数43-44
• 4.2.2 确定初始无向图44
• 4.2.3 保证无向图的连通性44-45
• 4.2.4 消除无向图中错误的三角环45-46
• 4.2.5 确定贝叶斯网络结构46-47
• 4.3 改进的贝叶斯网络分类器47-49
• 4.3.1 现有贝叶斯分类器的不足47-48
• 4.3.2 离散贝叶斯网络分类器的算法改进思路48-49
• 4.4 改进算法的具体实施49-58
• 4.4.1 预处理MapReduce过程49-53
• 4.4.2 训练贝叶斯网络分类模型的MapReduce实现53-56
• 4.4.3 精度评估的MapReduce实现56-58
• 4.5 本章小结58-59
• 第五章 实验与结果分析59-67
• 5.1 实验环境和数据59-61
• 5.1.1 实验环境59-60
• 5.1.2 实验数据60-61
• 5.2 实验结果与分析61-64
• 5.2.1 贝叶斯网络结构61-63
• 5.2.2 预测精度分析63-64
• 5.3 本章总结64-67
• 第六章 总结与展望67-69
• 6.1 论文总结67
• 6.2 工作展望67-69
• 参考文献69-73
• 附录73-77
• 致谢77-79
• 攻读研究生期间发表过的论文79

【相似文献】

中国期刊全文数据库 前10条

1 刘乐平;高磊;卢志义;;贝叶斯身世之谜——写在贝叶斯定理发表250周年之际[J];统计研究;2013年12期

2 云连英;汪荣伟;;保费调整的贝叶斯方法[J];统计与决策;2006年05期

3 游顶云;李康;;贝叶斯网络方法在基因调控研究中的应用[J];中国卫生统计;2009年01期

4 闵素芹;李群;;分层线性模型中的经验贝叶斯与完全贝叶斯方法及其比较[J];统计与决策;2010年11期

5 胡春玲;;贝叶斯网络研究综述[J];合肥学院学报(自然科学版);2013年01期

6 丁以华;;贝叶斯方法的发展及其存在问题[J];质量与可靠性;1986年01期

7 吴伯贤;;贝叶斯方法在洪水频率分析中的应用[J];成都科技大学学报;1990年01期

8 陶波;苏德清;王玲玲;费鹤良;;关于元件失效率等级鉴定试验的一种贝叶斯方法[J];应用概率统计;1990年03期

9 张尧庭;应积极开展对贝叶斯学派的介绍和研究[J];统计研究;1992年04期

10 郑骏;随机方法与贝叶斯方法在高新技术中的应用[J];软科学;1995年01期

中国重要会议论文全文数据库 前10条

1 David Z.D'Argenio;;贝叶斯方法在实验室研究向临床的转化以及辨识隐含亚群体中的应用(英文)[A];中国药理学会临床药理学专业委员会会议暨第十次全国临床药理学学术会议论文集[C];2007年

2 姜峰;高文;姚鸿勋;;贝叶斯网络的推理和学习[A];全国网络与信息安全技术研讨会'2005论文集（下册）[C];2005年

3 丁东洋;刘希阳;;风险分析中的稳健贝叶斯方法[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年

4 周桃庚;沙定国;;贝叶斯可靠性序贯验证试验方法[A];中国仪器仪表学会第三届青年学术会议论文集（下）[C];2001年

5 陈晓怀;程真英;刘春山;;动态测量误差的贝叶斯建模预报[A];第二届全国信息获取与处理学术会议论文集[C];2004年

6 杜鹏英;罗小平;何志明;;贝叶斯网络的发展及理论应用[A];第三届全国虚拟仪器大会论文集[C];2008年

7 杨丽;武海滨;李康;;无金标准诊断试验评价的贝叶斯方法及应用[A];2011年中国卫生统计学年会会议论文集[C];2011年

8 宁鹏达;;贝叶斯方法在风险投资项目决策中的应用[A];第四届中国科学学与科技政策研究会学术年会论文集（Ⅰ）[C];2008年

9 朱永生;;贝叶斯方法确定泊松变量的置信上限[A];中国物理学会高能物理分会第七届学术年会实验分会场论文集[C];2006年

10 王增忠;柳玉杰;施建刚;;建筑工程项目全寿命安全管理决策的贝叶斯方法[A];中国优选法统筹法与经济数学研究会第七届全国会员代表大会暨第七届中国管理科学学术年会论文集[C];2005年

中国博士学位论文全文数据库 前10条

1 贾海洋;贝叶斯网学习若干问题研究[D];吉林大学;2008年

2 黄友平;贝叶斯网络研究[D];中国科学院研究生院（计算技术研究所）;2005年

3 朱允刚;贝叶斯网学习中若干问题研究及其在信息融合中的应用[D];吉林大学;2012年

4 董立岩;贝叶斯网络应用基础研究[D];吉林大学;2007年

5 李小琳;面向智能数据处理的贝叶斯网络研究与应用[D];吉林大学;2005年

6 江敏;贝叶斯优化算法的若干问题研究及应用[D];上海大学;2012年

7 胡笑旋;贝叶斯网建模技术及其在决策中的应用[D];合肥工业大学;2006年

8 何岩;统计稀疏学习中的贝叶斯非参数建模方法及应用研究[D];浙江大学;2012年

9 范敏;基于贝叶斯网络的学习与决策方法研究及应用[D];重庆大学;2008年

10 张什永;贝叶斯网不确定性推理研究[D];中国科学技术大学;2010年

中国硕士学位论文全文数据库 前10条

1 张路路;贝叶斯网络系统可靠性分析及故障诊断方法研究[D];山东建筑大学;2015年

2 袁远;基于贝叶斯链梯模型的风险边际计算方法[D];天津财经大学;2015年

3 马雪婧;面向交通事件持续时间预测的贝叶斯网络建模研究[D];北京交通大学;2016年

4 赵月南;基于贝叶斯网络的电机故障诊断研究[D];浙江大学;2016年

5 周洁超;基于贝叶斯网络的时间序列预测[D];大连海事大学;2016年

6 王昊;基于改进贝叶斯网络的气象数据预测算法研究[D];太原理工大学;2016年

7 罗会亮;基于粗糙集的贝叶斯网络模式识别模型与方法研究[D];重庆大学;2008年

8 郝佳;贝叶斯网络开发平台的研究与实现[D];沈阳工业大学;2010年

9 葛燕;人机结合的贝叶斯网建模方法研究[D];西安理工大学;2009年

10 郭艳军;贝叶斯网学习方法及应用研究[D];华中科技大学;2009年

，

本文编号：979602