气象及大气污染数据库系统的构建优化研究

发布时间：2017-05-23 13:04

  本文关键词：气象及大气污染数据库系统的构建优化研究，由笔耕文化传播整理发布。

【摘要】：气象及大气污染数据库系统作为21世纪新一代的气象信息存储发布管理系统,可以大大提升现有海量气象以及大气污染数据的高效查询、管理层次、存取效率、人们日常生活的服务水平以及对气象业务和科学研究的支持。气象及大气污染数据库系统是基于B/S架构的系统,采用OpenLayer作为前端WebGIS框架,数据库端则以强大的RDBMS数据库ORACLE为支撑,数据库的优化以及SQL报表开发大多利用数据库优化技术和SQL开发技术,简单的ETL过程使用PL/SQL和Java语言实现,简单的业务逻辑则利用Java语言实现,以此构建气象及大气污染数据库系统。本系统重点和亮点在气象数据库的建设、数据库实体设计、元数据设计、数据库分区技术和数据库的优化上,而应用层和表现层由于没有相关支持,相对比较薄弱。以此为基础,本文主要展开如下工作：(1)气象及大气污染数据库的构建系统采用ORACLE 11G数据库作为其核心数据库,用于承载大量气象以及污染数据,将数据库设计为OLAP型数据库,以支持复杂分析型查询语句,同时文中给出部分数据库实体的数据结构和关联关系,合理设计实体的主键以及实体之间的主外键,合理利用视图技术保护用户数据,利用临时表技术存放数据库临时数据。(2)数据库实体设计和元数据设计根据气象资料实体设计规范和数据库三大范式为基准,结合系统需求、气象资料特点和气象业务特性,对气象资料的结构化资料和非结构化资料进行实体设计,具体展示了常规天气公报实体设计方案、编报中心实体设计方案、常规地面气象要素实体设计方案、位势高度标准气象要素数值实体设计方案、地面观测站实体设计方案、数值预报产品实体设计方案、用户信息实体设计方案和污染数据实体设计方案等。元数据设计章节描述了气象以及污染数据库的元数据的类型以及元数据在数据库实体创建中的作用和元数据在数据检索过程中的作用。(3)分区存储虽然实验环境的数据量有限,但是考虑到实际生产中的数据量之大,单表的性能会遇到瓶颈,所以采用分区存储方案,即采用数据库分区技术对数据表进行合适的分区,并对常规地面要素资料提供的5种存储结构进行测试,针对不同的数据类型制定了合理的分区方案。(4)数据库优化本系统的数据库优化工作分别从并行和OLAP系统、直接加载、分区索引、SQL的优化和存储过程的优化几个方面展开论述,并配合相关命令和系统中的SQL语句进行解释说明。(5)应用层和表现层作为本系统比较薄弱的部分,开发设计上以及工作量上不及本系统的数据库端,具体来讲如下：通过几种较简单的ETL过程实现各种不同种类的气象以污染数据导入数据库,利用Java语言实现了简单的业务逻辑和三大框架的整合,前端利用OpenLayer技术实现了基本WebGIS界面展示。
【关键词】：ORACLE 气象及大气污染数据 数据库分区 数据库实体设计 数据库优化
【学位授予单位】：华东师范大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：X51;P409
【目录】：

• 论文摘要6-8
• Abstract8-13
• 第一章 引言13-20
• 1.1 选题背景和研究意义13-14
• 1.2 气象资料概述14-15
• 1.3 国内外气象资料管理的发展以及现状15-17
• 1.4 当前气象数据库系统中存在的不足17-20
• 第二章 气象及污染数据库建设的技术准备20-28
• 2.1 OLAP型数据库概述20-22
• 2.1.1 OLAP与OLTP20-21
• 2.1.2 OLAP型数据库与气象数据的契合21-22
• 2.2 气象资料实体设计规范22-25
• 2.2.1 气象资料分类的必要性22
• 2.2.2 气象资料分类与编码22-25
• 2.3 商用关系数据库的选择25-28
• 第三章 气象及大气污染数据库系统体系结构28-44
• 3.1 系统整体体系结构28-30
• 3.2 数据存储设计30-31
• 3.3 数据实体设计31-38
• 3.4 文件存储路径设计38
• 3.5 元数据设计38-44
• 3.5.1 元数据(Metadata)概述38-40
• 3.5.2 气象及污染数据库系统元数据40
• 3.5.3 元数据在气象及污染数据库系统中的作用40-44
• 第四章 分区存储44-53
• 4.1 单表存储策略所带来的问题44
• 4.2 数据库分区技术44-48
• 4.3 分区方案的测试48-49
• 4.4 分区方案的选择49-51
• 4.5 分区在数据库管理、性能提高上的应用51-53
• 第五章 系统优化53-62
• 5.1 分区索引53-54
• 5.2 并行和OLAP系统54-58
• 5.2.1 并行处理机制54-55
• 5.2.2 并行执行的适用范围以及SQL并行优化实例55-56
• 5.2.3 索引的并行执行以及并行DDL操作56-58
• 5.3 直接加载58-59
• 5.4 利用FORALL和BULK COLLECT优化存储过程59-62
• 第六章 应用层和表现层62-69
• 6.1 ETL功能62-63
• 6.2 相似分析63-65
• 6.3 Java调用FORTRAN程序实现数据分析65-66
• 6.4 前台展示66-69
• 第七章 结论69-71
• 7.1 结论69-70
• 7.2 不足之处70-71
• 参考文献71-73
• 致谢73

【相似文献】

中国期刊全文数据库 前8条

1 张菊;;浅谈CAXA实体设计在机械识图教学中的应用[J];科学大众(科学教育);2012年05期

2 胡英梅;曹石;;CAXA实体设计在钣金件设计中的应用[J];科技资讯;2014年20期

3 史红;姜文龙;杨晓燕;刘洪波;;CAXA实体设计在三维设计软件中的应用[J];科技资讯;2008年01期

4 张清郁;;CAXA实体设计在曲轴结构设计中的应用[J];河南科技;2014年07期

5 马骏,刘华,洪涛,艾莉,马永炜;基于CAXA实体设计环境下的CBR创新设计[J];甘肃科技;2005年03期

6 文静;;机械制图教学中应用CAXA实体设计的探索与实践[J];科技信息;2012年34期

7 史红;姜文龙;杨晓燕;刘洪波;;CAXA在机械制图设计中的应用[J];中国科技信息;2007年16期

8 ;[J];;年期

中国重要会议论文全文数据库 前3条

1 赵斌;齐军翰;;“CAXA实体设计2008”应用实例[A];第十届中国科协年会中部地区物流产业体系建设论坛专辑[C];2008年

2 刘宏;;基于CAXA的齿轮泵实体设计及其拆装仿真[A];中国航海学会航标专业委员会沿海航标学组、无线电导航学组、内河航标学组年会暨学术交流会论文集[C];2009年

3 车刚;汪春;张伟;梁远;万霖;;青贮揉搓饲料收获机的实体设计与试验研究[A];走中国特色农业机械化道路——中国农业机械学会2008年学术年会论文集（下册）[C];2008年

中国重要报纸全文数据库 前10条

1 南宁专用汽车厂总工程师莫许钚;应用CAXA实体设计软件提高企业设计创新能力[N];科技日报;2003年

2 ;CAXA实体设计体验直观设计[N];中国计算机报;2003年

3 邹小慧;扩大应用规模 提高工作效率[N];科技日报;2003年

4 朱辉杰;从平民化的CAXA实体设计看三维CAD的普及[N];科技日报;2005年

5 邹小慧;CAXA广西携手推动制造业信息化工程[N];科技日报;2003年

6 广西苏氏集团 成刚;三维CAD助推产品快速开发[N];计算机世界;2006年

7 艾文;CAXA强调协同[N];中国计算机报;2001年

8 本报记者 陈友梅;协同源于创新[N];中国计算机报;2002年

9 邹小慧;AriAL在金华日普新产品开发中的应用[N];科技日报;2004年

10 辽河石油勘探局工程技术研究院 张小波;CAXA三维创新软件在石油机械设计中的应用[N];科技日报;2005年

中国硕士学位论文全文数据库 前2条

1 张新;气象及大气污染数据库系统的构建优化研究[D];华东师范大学;2016年

2 李付有;基于CAXA实体设计的常用电力设备数字化装配系统研究[D];华北电力大学（河北）;2008年

  本文关键词：气象及大气污染数据库系统的构建优化研究，由笔耕文化传播整理发布。

，

本文编号：388005