地震数据存储系统中的索引研究

发布时间：2017-09-17 00:04

  本文关键词：地震数据存储系统中的索引研究

  更多相关文章： 地震数据 两级索引 索引优化 Trie树 T~*树 FastDFS

【摘要】：经济的快速发展及能源紧缺导致了石油需求的增长,在这种需求下,地震勘探作为石油勘探最有效的方法,正在向着高精度、高密度、多维度方向发展。随之产生的大规模地震勘探数据需要及时进行存储、分析及处理,这些数据的读取具有块小量大的特点。常规磁盘所用的数据读取方式,其处理速度缓慢,因此不仅要对地震数据底层存储系统进行改善,给系统加入索引机制来提高数据访问速度,也是必不可少的。因此为地震数据存储系统研究一种新型的索引结构、索引算法就变得很有意义。 索引技术可以有效地提高数据的查询处理能力,降低查询时间,减少磁盘I/0访问次数。针对地震数据的存取,目前方案多是采用索引与数据分开存储,索引服务器采用集中式管理,容易造成内存溢出、单点故障等问题。也有学者对大数据索引提出不同方案,根据关键字特点采用分级索引,使得时间和空间开销有所降低,但他们分级后的索引同样是在同一个节点中存储。 地震数据存储系统(Seismic Data File System,简称为SDFS)系统将地震数据分块后均匀分布到各个服务器节点进行存储。本文利用SDFS的分布式与分级式的特点,针对地震数据特殊的访问需求,提出基于炮号和道号的两级索引结构来记录分块后的数据位置。通过对两级索引进行研究后,分别采用Trie树、红黑树、AVL树对索引进行了实现。最后提出一种混合索引机制T*-Trie树对一级索引进行实现。实验结果表明,采用T*-Trie树可以满足系统随机读和顺序读取的需求,在速度上有所提高,且使元数据服务器内存消耗也得到了降低。
【关键词】：地震数据 两级索引 索引优化 Trie树 T~*树 FastDFS
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333;TP391.3
【目录】：

• 摘要5-6
• ABSTRACT6-7
• 目录7-9
• 插图9-11
• 第1章 绪论11-17
• 1.1 研究背景与意义11-13
• 1.2 国内外研究现状13-15
• 1.3 论文研究内容15-16
• 1.4 论文组织架构16-17
• 第2章 相关技术17-31
• 2.1 地震勘探相关知识17-20
• 2.1.1 地震勘探17-18
• 2.1.2 地震数据文件格式18
• 2.1.3 地震数据读取方式18-20
• 2.2 FastDFS介绍20-24
• 2.2.1 FastDFS及其设计理念20-21
• 2.2.2 FastDFS架构21-22
• 2.2.3 FasDFS操作流程22-23
• 2.2.4 FastDFS文件名策略23-24
• 2.3 索引技术24-30
• 2.3.1 数组索引25
• 2.3.2 哈希索引25
• 2.3.3 B树和B+树索引25-26
• 2.3.4 Trie树26-27
• 2.3.5 红黑树27-29
• 2.3.6 T树及其变种29-30
• 2.4 本章小结30-31
• 第3章 SDFS的两级索引结构31-41
• 3.1 SDFS介绍31-34
• 3.1.1 地震数据存取特点及FastDFS适应性研究31-32
• 3.1.2 SDFS中地震数据格式32
• 3.1.3 SDFS数据分块策略32-34
• 3.2 两级索引结构34-37
• 3.2.3 两级索引结构的提出34-36
• 3.2.4 两级索引的实现36-37
• 3.3 两级索引性能测试37-40
• 3.3.1 随机读速度测试38-39
• 3.3.2 顺序读速度测试39-40
• 3.3.3 其他方面性能测试40
• 3.4 本章小结40-41
• 第4章 SDFS两级索引的改进41-55
• 4.1 AVL树优化二级索引41-45
• 4.1.1 AVL树介绍41-43
• 4.1.2 两级索引性能测试43-45
• 4.2 索引机制的进一步改进45-53
• 4.2.1 T树45-48
• 4.2.2 T~*树48-49
• 4.2.3 改进的索引机制T~*-Trie树49-53
• 4.3 本章小结53-55
• 第5章 T~*-Trie树索引性能的测试55-59
• 5.1 两级索引的实现55
• 5.2 两级索引性能测试55-58
• 5.2.1 随机读速度测试55-56
• 5.2.2 顺序读速度测试56-57
• 5.2.3 分块大小对性能影响57
• 5.2.4 其他方面性能57-58
• 5.3 结论58-59
• 第6章 总结与展望59-61
• 参考文献61-65
• 致谢65-67
• 在读期间发表的学术论文与取得的其他研究成果67

【参考文献】

中国期刊全文数据库 前10条

1 董玉敏;宋雪峰;关宇;许涛;;浅析地震资料处理系统中存储技术需求[J];中国管理信息化;2014年02期

2 吴广君;王树鹏;陈明;李超;;海量结构化数据存储检索系统[J];计算机研究与发展;2012年S1期

3 吴炜;苏永红;李瑞轩;卢正鼎;;基于DHT的分布式索引技术研究与实现[J];计算机科学;2010年02期

4 林鹏,李航,徐学洲;关键业务中内存数据库的T树索引优化[J];计算机工程;2004年17期

5 周进刚;邢铁军;纪勇;赵大哲;;一种结构化数据缓存方法[J];计算机工程;2010年20期

6 喻波;赵国鸿;陈曙晖;;一种基于共享前缀的两级索引结构[J];计算机工程与科学;2010年12期

7 牛德姣;蔡涛;詹永照;鞠时光;;海量存储系统中的元数据分级索引算法[J];计算机应用研究;2012年02期

8 赵改善;我们需要多大和多快的计算机[J];勘探地球物理进展;2004年01期

9 汤羽;王英杰;范爱华;姚远哲;;基于HDFS开源架构与多级索引表的海量数据检索mDHT算法[J];计算机科学;2013年02期

10 周江;王伟平;孟丹;马灿;古晓艳;蒋杰;;面向大数据分析的分布式文件系统关键技术[J];计算机研究与发展;2014年02期

中国博士学位论文全文数据库 前1条

1 李怀良;复杂山地多波宽频带地震数据采集关键技术研究[D];成都理工大学;2013年

，

本文编号：866058