海量数据存储与查询策略的优化研究

发布时间：2017-08-02 01:13

  本文关键词：海量数据存储与查询策略的优化研究

  更多相关文章： 海量数据 存储 查询 优化策略

【摘要】：在全面信息化的过程中,产生了海量的数据和信息资源,非常需要一种方法对海量数据进行科学高效的组织、管理和使用,以满足日益多样的业务应用,同时提高信息资源的管理效率。国内外的分析表明,海量数据管理水平将成为下一轮衡量企业生命力的指标之一。海量数据管理的前景虽然乐观,但目前仍然存在着很多技术上的难题需要克服。存储策略的研究侧重于空间效率的改进,而查询策略侧重于时间效率的提高,不能综合地发挥出系统的整体优势。本文从这一角度出发,以海量数据作为研究对象,研究海量数据存储策略与查询策略的优化。 论文首先分析了国内外学者取得的主要理论研究成果,总结了现行主要的存储和查询策略的特点,针对现有研究中存在的问题,提出了优化的内容和目标,接着从海量数据生命周期出发,深入研究了表分区,基于对象存储,查询分解等多项关键技术,然后,提出了利用表分区技术的基于对象存储优化策略和基于查询分解的查询优化策略。而后,针对这些关键技术进行了一系列的探讨,通过研究得出优化策略的基本方案,同时把分布式环境确立为策略验证的环境。最后,在模拟环境中实现了存储部分的配置信息、文件信息和读写操作功能,查询部分设计实现了查询分解、查询优化和结果合成功能；通过以上模块的综合作用,完成了对优化策略的可行性的验证工作。 本文从全面信息化的实际需求出发,通过对常规理论的深入研究,提出了海量数据的存储和查询的优化后的策略,并模拟环境中进行了验证；该优化策略平衡了系统的时间效率和空间效率,最终实现了系统优化的预期目标,具有一定的应用价值。
【关键词】：海量数据 存储 查询 优化策略
【学位授予单位】：大连海事大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：C931.6
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 第1章 绪论10-16
• 1.1 海量数据概念的界定10
• 1.2 选题背景10-11
• 1.3 国内外研究现状11-13
• 1.3.1 海量数据存储策略国内外研究现状11-12
• 1.3.2 海量数据查询策略国内外研究现状12-13
• 1.4 论文内容及结13-16
• 1.4.1 论文的研究内容13-14
• 1.4.2 论文的组织结构14-16
• 第2章 海量数据常规存储策略与查询策略研究16-26
• 2.1 海量数据常规的存储策略16-21
• 2.1.1 海量数据的存储介质与设备研究17-19
• 2.1.2 海量数据的存储模式研究19-21
• 2.2 海量数据常规的查询策略21-25
• 2.2.1 逻辑层策略优化研究21-23
• 2.2.2 数据划分技术策略优化研究23-25
• 2.3 本章小结25-26
• 第3章 海量数据存储与查询优化策略研究26-39
• 3.1 海量数据分布式存储及相关技术的应用27-33
• 3.1.1 分布式存储策略概述27-28
• 3.1.2 基于对象存储技术28-29
• 3.1.3 列存储技术29-31
• 3.1.4 表分区技术31-33
• 3.2 海量数据分布式查询及相关技术的运用33-38
• 3.2.1 分布式查询策略概述33-34
• 3.2.2 查询分解方法研究34-35
• 3.2.3 查询优化方法研究35-37
• 3.2.4 结果合成方法研究37-38
• 3.3 本章小结38-39
• 第4章 海量数据存储与查询优化策略的实现39-65
• 4.1 存储优化策略的实现40-45
• 4.1.1 相关技术的应用40-41
• 4.1.2 配置信息模块设计实现41-42
• 4.1.3 文件信息模块设计实现42-43
• 4.1.4 读写操作模块设计实现43-45
• 4.2 查询优化策略的实现45-51
• 4.2.1 查询分解模块设计实现47-48
• 4.2.2 查询优化模块设计实现48-50
• 4.2.3 结果合成模块设计实现50-51
• 4.3 数据库访问的实现51-64
• 4.3.1 数据库的操作步骤52-60
• 4.3.2 数据库的操作方法60-63
• 4.3.3 数据访问的实现63-64
• 4.4 本章小结64-65
• 第5章 总结与展望65-67
• 5.1 全文总结65
• 5.2 研究展望65-67
• 参考文献67-71
• 攻读学位期间公开发表论文71-72
• 致谢72

【参考文献】

中国博士学位论文全文数据库 前1条

1 侯f ;海量网络存储系统中的多级缓存技术研究[D];华南理工大学;2011年

中国硕士学位论文全文数据库 前10条

1 毛远宏;面向SAN和NAS融合的安全方案研究[D];西安电子科技大学;2009年

2 苗帅;海量数据存储与全文检索[D];江苏科技大学;2011年

3 陈坚强;DB2数据库索引性能调整与优化[D];上海交通大学;2011年

4 余琴;基于设计模式的企业级应用框架研究[D];华中科技大学;2004年

5 李中华;基于.NET的模式实现和应用[D];四川大学;2005年

6 李晓路;数据仓库中海量数据存储与管理的若干关键技术研究[D];北京邮电大学;2006年

7 杨e，

本文编号：607003