大数据存储结构及查询优化研究

发布时间：2017-12-28 12:02

本文关键词：大数据存储结构及查询优化研究　出处：《河北工程大学》2014年硕士论文　论文类型：学位论文

【摘要】：大数据不仅需要海量存储的系统，而且需要高速的数据加载、快速的查询处理、存储空间的高利用率以及适应动态高负载。由于传统关系型数据库在管理大数据时遇到各种困难和阻碍，新型分布式系统应运而生。但在大数据存储和查询仍有不足之处，本文从数据存储结构和MapReduce作业相关性两个方面对分布式系统下大数据存储结构及查询优化分析研究。在分布式系统中，数据存储结构直接影响大数据的存储效率和处理性能。行式存储结构下，数据从本地读取，加载速度快，但压缩效率低且加载了多余数据；列式存储结构下，数据压缩效率高，但数据跨节点访问增加了网络传输消耗。针对行式存储结构和列式存储结构的特点，提出一种以行列结合的存储方式，对数据存储结构进行改进。通过理论比较分析，行列结合存储在数据加载速度上略低于行式存储；在数据压缩效率上，比行式存储和列式存储的效率都高。行列结合的存储结构不仅避免行式存储的额外磁盘I/O开销，同时也减少了列式存储不必要的网络传输，，极大地提高分布式系统对大数据存储效率及处理性能。现有翻译方式在复杂SQL查询时存在的低性能问题，其原因是忽略了MapReduce作业间的相关性，产生了大量冗余操作，消耗不必要的资源，从而急剧降低了查询性能。本文从输入相关性，数据转换相关性，作业流相关性三个方面对翻译结果进行优化改进，并给出优化条件和优化规则，合并冗余的MapReduce作业以减少不必要的资源消耗，从而提高大数据查询速度。
[Abstract]:Big data need not only mass storage system, but also high speed data loading, fast query processing, high utilization of storage space and dynamic high load. Since the traditional relational database has encountered various difficulties and obstacles in managing large data, the new distributed system emerges as the times require. But there are still some shortcomings in big data storage and query. In this paper, we analyze the storage structure and query optimization of distributed data from two aspects: data storage structure and MapReduce job correlation.
【学位授予单位】：河北工程大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.13;TP333

【相似文献】