云平台上基于OLAP的what-if分析技术研究

发布时间：2017-06-08 19:01

  本文关键词：云平台上基于OLAP的what-if分析技术研究，由笔耕文化传播整理发布。

【摘要】：近年来,由于商业环境的瞬息万变,决策者需要更快更准的捕获商机。从存有大量历史数据的数据仓库中挖掘有价值的信息,对企业的运营及策略调整起着至关重要的作用。OLAP是决策支持的重要方法,在OLAP系统中,What-if分析是基于历史数据对假设场景进行分析的一类OLAP技术,它在决策者对多种方案进行预测和评估中扮演重要角色。基于Delta表存储是实现what-if分析的通用解决方案,其面临的主要难题是如何快速实现what-if更新和高效地执行OLAP查询。随着大规模并行处理数据仓库的发展,可提供高效的并行查询处理及强大的数据分析能力;同时,云计算具有高扩展性、计算能力强、资源整合、高容错性、处理海量数据以及低成本等特点。本文利用大规模并行数据处理和云计算的优势解决基于delta表存储的what-if分析的性能问题具有重要的意义。本文的主要工作包括:(1)设计与实现基于delta表的what-if分析云服务。首先,采用Proxmox VE构建轻量级云平台、大规模并行处理数据仓库Greenplum存储数据,为what-if分析提供环境支撑;其次,提供基于Mondrian的what-if分析引擎;最后,实现基于Docker的what-if分析云服务。(2)设计两种方案对基于分布式计算的what-if分析并行处理进行性能测试,然后针对OLAP查询中耗时较长的分布式聚集函数,提出并行执行策略;(3)分析基于delta表的what-if分析查询性能瓶颈,并在what-if更新阶段,提出基于bloom filter优化算法,实验结果表明bloom filter算法生成what-if视图比传统的表连接算法性能提高约32%;在OLAP查询阶段,设计并实现基于Redis的查询缓存算法WFQC,与传统的物化视图机制相比,基于Redis查询缓存的OLAP查询性能提升2倍。
【关键词】：云计算 大规模并行处理 what-if分析 delta表 Bloom filter
【学位授予单位】：贵州大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要4-5
• Abstract5-6
• 第一章 绪论6-12
• 1.1 研究背景及意义6-7
• 1.2 国内外研究现状7-9
• 1.3 研究内容及创新点9-10
• 1.4 论文组织结构10-12
• 第二章 相关技术12-27
• 2.1 基于OLAP的what-if分析技术12-16
• 2.1.1 OLAP技术12-13
• 2.1.2 what-if分析基本概念13-15
• 2.1.3 what-if分析实现技术15-16
• 2.2 云计算16-21
• 2.2.1 虚拟化技术17-20
• 2.2.2 多租户技术20-21
• 2.3 大规模并行处理系统21-24
• 2.3.1 Hive21-23
• 2.3.2 Vertica23
• 2.3.3 Greenplum23-24
• 2.4 分布式缓存系统24-26
• 2.5 本章小结26-27
• 第三章 基于Delta表的what-if分析云服务设计与实现27-48
• 3.1 基于delta表的what-if分析相关定义27-28
• 3.2 What-if分析云服务整体设计28-31
• 3.2.1 What-if分析云服务的必要性29
• 3.2.2 What-if分析云服务架构29-31
• 3.3 存储层的设计与实现31-34
• 3.3.1 基于云平台的存储架构31-32
• 3.3.2 What-if多维分析数据处理32-34
• 3.4 分析层的设计与实现34-44
• 3.4.1 What-if分析引擎34-37
• 3.4.2 多维模型Schema文件及模板文件Template37-40
• 3.4.3 What-if分析可视化操作40-44
• 3.5 云服务层的设计与实现44-47
• 3.6 本章总结47-48
• 第四章 基于Delta的what-if分析性能优化策略48-66
• 4.1 基于delta表的what-if更新算法48-50
• 4.1.1 基于innerjoin的what-if更新48-49
• 4.1.2 基于leftjoin的what-if更新49-50
• 4.1.3 基于fulljoin的what-if更新50
• 4.2 基于分布式计算的what-if分析并行处理50-57
• 4.2.1 What-if分析的分布式并行处理51-52
• 4.2.2 分布式聚集运算的并行执行52-53
• 4.2.3 实验配置与性能测试53-57
• 4.3 基于Bloom filter的what-if更新性能优化57-65
• 4.3.1 Bloom filter概述57-58
• 4.3.2 基于Bloom filter的what-if更新58-60
• 4.3.3 基于what-if更新的OLAP查询优化60-61
• 4.3.4 实验结果与分析61-65
• 4.4 本章小结65-66
• 第五章 总结与展望66-68
• 5.1 总结66-67
• 5.2 展望67-68
• 致谢68-69
• 参考文献69-72
• 附录72-73
• 图表目录73-75

  本文关键词：云平台上基于OLAP的what-if分析技术研究，，由笔耕文化传播整理发布。

本文编号：433410