面向混合引擎的自适应数据库查询优化

发布时间：2021-03-10 01:20

　　将数据库迁移到云是当今公司考虑的技术趋势,即实现更具成本效益的IT管理。另外,数据分析越来越包含更多深度和迭代算法,这些算法需要比传统分析工作负载更多的计算能力。为了完全实现经济目标,云数据库系统应该能够调整其资源消耗以适应不同的工作负载。但是,传统的数据仓库架构不够灵活,无法实现细粒度的资源控制,这严重限制了云服务提供商以及用户优化的总成本和维持所需的QoS。要为云构建数据库,应该研究新的架构。在本文中,我们认为自适应应该是数据库扩展系统的能力,是云数据库应该支持的主要属性,探索了一种将数据管理单元和数据分析单元分离的结构。自适应是主要通过数据库系统单元和数据分析系统单元的弹性和可伸缩性来体现。通过将“主动”组件与“惰性”组件分开,新架构可以提高适应性。我们使用RDBMS和具有SQL支持的内存中集群计算引擎来实现该体系结构。具体来说,我们基于PostgreSQL和Spark构建了一个名为Duo SQL的原型系统。本文的主要贡献如下:1.关系型数据库扩展。利用外部计算能力来增强关系型数据库的数据分析能力。2.分布式关系型数据库PostgreSQL集群和分布式计算系统Spark集群的联合... 

【文章来源】：中国科学院大学(中国科学院深圳先进技术研究院)广东省

【文章页数】：57 页

【学位级别】：硕士

【部分图文】：

ApacheSpark体系结构

图 2.1 Apache Spark 体系结构Figure 2.1Apache SparkArchitecturepacheSpark 是一个非常流行的系统，通常用于高级分析，数据科学ata 架构，以及复杂批处理（ETL）处理和实时处理。它能够快速处框架是由于它包含这些关键组件，例如：SparkSQL 用于数据结构化ing 用于实时处理大量数据，Spark MLib 用于机器学习，Spark Gra处理，Spark R 用于使用 R 语言进行统计数据处理。Spark 可以在doop）集群或 Mesos 环境中启动。 Spark 是一个多语言框架，这意用最大限度地抽象化，并且它将程序语言（Python，Java，Scala，R环境，以确定该环境最适合组织或业务类型。

SparkMLlib结构


本文编号：3073804