面向多系统的数据库调优

发布时间：2023-03-04 08:13

　　关系型数据库系统具有大量用于I/O优化、并行计算、查询计划、内存分配、日志等方面的配置参数。普通用户甚至数据库专家都很难将其进行调优以获得良好的性能。虽然有很多可用于数据库调优的操作指南,但指南不可以一直为数据库提供优越的性能。尽管可以凭借指南来在特定数据库使用场景下发挥出不错的性能表现,但它们并非适用于所有场景。很多机构不得不雇佣昂贵的人力来对数据库系统进行调优。同时随着信息技术的高速发展,后台系统中多系统相互依赖和影响的情况越来越突出。以往针对性能、可用性和可靠性的研究主要面向单一系统,单节点或多节点,相对忽视了多系统情况的整体优化目标。本研究的目的是在单一系统调优的基础上,提出能有效扩展到多系统的调优方法,并开发一套调优工具。本文贡献分为如下三个方面:首先构建调优模型,将基于关系型数据库PostgreSQL和分布式计算框架Spark共同构建一个存储与计算相分离并且资源弹性配置的数据仓库DuoSQL纳入调优模型并将其设置为本文的调优对象。基于DuoSQL中PostgreSQL、Spark工作中相互影响的事实,将二者参数统一纳入面向多系统的调优模型,整体考虑系统参数对面向多系统数据库...

【文章页数】：63 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 引言
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 参数配置调优
        1.2.2 其他维度调优
    1.3 研究内容及主要贡献
    1.4 论文的组织结构
第2章 参数调优相关背景与工作
    2.1 数据库参数调优
    2.2 Spark参数调优
    2.3 技术算法概述
        2.3.1 相似度计算
        2.3.2 回归分析
    2.4 本章小结
第3章 调优对象与模型
    3.1 DuoSQL概述
        3.1.1 DuoSQL系统架构设计
        3.1.2 分布式存储模块
        3.1.3 中间层通讯模块
        3.1.4 分布式计算模块
        3.1.5 DuoSQL执行流程
    3.2 调优性能模型
    3.3 调优模型所面临的挑战
    3.4 本章小结
第4章 调优工具与性能评价
    4.1 DuoTune概述
        4.1.1 DuoTune架构设计与实现
        4.1.2 DuoTune执行流程
    4.2 机器学习调优方法
        4.2.1 数据预处理
        4.2.2 自动调优
        4.2.3 协同参数调优
    4.3 实验设计与结果分析
        4.3.1 实验环境介绍
        4.3.2 实验数据介绍
        4.3.3 实验结果分析
    4.4 本章小结
第5章 总结与展望
    5.1 本文总结
    5.2 本文展望
参考文献
致谢
作者简介及攻读学位期间发表的学术论文与研究成果



本文编号：3754033