面向负载的数据库管理系统自动调优

发布时间：2020-06-17 22:44

【摘要】：数据库管理系统(DBMS)中存在着数量众多的配置项,它们控制着内存分布、I/O优化、查询计划的成本、并行性、日志记录、恢复等众多行为。如何有效地进行配置优化是所有数据密集型应用程序的一个重要工作,这在整个数据库发展历史上都是一项困难的任务。许多数据库系统含有近千个配置参数,并且系统的更新也会产生新的配置项。虽然数量众多的配置项可控制数据库系统中几乎所有内容,但其调优复杂度也随之提高。并且配置项的调整并非独立事件,参数间的相互影响难以避免,对于不同应用系统,极难存在一个或一组万能的配置项,因而配置项的设定或选择也就成为一个非常困难的问题。为降低调优成本,沿用相似负载的调优策略或其子策略成为常用方法,然而糟糕的是,影响配置项设定和优化的方法往往来源于数据库管理员甚至数据库专家的宝贵经验。为提高系统调优的可行性,本文构建基于增强学习技术的DBMS自动调优模型,使数据库系统即使在无历史数据的条件下,也可以依据实时系统状态所提供的反馈对配置项进行调整,从而提高数据库系统性能。我们在自研的DBMS自调优工具Loadstar中对模型进行实现,并对模型数据进行降维处理以提高自调优效率。最后在通用的DBMSs上进行实验验证,并对实验结果进行详细对比分析。本文主要贡献如下:构建反馈奖惩函数,基于增强学习技术进行自动调优模型构建;在无历史经验条件下,通过系统状态得到反馈继而迭代更新调优策略,最终得到满足目标状态的配置参数值;设计相似工作负载比较方法,利用历史经验数据,搜索与最新负载最为接近的调优策略,从而实现配置参数初始值的跳跃式设置,以降低自动调优的代价;提出基于关联关系和回归统计的降维方法,对大量系统指标和配置参数进行降维处理,从而进一步提高自动调优工具Loadstar的调优效率。设计充分的实验,对本文所构建的自动调优模型进行验证。
【学位授予单位】：华东师范大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.13
【图文】：

图 2.3 机器学习方法分类图而增强学习可与监督和无监督学习进行如下对比：监督学习 VS 增强学习：通常在监督学习中都存在一个局外“监督者”，督者”基于对当前环境的观察和了解，随即与智能体分享环境数据，并来实现相关工作。但所面临的困难却依然存在，智能体能够经过执行众异子任务的组合来完成目标工作，却让创建“监督者”的方式几乎难以而经验学习的方法是解决上述问题的较好方式。增强学习与监督学习最区别在于，除了两者的输入和输出之间均存在映射外，对智能体进行反奖励函数是增强学习重要的特征。无监督学习 VS 增强学习：输入到输出的映射是无监督学习所不具备主要工作是发现数据自身的规则。例如，在给用户推荐娱乐讯息时，无学习算法将查询该用户过去所阅读的讯息，并根据此推荐与之类型相似

第二章 背景介绍与问题描述 华东师范大学硕士学位论文需要直立，因而他（她）需要在经历众多挫折和滑倒后坚持站立；3.站立起来后，如何保持直立平衡又是一个关键，因而孩子可能会采取摆动双手的方式；4.保持直立平衡的基础上，掌控左右迈腿次序和频率以达到前进的要求；通过以上几个步骤孩子会逐渐学会行走，那么这样一个问题用增强学习的方式进行描述也非常合适。该事例的核心“目标”是走路，而在这一过程中孩子就相当于一个“智能体”，他（她）试图经过“行动”（走路）来对“环境”（路面）进行掌控。当孩子去尝试完成任务中的一部分时就将收到奖励或惩罚，如他（她）能完成走几步的动作时，就会收到水果糖的奖励，否则就有吃不到糖的惩罚，如下图 2.4 和 2.5 所示，将孩子学走路问题归纳成一个强化学习问题。

【相似文献】

相关期刊论文 前10条

1 周洁;;数据库管理系统在科技资料管理中的应用[J];南钢科技;1999年03期

2 李志梅;何金花;;应用型人才培养模式下本科数据库管理系统课程教学研究与实践[J];教育教学论坛;2017年04期

3 徐克俊;;新形势下对加强医院信息数据库管理系统建设的思考[J];信息与电脑(理论版);2017年18期

4 赵静;;试论数据库管理系统的组成和发展[J];信息与电脑(理论版);2015年12期

5 程志国;;医院信息数据库管理系统的应用[J];硅谷;2012年05期

6 ;华工达梦中标“大型数据库管理系统开发和产业化”项目[J];华中科技大学学报(自然科学版);2006年02期

7 黄斌,杨世洪,吴钦章;基于分离存储技术的海量图像数据库管理系统的构建及实现[J];计算机应用研究;2005年06期

8 张杰,杨进,董柏青,Mohammad Ali,Jinkyung Park,周宝德,黄晓瑜;DOMI项目研究中数据库管理系统的建立与应用[J];广西医学;2004年04期

9 龙鸿菊;数据库管理系统程序结构在教学实践中的研究[J];天津理工学院学报;2001年S1期

10 刘桥喜,毛善君,王成,雷小锋;地质数据库管理系统的设计与实现[J];煤炭技术;2000年04期

相关会议论文 前10条

1 邢小平;张玉兰;刘志玲;谢国珍;;三维模型数据库管理系统的设计与实现[A];第13届中国系统仿真技术及其应用学术年会论文集[C];2011年

2 汪人杰;续爱民;郑菊艳;;海洋工程标准规范数据库管理系统实现[A];第十四届中国科协年会第5分会场：绿色船舶与海洋装备创新发展及产业化论坛论文集[C];2012年

3 汪人杰;续爱民;郑菊艳;;海洋工程标准规范数据库管理系统实现[A];2012年MIS/S&A学术交流会议论文集[C];2012年

4 徐军;吕立;王淑香;;期刊数据库管理系统研究[A];辽宁省科技期刊编辑优秀论文集[C];1997年

5 杨红卫;周卫;杨宇;;材料制备及文献数据库管理系统的开发[A];第四届中国功能材料及其应用学术会议论文集[C];2001年

6 詹晖;李国平;谭连生;;我国优秀运动员健康档案数据库管理系统的开发[A];2002年第9届全国运动医学学术会议论文摘要汇编[C];2002年

7 姜学峰;;数据库管理系统及其应用[A];中国烟草行业信息化研讨会论文集[C];2004年

8 葛红珊;吴建勇;李志华;;口腔正畸病案资料数据库管理系统的建立[A];第四军医大学口腔医院2004第七届全国口腔正畸学术会议论文汇编[C];2004年

9 程玉伟;;数据库管理系统的现状和发展方向[A];第十届全国信息技术化工应用年会论文集[C];2005年

10 陈于;范青松;张力;汤翠莲;;3S堤防数据库管理系统的建设与应用[A];第六届中国科学家论坛论文汇编[C];2007年

相关重要报纸文章 前10条

1 记者 袁宇;贫困户凭身份证领扶贫物资[N];海南日报;2017年

2 ;成效卓著 实力雄厚[N];科技日报;2005年

3 李安渝、杜小勇;数据库管理系统 现状和发展方向[N];中国计算机报;2002年

4 记者 刘学习;大型通用数据库管理系统DM4取得突破[N];计算机世界;2005年

5 见习记者 许润 记者 邓铭瑶;智慧“秘书”助精准扶贫[N];三亚日报;2018年

6 记者 姜靖;大型通用数据库管理系统获“核高基”立项[N];科技日报;2011年

7 清华大学软件学院　王建民;看得见的进步[N];计算机世界;2004年

8 李理;达梦安全数据库通过验收[N];中国计算机报;2006年

9 王琳　金文德;浙江电力实时数据库管理系统通过验收[N];中国电力报;2007年

10 记者 向杰;国产信息安全数据库通过科技鉴定[N];科技日报;2011年

相关博士学位论文 前3条

1 朱薏;数据库管理系统安全性形式化分析研究[D];华中科技大学;2014年

2 丁伟翠;数字高程模型数据库管理系统开发及在地质制图中的应用[D];中国地质科学院;2012年

3 沈润平;土地利用遥感监测的关键技术及其应用研究——以江西鄱阳湖地区为例[D];浙江大学;2002年

相关硕士学位论文 前10条

1 张燕飞;面向负载的数据库管理系统自动调优[D];华东师范大学;2018年

2 夏书芳;达梦数据库管理系统安全等级测评工具开发[D];华中科技大学;2011年

3 王海峰;移动数据库管理系统的定制技术[D];东南大学;2005年

4 范俊毅;铁路选线工程数据库管理系统的研究[D];西南交通大学;2005年

5 樊玮;气象资料数据库管理系统的设计与实现[D];电子科技大学;2013年

6 吴普;河南省统计综合数据库管理系统的设计与实现[D];电子科技大学;2002年

7 齐志敏;气动综合数据库管理系统的设计与实现[D];西安电子科技大学;2012年

8 钟少波;开放式公路数据库管理系统的设计与实现[D];武汉大学;2003年

9 贾正元;地质调查元数据库管理系统[D];中国地质大学（北京）;2006年

10 叶玉婷;滚动轴承质量检测数据库管理系统的设计与实现[D];华中科技大学;2013年

本文编号：2718267