基于多核处理器的内存数据库查询执行优化研究

发布时间：2021-04-26 18:56

　　随着信息技术的快速发展,各类数据呈爆炸式的增长,数据库系统成为近年来计算机领域的热点研究方向。目前对于数据库系统的研究主要包括:查询执行、查询优化以及数据存储。查询执行是数据库系统的核心部分,包含各种数据库的基本操作,有重要的研究意义。随着半导体技术的发展,单核处理器的性能提升空间十分有限,多核处理器的快速发展,已经成为处理器市场的主流。除此之外,存储器的容量也越来越大,价格越来越便宜,数据库系统中全部数据或者大部分数据放入内存已成为可能。内存数据库的兴起,使研究人员将研究的重点放到了提升数据库算法的运算效率以及提升内存存取效率上,而不再关注硬盘的存取效率。尽管近年来在多核内存数据库查询执行优化技术领域的研究不断取得新的进展,但在利用多核处理器并行资源对一些数据库基本操作进行优化方面,存在有待提高和完善之处。结合目前数据库查询执行领域的研究成果,针对一些数据库基本操作存在的不足,本文利用多核处理器的并行资源对内存数据库中哈希划分算法、自适应索引算法、哈希连接算法进行了优化,其主要工作概括如下:（1）本文总结了多核处理器中解决线程之间冲突的常用方法,这些方法包括:加锁策略、独立空间策略、... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：118 页

【学位级别】：博士

【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
    1.1 研究背景和意义
        1.1.1 多核处理器的背景和发展前景
        1.1.2 内存数据库的背景
    1.2 本文研究思路
    1.3 相关研究现状
        1.3.1 划分技术的研究现状
        1.3.2 并行排序技术的研究现状
        1.3.3 索引技术的研究现状
        1.3.4 哈希连接技术的研究现状
    1.4 主要工作和章节安排
        1.4.1 论文主要工作
        1.4.2 论文章节安排
第二章 基础理论和相关技术
    2.1 多核处理器的相关理论
    2.2 并行计算相关理论
第三章 多核处理器中并行哈希划分算法优化研究
    3.1 解决线程之间冲突的方法
    3.2 并行哈希划分算法优化
        3.2.1 软件合并写优化
        3.2.2 绕过缓存优化
        3.2.3 存储结构优化
        3.2.4 多步划分与负载均衡优化
    3.3 实验结果与分析
        3.3.1 实验平台与数据集
        3.3.2 单步划分实验与分析
        3.3.3 软件合并写优化实验结果与分析
        3.3.4 绕过缓存优化实验结果与分析
        3.3.5 多步划分实验结果与分析
        3.3.6 数据倾斜实验结果与分析
    3.4 本章小结
第四章 多核处理器中自适应索引算法优化研究
    4.1 自适应索引算法
        4.1.1 Database Cracking算法
        4.1.2 提升算法收敛速度的优化
        4.1.3 提升算法鲁棒性的优化
        4.1.4 本章实验平台与数据集
    4.2 一种自适应选择优化策略的方法
        4.2.1 划分位置的影响
        4.2.2 选择率的影响
        4.2.3 根据数据块查询次数改进Buffered-swapping Cracking算法
        4.2.4 实验结果与分析
    4.3 多核并行Adaptive Merging算法
        4.3.1 索引初始化
        4.3.2 查询语句执行
        4.3.3 实验结果与分析
    4.4 多核处理器中并行自适应索引算法优化研究
        4.4.1 多核并行Database Cracking算法
        4.4.2 改进的Partition Merge算法
        4.4.3 改进的多核并行自适应索引算法
        4.4.4 实验结果与分析
    4.5 本章小结
第五章 基于多核MapReduce模型的并行哈希连接优化
    5.1 多核MapReduce计算模型
        5.1.1 MapReduce计算模型
        5.1.2 基于共享内存的多核MapReduce模型
    5.2 基于多核MapReduce模型的并行哈希连接
        5.2.1 哈希连接
        5.2.2 基于多核MapReduce模型的非划分哈希连接
        5.2.3 基于多核MapReduce模型的划分哈希连接
    5.3 一种改进的Cuckoo哈希表
        5.3.1 Cuckoo哈希表
        5.3.2 改进的Cuckoo哈希表
        5.3.3 并发控制
        5.3.4 优化策略
        5.3.5 实验结果与分析
    5.4 哈希连接的相关优化
        5.4.1 SIMD指令的使用
        5.4.2 利用MapReduce模型优化多步划分
        5.4.3 负载均衡优化
    5.5 实验结果与分析
        5.5.1 实验数据集
        5.5.2 非划分哈希连接实验结果及分析
        5.5.3 划分哈希连接实验结果及分析
        5.5.4 划分数量的影响及分析
        5.5.5 不同数据集的影响及分析
        5.5.6 不同倾斜度的影响及分析
    5.6 本章小结
第六章 总结与展望
    6.1 论文工作总结
    6.2 未来研究展望
参考文献
致谢
作者简介


【参考文献】：
期刊论文
[1]MapReduce并行编程模型研究综述[J]. 李建江,崔健,王聃,严林,黄义双.  电子学报. 2011(11)
[2]列存储数据库关键技术综述[J]. 李超,张明博,邢春晓,胡劲松.  计算机科学. 2010(12)
[3]基于现代通用处理器的数据库优化综述[J]. 邓亚丹,景宁,熊伟.  计算机科学. 2009(08)
[4]云计算:系统实例与研究现状[J]. 陈康,郑纬民.  软件学报. 2009(05)
[5]内存数据库关键技术研究[J]. 王珊,肖艳芹,刘大为,覃雄派.  计算机应用. 2007(10)
[6]基于语义和逻辑的分布查询优化[J]. 石树刚,郑振楣,袁明.  计算机研究与发展. 1991(11)

博士论文
[1]基于GPU的内存数据库索引技术研究[D]. 刘勇.华南理工大学 2013
[2]面向共享Cache多核处理器的数据库查询执行优化技术研究[D]. 邓亚丹.国防科学技术大学 2009



本文编号：3161939