基于GPU的事务型内存数据库的研究与实现

发布时间：2017-12-06 14:01

  本文关键词：基于GPU的事务型内存数据库的研究与实现

  更多相关文章： 内存数据库 联机事务处理 图形处理器

【摘要】：联机事务处理是数据库领域的重要应用。随着近年来电子商务的迅猛发展和企业数据量的激增,用户对数据库事务处理能力提出了越来越高的要求,而处理器技术和内存技术的发展也为提升数据库事务处理能力带来了机遇和挑战。一方面,多核CPU、GPU、Phi等新型处理器拥有越来越多的处理核心,并行处理能力非常强大;但是另一方面,事务处理过程中对数据的隔离性和一致性的保护又制约着处理器并发能力的提升。目前大多数的研究工作着眼于利用多核处理器的并行计算能力来提高事务型内存数据库的性能,但如何将并行计算能力更强的GPU应用于事务型内存数据库则少有研究。在GPU上实现事务型内存数据库的关键是要在保证ACID特性的前提下充分挖掘程序在GPU上的并行性,然而GPU上数量众多的并发线程和线程束内的锁步执行方式会严重放大数据冲突的影响,使得该问题的解决充满挑战。本文重点解决了事务并发执行,事务实时性保证,GPU设备内存管理等几个关键问题。针对事务并发控制的问题,本文借鉴了 Silo系统的事务提交协议,通过减少集中式资源的使用避免GPU线程的互相阻塞,并解决了对写集合加锁的死锁问题使之适应GPU的并行计算方式。针对事务处理实时性的保护,本文借鉴了 Mega-KV的以时间为标准的调度策略,设计了针对于GPU事务处理的调度流水线,保证了事务的实时性。针对事务的持久化问题,本文采用了 CPU/GPU协作模式,GPU将一个批次的事务作为一个持久化事务,由CPU将该持久化事务的日志信息记录到日志文件中。此外,为提升系统的运行效率,本文中还实现了 GPU设备内存管理器和无锁哈希表。本文主要工作和贡献如下:1.系统研究了在GPU上实现事务型内存数据库面临的困难与挑战,重点解决了事务并发控制、事务的实时性、事务持久性保障等关键技术问题。2.在NVIDIA GPU上实现了一个基于GPU的事务型内存数据库原型系统GPUTx-DB,该系统可在保证数据库事务ACID性质的同时充分利用GPU的并行计算能力。3.利用YCSB和TPC-C数据库基准测试程序对GPUTx-DB进行了性能测试和分析,并与多核处理器上的事务型内存数据库Silo进行了比较,验证了GPUTx-DB的处理能力。
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP311.13

【相似文献】

中国期刊全文数据库 前10条

1 刘云生,焦金良;内存数据库组织分区法的评析[J];计算机工程与应用;2002年10期

2 朱兴宇 ,李凌峰 ,薛巍;基于内存数据库的信用防欺诈系统[J];通信世界;2003年20期

3 易国洪;;内存数据库中恢复技术研究[J];科技广场;2007年03期

4 王珊;肖艳芹;刘大为;覃雄派;;内存数据库关键技术研究[J];计算机应用;2007年10期

5 张乾;;共享内存在内存数据库系统中的应用[J];科技传播;2010年19期

6 刘敏;费向东;胡术;杨诚;;空管系统中内存数据库的设计与实现[J];计算机工程;2010年21期

7 张丽娟;;内存数据库数据的组织结构优化[J];煤炭技术;2011年08期

8 许丽花;;内存数据库的关键技术研究[J];电脑知识与技术;2011年36期

9 陶卫平;;内存数据库关键技术探讨[J];大众科技;2012年11期

10 张良;王纯;李炜;;基于内存数据库的存储集群的关键技术研究[J];电信工程技术与标准化;2012年10期

中国重要会议论文全文数据库 前10条

1 梅宏斌;王德强;;内存数据库技术在期货交易系统中的应用[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年

2 吴绍春;舒良才;李国辉;刘云生;;用内存数据库支持实时事务的定时限制[A];数据库研究进展97——第十四届全国数据库学术会议论文集（下）[C];1997年

3 陈滢;姚小巍;金文;董逸生;;内存数据库的技术探讨[A];第十二届全国数据库学术会议论文集[C];1994年

4 高嗣昌;李守华;李晋;;HSQLDB在电信级项目中的应用[A];促进企业信息化进程——第十届中国Java技术及应用大会文集[C];2007年

5 盛业兴;陆阳;;一种对缓存敏感的内存数据库数据组织方法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

6 马兰;宋玲;吴智玲;;嵌入式内存数据库的数据索引研究[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 宋玲;杨雪君;马兰;;嵌入式内存数据库的存储和索引算法研究[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年

8 覃飙;王建民;刘云生;;一种实时内存数据库恢复算法[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

9 郭超;李坤;王永炎;刘胜航;王宏安;;多核处理器环境下内存数据库索引性能分析[A];NDBC2010第27届中国数据库学术会议论文集A辑一[C];2010年

10 张延松;龚玮薇;王占伟;黄伟;胡伟;季晓东;黄云奎;王珊;;ScaMMDB:面向可扩展内存数据库系统的研究[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

中国重要报纸全文数据库 前10条

1 本报记者 邱燕娜;甲骨文内存数据库产品强调混合负载优势[N];中国计算机报;2014年

2 智雨青;走近内存数据库[N];计算机世界;2007年

3 张建铭;3G时代 内存数据库受宠[N];网络世界;2006年

4 本报记者　 小木;3G计费钟爱内存数据库[N];计算机世界;2006年

5 见习记者 高建荣;袖珍企业赢得巨头订单[N];深圳特区报;2012年

6 本报记者 陈平;SAP携HANA发力中国市场[N];电脑报;2011年

7 本报记者 霍娜 邱燕娜;SAP HANA促生第三代BI 全员实时预测分析或成现实[N];中国计算机报;2012年

8 ;大数据/商业分析会越来越热[N];网络世界;2012年

9 振;Oracle内存数据库高速缓存软件上市[N];电脑商报;2008年

10 《网络世界》记者 周源;戴尔最高端服务器R920入市[N];网络世界;2014年

中国博士学位论文全文数据库 前3条

1 周晓云;并行内存数据库快速事务提交与高效恢复方法研究[D];中国矿业大学;2009年

2 刘勇;基于GPU的内存数据库索引技术研究[D];华南理工大学;2013年

3 贾连印;内存数据库中集合相似度及集合包含问题的研究[D];华南理工大学;2012年

中国硕士学位论文全文数据库 前10条

1 汤璇;基于简易内存数据库的水调预警系统的设计及实现[D];武汉科技大学;2008年

2 朱振龙;内存数据库装载和交换策略研究[D];湖南大学;2009年

3 徐海华;面向应用的内存数据库研究[D];上海师范大学;2008年

4 张照波;Redis在电信运营系统中的应用研究[D];大连海事大学;2015年

5 李凤龙;标准信息网检索数据库架构与实现[D];山东大学;2014年

6 王晟泳;多机热备份内存数据库的设计与实现[D];电子科技大学;2011年

7 钱昊;面向内存数据库的快照机制和持久性支持研究[D];上海交通大学;2015年

8 李兆X;期货客户快速报单系统的设计与实现[D];华北电力大学;2015年

9 李诗云;基于内存数据库Redis的众包系统性能优化[D];浙江大学;2016年

10 常鹏飞;LADS：基于依赖分析的动态单线程在线事务处理内存数据库[D];浙江大学;2016年

，

本文编号：1258822