基于PCM的数据库日志与索引优化研究
本文选题:数据库系统 + 相变存储器 ; 参考:《中国科学技术大学》2017年硕士论文
【摘要】:数据库系统中的日志与并发操作技术一直是数据库系统的研究热点。近年来,随着相变存储器(Phase Change Memory,PCM)等新型非易失性存储器(Non-Volatile Memory,NVM)的出现,使得我们需要重新考虑数据库日志和并发操作问题。如何利用这些新的硬件平台,尽可能减少日志带来的开销并优化数据库系统的并发操作性能,已经成了基于PCM的数据库系统中迫切需要解决的问题。本论文围绕基于PCM的数据库系统所带来的新需求和新问题,着重研究PCM数据库系统中的日志与事务并发操作优化问题。具体而言,论文研究了两方面的问题:(1)在混合主存系统下,如何利用新型存储器特性,为传统数据库系统中的日志技术提供性能更优的解决方法?(2)如何结合PCM这一新型存储的特性,设计新的数据更新方法解决并发操作带来的轻量级锁冲突问题,从而提高并发操作的性能?围绕上述问题,本文开展了深入研究。论文的主要工作和贡献可归纳为以下几点:(1)提出了一种基于PCM的日志更新与事务恢复方法结合PCM的特性以及数据更新和日志更新操作的特点,论文提出了新的日志更新与事务恢复方法。我们通过合理的数据组织和数据结构设计,将更新数据和部分元数据信息存储在PCM中,消除事务操作带来的写日志开销和磁盘I/O,提高数据库系统的性能。(2)提出了一种基于PCM的B+树索引并发更新优化方法论文研究了基于PCM的数据库更新操作优化问题,并针对基于B+树的数据并发更新操作提出了优化方法。对于数据页的更新操作,我们将所有更新记录都写到PCM上,并通过映射表和数据链的形式进行管理。对于索引更新操作,我们将对叶节点的更新操作存储在PCM上,利用标记记录的方式来实现节点的快速分裂和合并,消除索引更新过程中的轻量级锁冲突,从而提高索引的并发访问性能。(3)利用PCM模拟器进行了实验和性能评价为了验证所提方法的性能,我们利用DRAM设计了一个PCM模拟器,并通过trace数据对系统的事务吞吐率和平均响应时间进行了测试。结果表明,论文提出的基于PCM的日志更新策略和数据更新方法可以有效提升数据库系统的性能。
[Abstract]:The technology of log and concurrent operation in database system has been the research hotspot of database system all the time. In recent years, with the emergence of new non-volatile memory (Non-volatile memory NVMs), such as Phase change memory (PCM), we need to reconsider the problems of database logging and concurrent operation. How to make use of these new hardware platforms to minimize the overhead caused by log and optimize the concurrent operation performance of database system has become an urgent problem in the database system based on PCM. In this paper, we focus on the optimization of log and transaction concurrent operations in PCM database system, focusing on the new requirements and problems brought about by PCM based database system. Specifically, this paper studies two problems: 1) how to make use of the new memory characteristics in the hybrid main memory system. How to design a new data update method to solve the problem of lightweight lock conflict caused by concurrent operation, combining with PCM, which is a new storage feature, to provide a better performance solution for log technology in traditional database systems. To improve the performance of concurrent operations? Around above question, this article has carried on the thorough research. The main work and contributions of this paper can be summarized as follows: 1) A PCM-based log update and transaction recovery method combined with the characteristics of PCM and the characteristics of data update and log update operation are proposed. This paper proposes a new log update and transaction recovery method. We store the updated data and some metadata information in PCM through reasonable data organization and data structure design. To eliminate the write log overhead and disk I / O caused by transaction operation and improve the performance of database system, a PCM-based method for concurrent updating of B-tree index is proposed. In this paper, the optimization problem of database update operation based on PCM is studied. An optimization method for data concurrent update operation based on B tree is proposed. For the update operation of the data page, we write all the update records to the PCM and manage them in the form of mapping table and data link. For the index update operation, we store the update operation of the leaf node on PCM, realize the fast splitting and merging of the node by the way of mark record, and eliminate the lightweight lock conflict in the process of index updating. In order to improve the concurrent access performance of the index, we designed a PCM simulator using DRAM to test and evaluate the performance of the proposed method. The transaction throughput and average response time of the system are tested by trace data. The results show that the PCM-based log update strategy and data update method can effectively improve the performance of database system.
【学位授予单位】:中国科学技术大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP311.13
【相似文献】
相关期刊论文 前10条
1 雷军红,张晓辉;系统管理中的一种权限和日志管理方案及实现[J];指挥技术学院学报;2000年03期
2 胡雪梅;数据库的日志管理[J];数字通信;2000年08期
3 晓辉;;世界第一家日志管理设备厂商首次进入中国[J];网络安全技术与应用;2005年12期
4 陈赛娉;;大型企业日志管理平台方案设计[J];大众科技;2006年08期
5 ;日志管理要过三道“槛”[J];信息安全与通信保密;2007年09期
6 陈晶晶;;学习日志管理系统在网络课堂中的应用开发[J];软件导刊(教育技术);2008年03期
7 朱宏;孙嘉良;高文晶;;天津市地震局值班日志管理系统的设计与实现[J];科技视界;2014年04期
8 毛玉华,姜丽红;合同管理软件中日志管理的应用[J];计算机工程;2004年S1期
9 陈兀;程耕国;;基于Struts+Spring+log4j框架的日志管理[J];软件导刊;2010年05期
10 薛凌云;;设计模式在通用故障日志管理系统中的应用[J];邵阳学院学报(自然科学版);2010年03期
相关会议论文 前2条
1 廖国琼;刘云生;肖迎元;;日志驱动主从弱一致性实时复制策略[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
2 沈军;田华;吴强;张延华;;基于NANDFlash的日志存储与查询功能设计[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
相关重要报纸文章 前10条
1 沈建苗;日志管理迎接法规遵从时代[N];计算机世界;2007年
2 赵晓涛;安全日志管理渐成主流[N];网络世界;2008年
3 记者 吴晓伟;日志管理设备厂商进入中国[N];计算机世界;2005年
4 ;日志管理先进技术服务企业网络[N];人民邮电;2005年
5 张克兴;淮阳推行工作日志管理[N];中国医药报;2006年
6 侯志勇邋崔文海;电子日志让工作情况一目了然[N];中国税务报;2007年
7 本报记者 何建红;小日志写出干部管理大文章[N];中国财经报;2009年
8 罗才旺;石勘院将实施工作日志管理[N];中国石化报;2009年
9 邹铮 编译;大数据带来大困惑[N];网络世界;2012年
10 本报记者 谷艳丽;有效日志管理 提升网络安全[N];中国计算机报;2011年
相关硕士学位论文 前10条
1 郑立明;济宁移动公司电子运维值班管理系统的设计与实现[D];山东大学;2014年
2 李靖;企业人事/日志管理信息系统研究与实现[D];电子科技大学;2014年
3 王国林;基于日志的安全监控系统的设计与实现[D];电子科技大学;2014年
4 牟肖蓬;基于大数据的日志管理系统的设计与实现[D];东北大学;2014年
5 张晨东;可扩展事务处理系统中的日志同步策略[D];华东师范大学;2016年
6 黄金銮;基于MAS分布式ETL系统容错的研究与实现[D];福州大学;2013年
7 曹进;贝得数据固定资产管理系统设计与实现[D];大连理工大学;2016年
8 李璎;基于网络侧精准营销日志管理系统的设计与实现[D];华南理工大学;2016年
9 邱宇芳;基于SolrCloud大数据平台日志管理系统的设计与实现[D];中国科学院大学(中国科学院工程管理与信息技术学院);2017年
10 王文强;基于PCM的数据库日志与索引优化研究[D];中国科学技术大学;2017年
,本文编号:2017717
本文链接:https://www.wllwen.com/shoufeilunwen/xixikjs/2017717.html