基于NVM的高性能即时恢复存储引擎的设计与实现

发布时间：2020-07-15 15:29

【摘要】：目前,新兴的非易失内存(Non-volatile Memory,NVM)正在逐步走入人们的视野。由于这类存储技术同时具备了低延迟、持久化、大容量和字节可寻址的特性,数据库系统可以运行在只有NVM的存储架构上。在这种环境下,一些新奇的无日志存储系统应运而生。由于不再需要重做日志,这些系统能够在故障发生后即时地恢复。然而,在现有的体系结构中,这些系统为了确保NVM上数据的一致性需要进行大量的同步操作,严重影响了正常执行时的系统性能。本文的研究内容如下:1)本文综述了 NVM存储系统设计的相关技术,包括NVM的基本概念、NVM的编程接口和数据同步、基于NVM的数据库设计等方面。2)本文实现了一个基于NVM单一存储架构的高性能即时恢复存储引擎FIRSE(Fast and Instantly Recoverable Storage Engine)。FIRSE 的核心设计理念是,将系统中的数据分为必须确保一致性的关键数据和可以通过重启时恢复的可重建数据,在日常操作中只确保关键数据的一致性,从而减少数据同步的次数;另一方面,通过异步的恢复机制使得系统可以即时地恢复。3)本文对FIRSE与另两种具有代表性的持久化数据结构进行了完整的性能评估,既包括独立的性能评估,也包括将三种数据结构集成至高性能内存数据库Redis中的端到端的性能评估。评估结果表明,FIRSE在大多数工作负荷下吞吐率表现良好。即时恢复是FIRSE最突出的特点,在恢复时间上相比于其他数据结构缩短了 3-4个数量级。此外,FIRSE在NVM资源使用量和写磨损方面也均好于其他两种数据结构。
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP333
【图文】：

仅使得ＮＶＭ有足够的带宽供ＣＰＵ访问，而且在体系结构特性上也与普通内存逡逑维持一致（比如ＮＵＭＡ访问，Ｃａｃｈｅ—致性）。因此，应用开发者可以简单地逡逑将ＮＶＭ抽象为一块具有持久化能力的内存，简化了应用程序的开发。图２．１逡逑展现了邋ＮＶＭ在体系结构中的关键路径。逡逑１１逡逑

对ＮＶＭ优化的文件系统——ＤＡＸ文件系统。相比传统文件系统，ＤＡＸ文件逡逑系统的最大特点是，文件上的读写操作直接作用于底层的ＮＶＭ设备，而没有逡逑任何介入其中的软件缓存。ＤＡＸ文件系统的工作原理如图２．２所示。应用程序逡逑对ＮＶＭ上的文件建立内存映射时，ＤＡＸ文件系统通过ＮＶＭ设备的驱动程序逡逑得到该文件对应数据块的物理地址，并通过内存管理单元将进程的一部分虚拟逡逑地址映射到文件的物理地址上。之后，应用程序对该虚拟地址空间上的访问会逡逑直接作用在ＮＶＭ上。另外，应用程序通常会使用一个用户态的ＮＶＭ库来简逡逑化ＮＹＭ编程。逡逑Ｕｓｅｒ邋Ｓｐａｃｅ逦Ａｐｐｌｉｃａｔｉｏｎ逡逑ｍｍａｐ逦ｒｅａｄ／ｗｒｉｔｅ逡逑ＮＶＭ邋Ｌｉｂ逡逑Ｖ

逑本文在最新的工业级ＮＶＭ上比较了普通写操作和确保一致性的写操作的逡逑性能。图２．３是两种操作所对应的吞吐率。确保一致性的写操作每写入１６字节逡逑后都使用ｓｙｎｃ原语进行同步。本文在不同大小的ＮＶＭ空间上测试了这两种操逡逑作的性能，其性能差距可达６５－５２１倍！逡逑１２０００邋－邋＞邋１邋■—■■■．．＿■■逦—＾ 邋Ｎｏｒｍａｌ－Ｗｒｉｔｅ逡逑ｎ．逦Ｗｒｉｔｅ－ｗｉｔｈ－Ｓｙｎｃ逡逑画．＼逡逑＾邋８０００邋－逦＼逡逑Ｉ逦＼逡逑１逦＼逡逑Ｓ邋４０００邋－逦＼逡逑２０００邋■逦Ｘ逦逦逡逑0邋？邋念逦金逦＆逦■＊逦■＊．逦逦逦－－Ａ逡逑Ｉ逦４逦１６逦６４逦２５６逦１０２４逡逑ｂｌｏｃｋｓｉｚｅ邋＜ＭｉＢ）逡逑图２．３邋ＮＶＭ上普通写操作和确保一致性的写操作的性能比较逡逑２．３存储引擎的持久化逡逑２．３．１持久化存储引擎逡逑关系数据库通过满足ＡＣＩＤ的事务［２（）］来简化上层应用的开发，这个思想同逡逑样可以应用在存储引擎上。一般的

【相似文献】

相关期刊论文 前10条

1 汪欣华;;试论市场经济条件下政治统治合法化与持久化的有效途径[J];理论观察;2016年07期

2 刘攀;武友新;;一种自定义持久化机制的研究[J];微计算机信息;2008年03期

3 石祥滨，张斌，郑还远，陈学德;一种使C~（＋＋）成为持久化程序设计语言的机制及实现[J];沈阳工业大学学报;1996年03期

4 李侠;;灾区援助需要多元化持久化[J];中国卫生;2008年07期

5 廖跃钧;;论软件体系结构中的持久化技术[J];科技信息(学术研究);2008年29期

6 李向阳;欧洲高失业的持久化[J];经济研究参考;1997年45期

7 ;美国网络空间攻击与主动防御能力解析——用于持久化控制的网空攻击装备[J];网信军民融合;2018年06期

8 曲恒昌;若干国家过量教育的持久化及其对我们的启示[J];比较教育研究;1998年04期

9 张月;井辉;;在线考试系统设计中试题的呈现及持久化处理方法[J];南京广播电视大学学报;2011年02期

10 牛变玲;刘彦隆;;Java技术中数据的持久化实现及对比[J];科技情报开发与经济;2010年06期

相关会议论文 前9条

1 王俊;于爱荣;曹雷;;基于Delphi的持久化层的设计与研究[A];’2004系统仿真技术及其应用学术交流会论文集[C];2004年

2 张伟燕;夏涛;吴志杰;;实体EJB的双重持久化设计[A];中国工程物理研究院科技年报（2005）[C];2005年

3 刘一童;;使用XStream实现Java对象与XML转换[A];促进企业信息化进程——第九届中国Java技术及应用交流大会文集[C];2006年

4 李菡;李磊;;基于eBase数据库的数据结构持久化研究与应用[A];第二十三届中国数据库学术会议论文集（技术报告篇）[C];2006年

5 郭杰;;基于NoSQL的持久化消息队列设计实现[A];全国冶金自动化信息网2014年会论文集[C];2014年

6 薛丽娟;杨柳堤;王成军;;基于Gentle.net的科研项目管理系统持久化层解决方案[A];第四届中国软件工程大会论文集[C];2007年

7 谢飞;;Java平台下数据库持久化技术介绍[A];促进企业信息化进程——第十届中国Java技术及应用大会文集[C];2007年

8 陈小春;孙亮;赵丽娜;;基于固件的终端安全管理系统研究与应用[A];第30次全国计算机安全学术交流会论文集[C];2015年

9 李海刚;吴毅平;沈兵;;通用数据访问和持久化在宝信能源管理系统中的实现[A];2007中国钢铁年会论文集[C];2007年

相关重要报纸文章 前10条

1 记者 杨宏斌 通讯员 胡爱民 赵宁 邱畅;让反“四风”持久化[N];湖北日报;2014年

2 贾京生;差异化与持久化[N];中国纺织报;2004年

3 本报记者 丁瑶瑶;沈阳体育呈现全运效应持久化[N];沈阳日报;2012年

4 记者 杨金志　许晓青;金建忠代表:建设学习型党组织 必须持久化重实效[N];新华每日电讯;2011年

5 李晓帆 袁影;打击非法设台应常态化持久化[N];人民邮电;2016年

6 本报记者 别坤;谈笑有同窗，往来有精英[N];计算机世界;2012年

7 记者 冯芸 惠婷 李凤虎 王平 郭海方 高长岭 杜君 郭戈;践行群众路线没有“休止符”[N];河南日报;2014年

8 周飙;“按人发钱”不如“持久减税”[N];21世纪经济报道;2008年

9 记者 王凤娟;签订“门前三包”责任书 助力国家级卫生城市创建[N];图们江报;2011年

10 中华读书报社副总编辑 王小琪;推广读书是政府的一种责任[N];光明日报;2006年

相关博士学位论文 前3条

1 安静斌;面向分布构件平台的持久化技术研究[D];国防科学技术大学;2007年

2 熊昊;入盟后波兰对美欧俄外交政策演变[D];中国人民大学;2011年

3 王德俊;面向服务的分布式系统动态更新研究[D];上海交通大学;2010年

相关硕士学位论文 前10条

1 王涛;基于NVM的高性能即时恢复存储引擎的设计与实现[D];浙江大学;2018年

2 陈席林;分布式持久化缓存系统的研究与实现[D];重庆大学;2013年

3 王艳萍;移动Web客户端持久化缓存技术研究[D];华中科技大学;2013年

4 饶毓琳;基于LSM-Tree的持久化缓存机制的优化研究[D];华中科技大学;2016年

5 张彦歆;基于.NET平台ORM技术的研究与应用[D];上海交通大学;2009年

6 周海华;基于持久化DOM的XML数据存储技术研究与实现[D];沈阳工业大学;2005年

7 刘靖侨;XML文档对象模型持久化在OSCAR中的实现及查询转换[D];浙江大学;2002年

8 周源;对象关系映射引擎的设计与实现[D];东南大学;2005年

9 陈彬;数据流实时存储关键技术[D];浙江工业大学;2015年

10 王妮喃;集团经营工作计划管理系统的研究与实现[D];吉林大学;2014年

本文编号：2756675