PostgreSQL数据库中SSD缓存模块的设计与实现

发布时间：2017-11-02 20:35

  本文关键词：PostgreSQL数据库中SSD缓存模块的设计与实现

  更多相关文章： 固态硬盘 UBIFS 混合存储 PostgreSQL

【摘要】：大数据时代的来临,数据的规模和增长速度快速发展,海量数据的处理对计算机带来了巨大挑战,磁盘的读写速度成为了制约系统性能的瓶颈。基于闪存技术的SSD的发展给解决这一问题提供了有效途径。闪存是半导体介质,它没有机械寻道延迟,读写速度非常快,同时功耗也比磁盘低很多。但是相对于磁盘,SSD的价格昂贵。混合存储技术正是平衡性能和成本的解决方案。本次项目首先对闪存的访问特性和SSD的原理进行了了解。只有了解了这些基本情况才能更加充分的开发SSD缓存。由于本次项目是基于PostgreSQL开发的SSD缓存,所以又对PostgreSQL的程序执行流程和部分源码进行了详细分析,充分了解了开发的“上下文”。最后本次项目设计开发了出了基于ext3的SSD缓存模块和基于UBIFS的SSD缓存模块,并进行了TPC-C基准测试。SSD中一般由多个NAND闪存芯片和FTL组成。普通的文件管理系统无法直接在NAND上运行。而FTL封装了NAND闪存芯片,使得普通文件管理系统访问SSD和访问HDD相同。但是普通文件管理系统+FTL这种访问方式没有充分发挥NAND闪存的性能。UBIFS是一种针对NAND闪存开发的文件管理系统,它比ext3+FTL这种模式的I／0速度更快,写放大比例更小。使用UBIFS可以更加快速的访问SSD上的数据。使用UBIFS这种直通方案可以绕过FTL层的影响,更加充分的利用NAND闪存的特性。
【关键词】：固态硬盘 UBIFS 混合存储 PostgreSQL
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333;TP311.52
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 绪论8-13
• 1.1 课题背景8-9
• 1.2 混合存储技术的现状9-11
• 1.3 课题任务11
• 1.4 论文结构11-13
• 第二章 相关技术13-24
• 2.1 闪存简介13-14
• 2.2 SSD简介14-17
• 2.3 Flash文件系统简介17
• 2.4 UBIFS简介17-22
• 2.4.1 UBIFS体系结构17-19
• 2.4.2 UBIFS设计简介19
• 2.4.3 UBIFS存储结构19-22
• 2.5 TPC-C测试22-23
• 2.6 本章小结23-24
• 第三章 PostgreSQL数据库分析24-36
• 3.1 PostgreSQL简介24-25
• 3.2 PostgreSQL体系结构25-26
• 3.3 PostgreSQL中的进程结构26-28
• 3.3.1 守护进程Postmaster26-27
• 3.3.2 服务进程Postgres27
• 3.3.3 辅助进程27-28
• 3.4 PostgreSQL存储管理28-30
• 3.4.1 存储管理器简介28-30
• 3.4.2 表文件和数据页的结构30
• 3.5 缓冲池管理30-34
• 3.5.1 共享缓冲池管理30-33
• 3.5.2 缓冲区替换算法33-34
• 3.6 PostgreSQL内存管理中的两种锁34-35
• 3.7 PostgreSQL和MySQL对比35
• 3.8 本章小结35-36
• 第四章 需求分析36-38
• 第五章 SSD缓存模块的设计38-44
• 5.1 基于ext3的PG SSD Cache设计38-41
• 5.1.1 read_from_ssd接口的基本流程39-40
• 5.1.2 write_to_ssd接口的基本流程40-41
• 5.2 基于UBIFS的PG UBI Cache设计41-42
• 5.2.1 read_from_ssd接口的设计42
• 5.2.2 write_to_ssd接口的设计42
• 5.3 本章小结42-44
• 第六章 SSD缓存模块的实现44-50
• 6.1 基于ext3的PG SSD Cache缓存模块的实现44-48
• 6.1.1 主要数据结构44-45
• 6.1.2 哈希表相关接口的实现45-46
• 6.1.3 SSD缓存管理模块的实现46-48
• 6.2 基于UBIFS的PG UBI Cache缓存模块的实现48
• 6.3 本章小结48-50
• 第七章 性能测试和分析50-53
• 7.1 测试环境50
• 7.2 测试结果与分析50-51
• 7.3 本章小结51-53
• 第八章 总结与展望53-55
• 参考文献55-56
• 致谢56

【相似文献】

中国期刊全文数据库 前10条

1 张昌达;;光盘在文件管理系统中的作用和发展动向[J];激光与红外;1987年07期

2 李晓波;;企业文件管理系统的设计与实现[J];电子测试;2014年04期

3 Tony Redmond;;Microsoft SharePoint Portal Server(上)——新一代文件管理系统[J];软件;2001年11期

4 邓剑文,钟萃相;在线文件管理系统的开发方法[J];计算机与现代化;2004年05期

5 戚婷婷;朱晓娟;薛蓓依;;上海轨道交通车辆技术项目文件管理系统[J];城市轨道交通研究;2007年01期

6 王卫华;李志;;计算机档案文件管理系统的设计与实现[J];武警学院学报;2008年10期

7 朱巧生;;微处理机数据文件管理系统[J];计算机研究与发展;1982年01期

8 褚鹤;一个办文管文相结合的微机文件管理系统[J];北京档案;1991年03期

9 杨则正;自动化的文件管理系统[J];管理科学文摘;1996年03期

10 唐进华;从知识工作者角度谈企业文件管理系统[J];计算机与通信;1999年08期

中国重要会议论文全文数据库 前2条

1 张秀芝;林玉祥;侯洪生;;网络化教学文件管理系统的研究与开发[A];中国图学新进展2007——第一届中国图学大会暨第十届华东六省一市工程图学学术年会论文集[C];2007年

2 聂威;刘振元;陈学广;;基于Struts框架的企业文件管理系统的设计与实现[A];全国第十届企业信息化与工业工程学术年会论文集[C];2006年

中国重要报纸全文数据库 前4条

1 张薇薇;美国邮资委员会即将推出网上文件管理系统[N];中国邮政报;2002年

2 马忠春;天津药企推广GMP文件管理系统[N];中国医药报;2007年

3 ;南京海关—— 积极研发规范性文件管理系统[N];江苏法制报;2010年

4 陈亮;投入Vista的怀抱？再等等吧![N];南方日报;2007年

中国硕士学位论文全文数据库 前10条

1 高凯;基于中国虹计算机的文件管理系统设计与研究[D];山东大学;2015年

2 陈传镇;教学资源文件管理系统的设计与实现[D];哈尔滨工业大学;2015年

3 张明义;基于Struts框架的网络文件管理系统设计与实现[D];电子科技大学;2013年

4 王冠鹏;PostgreSQL数据库中SSD缓存模块的设计与实现[D];北京邮电大学;2015年

5 杜云林;六安精工公司文件管理系统的设计与实现[D];大连理工大学;2013年

6 陈洁瑜;基于云平台的文件管理系统的设计与测试研究[D];厦门大学;2014年

7 陆燕宁;基于快速加密的文件管理系统的设计与实现[D];大连理工大学;2013年

8 胥磊;安全文件管理系统的设计与实现[D];中南大学;2007年

9 李超;电子信息文件管理系统[D];吉林大学;2008年

10 黄石磊;基于C/S模式的机要文件管理系统的设计[D];电子科技大学;2010年

，

本文编号：1133085