基于闪存特性的存储优化及应用研究

发布时间：2017-04-01 12:16

  本文关键词：基于闪存特性的存储优化及应用研究，由笔耕文化传播整理发布。

【摘要】：存储介质是计算机存储体系结构的基础。从磁带、软盘到机械硬盘,存储工业的每一次进步都带来了体系结构和系统软件层的进一步发展。近年来,随着闪存存储器芯片成本不断下降,各种基于闪存芯片的存储设备被大量使用。固态盘等形式的闪存设备,由于其可兼容传统存储系统,并具有高性能、低功耗等优点,被广泛使用在I/O密集型应用环境中替换传统机械硬盘。这类设备内部的闪存地址转换层(FTL)使其内部闪存特性对上层系统透明,使得传统文件系统及数据库系统软件等将闪存设备当作普通块设备使用,这造成了软硬件之间的设计冗余、策略冲突、协同缺失等问题。针对这些问题,本文对包括事务处理、并行I/O、存储入侵检测以及云存储缓存四个不同应用场景下基于闪存特性的存储优化进行了研究。论文的主要成果与贡献包括:1.针对事务处理应用场景,提出了基于闪存的软硬件协同分类事务处理机制Mobius。该机制利用了闪存异地更新特性,在设备内部同时支持传统数据库中的ACID事务以及日志文件系统中的弱事务,提出了静态事务和动态事务的概念。Mobius扩展了传统设备接口,针对不同类型的事务对上层软件直接提供相应的事务处理接口。对于静态事务的快速恢复,提出了基于有向无环图拓扑关系的静态事务提交协议。该提交协议是一种延迟提交协议,可以避免提交记录造成的额外写入。此外,在事务恢复时,Mobius可以避免大部分事务数据扫描,从而减少离线恢复时间,提高了数据可用性。2.针对并行I/O环境中出现的单个固态盘写悬崖造成的全局写性能下降问题,提出了可以自适应的细粒度数据放置策略。固态盘在持续写密集负载和可用空间少等情况下会出现写性能急剧下降的问题,称之为写悬崖。并行I/O环境下单个固态盘写悬崖会对全局性能造成影响。自适应的细粒度数据放置算法可以在写悬崖发生后将数据以细粒度的方式进行节点间迁移,避免了全局I/O性能下降。3.针对存储入侵检测应用场景,提出了基于闪存的存储入侵检测机制IDSSD。该机制利用闪存FTL层提高了查询存储层入侵检测规则的效率,同时还利用闪存的异地更新特性提供在垃圾回收时进行入侵检测的异步入侵检测机制,提高了检测性能。此外,利用异地更新特性,IDSSD还可以防止入侵检测发生后可能出现的数据覆盖,从而避免了入侵痕迹丢失的问题。与传统根据块级语义入侵检测规则实时重建文件级语义的方法相比,IDSSD在性能上有较大提高。4.针对云存储环境,设计并实现了基于USB闪存盘的云存储缓存系统。该应用技术使用云存储扩展闪存的容量,同时使用USB闪存盘缓存云端数据,从而实现了以云存储为后台的便携数据存储。该系统利用了闪存的I/O能力,作为云端数据的本地缓存,同时使用闪存盘硬件标识和用户密码配合作为密钥获取云端数据,保证了数据安全性;此外,该系统内部使用DO-LRU缓存替换算法,可以有效的降低云存储使用费用。
【关键词】：闪存 事务处理 并行I/O 写悬崖 入侵检测
【学位授予单位】：清华大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要3-5
• Abstract5-12
• 主要符号对照表12-14
• 第1章 绪论14-23
• 1.1 研究背景14-17
• 1.1.1 闪存技术的兴起15-16
• 1.1.2 闪存的特性16-17
• 1.2 基于闪存特性的存储优化关键问题17-19
• 1.2.1 存储系统概述18
• 1.2.2 存在的关键问题18-19
• 1.3 研究内容与主要贡献19-21
• 1.3.1 研究内容19-20
• 1.3.2 主要贡献20-21
• 1.4 论文组织结构21-23
• 第2章 相关工作23-36
• 2.1 传统事务处理技术23-27
• 2.1.1 数据库系统事务处理23-25
• 2.1.2 文件系统恢复技术25-27
• 2.2 基于闪存的事务处理技术27-31
• 2.2.1 固态盘突然断电恢复机制27-28
• 2.2.2 传统接口的闪存事务处理技术28-29
• 2.2.3 扩展设备接口的闪存事务处理技术29-31
• 2.3 并行I/O环境数据放置策略相关工作31-33
• 2.3.1 基于I/O特征的数据放置策略31-32
• 2.3.2 混合存储并行I/O系统数据放置策略32-33
• 2.4 基于闪存的存储入侵检测系统相关工作33-34
• 2.5 基于USB闪存盘的云存储缓存系统相关工作34-36
• 2.5.1 云存储缓存技术研究34
• 2.5.2 基于计价设计的云存储系统相关研究34-36
• 第3章 基于闪存的软硬件协同分类事务处理机制36-62
• 3.1 概述36-38
• 3.1.1 软件层事务处理机制36
• 3.1.2 研究动机36-37
• 3.1.3 本章贡献37-38
• 3.2 事务处理特性38-41
• 3.2.1 数据库事务处理特性38-39
• 3.2.2 日志文件系统事务处理特性39-41
• 3.3 核心设计思想41-42
• 3.4 Mobius事务处理机制设计42-52
• 3.4.1 系统结构42-44
• 3.4.2 设备接口44-45
• 3.4.3 静态事务提交过程45-47
• 3.4.4 动态事务提交过程47
• 3.4.5 静态事务恢复过程47-49
• 3.4.6 动态事务恢复过程49
• 3.4.7 映射信息管理49-50
• 3.4.8 垃圾回收50
• 3.4.9 讨论50-52
• 3.5 原型系统实现52-54
• 3.5.1 原型系统实现平台52-53
• 3.5.2 Mobius内部结构和策略实现53
• 3.5.3 实现中的局限性53-54
• 3.6 实验与评价54-60
• 3.6.1 实验环境54-55
• 3.6.2 性能代价分析55-57
• 3.6.3 性能对比分析57-59
• 3.6.4 恢复时间对比59-60
• 3.6.5 数据写入量对比60
• 3.7 小结60-62
• 第4章 并行I/O环境固态盘动态数据放置策略62-84
• 4.1 概述62
• 4.2 研究背景与研究动机62-67
• 4.2.1 固态盘性能特性62-63
• 4.2.2 并行I/O环境数据放置策略63-65
• 4.2.3 具体研究问题65-67
• 4.2.4 本章贡献67
• 4.3 并行I/O环境固态盘动态（ PAD）数据放置策略设计67-75
• 4.3.1 系统结构68-70
• 4.3.2 数据初始放置策略70-71
• 4.3.3 写悬崖探测机制71-72
• 4.3.4 映射管理模块72-73
• 4.3.5 PAD数据迁移算法73-75
• 4.4 动态数据放置策略的实现75-77
• 4.4.1 映射表管理76
• 4.4.2 MPI-IO中的I/O重定向76-77
• 4.4.3 数据迁移实现细节77
• 4.5 实验与评价77-82
• 4.5.1 实验平台77-78
• 4.5.2 IOR基准测试78-81
• 4.5.3 PAD开销81-82
• 4.6 小结82-84
• 第5章 基于闪存的存储入侵检测机制84-98
• 5.1 概述84-85
• 5.2 研究背景与研究动机85-88
• 5.2.1 研究背景85-86
• 5.2.2 研究动机86-87
• 5.2.3 本章贡献87-88
• 5.3 系统设计88-92
• 5.3.1 设计思路88-89
• 5.3.2 系统架构89-90
• 5.3.3 块级规则设定方法90-91
• 5.3.4 异步入侵检测91
• 5.3.5 入侵后的现场保护91-92
• 5.3.6 IDSSD垃圾回收操作92
• 5.4 系统实现92-94
• 5.4.1 Open SSD的不同工作模式92-93
• 5.4.2 块 -文件级语义规则转换93-94
• 5.4.3 IDSSD入侵检测流程94
• 5.5 实验与评价94-97
• 5.5.1 IDSSD开销测试95-96
• 5.5.2 IDSSD入侵检测效率横向对比实验96-97
• 5.6 小结97-98
• 第6章 基于USB闪存盘的云存储缓存系统设计与实现98-113
• 6.1 概述98-99
• 6.2 关键问题99-100
• 6.2.1 云存储计价模型99-100
• 6.2.2 系统设计中的关键问题100
• 6.3 系统设计100-105
• 6.3.1 系统架构101-102
• 6.3.2 SAGA文件存放策略102-103
• 6.3.3 DO-LRU缓存替换算法103-105
• 6.4 系统实现105-106
• 6.5 实验与评价106-111
• 6.5.1 实验环境106
• 6.5.2 顺序I/O性能测试106-109
• 6.5.3 随机I/O性能测试109
• 6.5.4 不同参数设置下的云存储开销对比109-111
• 6.6 小结111-113
• 第7章 总结与展望113-116
• 7.1 论文工作总结113-114
• 7.2 后续工作展望114-116
• 参考文献116-125
• 致谢125-127
• 个人简历、在学期间发表的学术论文与研究成果127-128

【相似文献】

中国期刊全文数据库 前10条

1 程天宇;闪存盘完全导购[J];电脑知识与技术;2002年11期

2 郑振涛 ,江苏 ,刘鹏 ,包日晓;以一敌六——打造“超级”闪存盘[J];电脑爱好者;2002年21期

3 贾保民;闪存盘使用体会点滴[J];电脑知识与技术;2003年04期

4 ;“甲壳虫”系列闪存盘[J];电子科技;2003年14期

5 ;世音网络黑钻256MB闪存盘[J];个人电脑;2003年07期

6 ;精英甲壳虫闪存盘上市[J];军民两用技术与产品;2003年09期

7 Admin ,胡光 ,朱宏志;由简单到复杂 由弱小到强大——打造超酷闪存盘全攻略(上)[J];电脑爱好者;2003年13期

8 苍光 ,柳坚 ,婷婷;《打造超酷闪存盘全攻略》补完计划[J];电脑爱好者;2003年17期

9 昔时昔日;瘦身不瘦量——闪存盘的解剖与应用[J];电脑爱好者;2003年19期

10 怪鸭兽;一览众山小——美达闪存盘生产线探秘[J];电脑爱好者;2003年24期

中国重要报纸全文数据库 前10条

1 ;购买闪存盘从何下手[N];北京日报;2004年

2 徐 蕊;现代闪存盘：除了“一元”还有什么？[N];中国企业报;2004年

3 卞侠;扮酷你的闪存盘[N];中国电脑教育报;2004年

4 若 愚;选购闪存盘三大绝招[N];中国电脑教育报;2004年

5 本报记者 王伟;闪存盘市场上演“全武行”[N];广东科技报;2004年

6 高赛;闪存盘渐成女性时尚饰物[N];光明日报;2004年

7 高赛;闪存盘全面升级　小厂商面临出局[N];光明日报;2005年

8 张旭东;消费者请注意伪劣闪存盘[N];中国计算机报;2003年

9 王旭;闪存盘进化论[N];中国计算机报;2004年

10 本报记者 宋广平;闪存盘市场的变数[N];计算机世界;2003年

中国博士学位论文全文数据库 前1条

1 石伟;基于闪存特性的存储优化及应用研究[D];清华大学;2015年

中国硕士学位论文全文数据库 前3条

1 吕琳;闪存盘结构分析及其扩展功能应用研究[D];大连海事大学;2004年

2 孙庚;闪存盘固件的设计与实现[D];中国科学院研究生院（软件研究所）;2003年

3 赵挺竹;NAND Flash与USB闪存盘之间的数据交互[D];西安电子科技大学;2009年

  本文关键词：基于闪存特性的存储优化及应用研究，，由笔耕文化传播整理发布。

本文编号：280620