Linux内核FsCache/NFS Write-Back Cache系统
发布时间：2021-08-31 21:28
在现代计算机系统中,几个主要组成部分的速度存在明显差异,其中以CPU缓存、内存和硬盘最为明显。其中处理速度排序为CPU缓存>内存>硬盘。CPU缓存与内存之间,内存与硬盘之间的速度差异通常为指数级,而许多运算操作都是重复地针对某一小部分数据的,因此在各级存储器之间利用缓存技术（Cache）就可以大大提高处理速度。在操作系统层次,通常是在内存和硬盘之间使用Page Cache来提高对文件访问速度的。但随着大数据处理应用的爆炸式发展,传统cache系统已经不能满足对大数据读写的性能要求,而大数据的读写已经成为影响整个网络性能的至关重要的一环,并成为当今科研的焦点。对于依赖I/O性能的应用,典型的如数据库,一直等待新的技术出现以打破性能瓶颈。在此之前,身躯庞大的高端存储,动辄重达几吨。相比于存储里带的硬盘来说,价格贵得离谱,而存储的附加价值,在于I/O在大量硬盘之间的均衡分布,以及I/O链路的多路容灾,以及部分固件层面的优化和数据保护等。随着SSD等固态硬盘的出现,上述问题得到了缓解。SSD将硬盘存储从机械产品变成了电子产品,性能更好,功耗更小,延时更优。在这种情况下,Facebo...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：64 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 课题研究的背景和现状
1.1.1 大数据存储的发展和现状
1.1.2 大数据四大典型特征
1.1.3 大数据处理在缓存级别的尝试
1.1.4 分布式存储的现状
1.2 课题研究意义
1.3 论文的主要内容和章节安排
第二章 Linux的Cache系统以及写回算法
2.1 Linux文件的Page Cache
2.1.1 缓存方法
2.1.2 Page Cache在Linux系统的作用
2.1.3 Page Cache在Linux中的位置
2.1.4 Page Cache的预读取算法
2.1.5 Page Cache替换算法
2.1.6 Page Cache的刷新机制
2.2 分布式写回系统
2.2.1 传统闭环写回系统
2.2.2 新闭环写回系统
2.3 新型写回算法
2.3.1 改进的细流写回算法(Modified Trickle Write-Back)
2.3.2 固定写回间隔算法(Fixed Interval Algorithm)
2.3.3 可变写回间隔算法(Fixed Interval Algorithm)
2.3.4 量子写回算法(Quantum Write-Back)
2.3.5 速率变化比例算法(Rate of Change Proportional Algorithm)
第三章 FsCache、NFS的设计与实现
3.1 FsCache的设计与实现
3.1.1 FsCache的设计构架
3.1.2 FsCache的基本操作和提供的服务
3.1.3 FsCache在性能方面的折中
3.1.4 FsCache的对象和索引设计
3.1.5 FsCache的当前性能
3.2 NFS的设计与实现
3.2.1 NFS在内核中的调用
3.2.2 服务器端的实现
3.2.3 客户端的实现
3.2.4 从协议到分布式文件系统
3.2.5 客户端分布式文件系统的缓存
第四章 FsCache/NFS write-back缓存的设计
4.1 FsCache write-back缓存的设计
4.1.1 FsCache缓存项的结构的设计
4.1.2 FsCache写回控制信息的数据结构
4.1.3 写回控制信息数据结构间的关系
4.1.4 分布式文件系统的注册
4.1.5 FsCache的线程池写回机制
4.2 为NFS添加Write-Back FsCache的功能
4.2.1 与Page Cache交互额数据机构
4.2.2 NFS将用户数据写入Page Cache的过程
4.2.3 NFS传统的脏页刷新过程
4.2.4 NFS改进后的脏页写回过程
4.2.5 NFS对FsCache写回设备的注册和注销
第五章 FsCache/NFS写回缓存性能分析
5.1 客户端密集写操作速度
5.1.1 默认写回算法的性能
5.1.2 调整写回算法的时间间隔T
5.1.3 调整写回算法的写回强度H
5.2 网络情况的改善
5.2.1 客户端发送数据量
5.2.2 客户端接收的数据量
5.2.3 客户端对网络带宽的占用
第六章 结束语
6.1 论文工作总结
6.2 进一步技术展望
参考文献
致谢
攻读硕士学位期间发表的论文
【参考文献】：
期刊论文
[1]架构大数据:挑战、现状与展望[J]. 王珊,王会举,覃雄派,周烜. 计算机学报. 2011(10)
[2]Linux页面缓存机制分析及其对磁盘I/O性能影响[J]. 张学亮,左小翠. 计算机与现代化. 2010(02)
本文编号：3375644
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：64 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 课题研究的背景和现状
1.1.1 大数据存储的发展和现状
1.1.2 大数据四大典型特征
1.1.3 大数据处理在缓存级别的尝试
1.1.4 分布式存储的现状
1.2 课题研究意义
1.3 论文的主要内容和章节安排
第二章 Linux的Cache系统以及写回算法
2.1 Linux文件的Page Cache
2.1.1 缓存方法
2.1.2 Page Cache在Linux系统的作用
2.1.3 Page Cache在Linux中的位置
2.1.4 Page Cache的预读取算法
2.1.5 Page Cache替换算法
2.1.6 Page Cache的刷新机制
2.2 分布式写回系统
2.2.1 传统闭环写回系统
2.2.2 新闭环写回系统
2.3 新型写回算法
2.3.1 改进的细流写回算法(Modified Trickle Write-Back)
2.3.2 固定写回间隔算法(Fixed Interval Algorithm)
2.3.3 可变写回间隔算法(Fixed Interval Algorithm)
2.3.4 量子写回算法(Quantum Write-Back)
2.3.5 速率变化比例算法(Rate of Change Proportional Algorithm)
第三章 FsCache、NFS的设计与实现
3.1 FsCache的设计与实现
3.1.1 FsCache的设计构架
3.1.2 FsCache的基本操作和提供的服务
3.1.3 FsCache在性能方面的折中
3.1.4 FsCache的对象和索引设计
3.1.5 FsCache的当前性能
3.2 NFS的设计与实现
3.2.1 NFS在内核中的调用
3.2.2 服务器端的实现
3.2.3 客户端的实现
3.2.4 从协议到分布式文件系统
3.2.5 客户端分布式文件系统的缓存
第四章 FsCache/NFS write-back缓存的设计
4.1 FsCache write-back缓存的设计
4.1.1 FsCache缓存项的结构的设计
4.1.2 FsCache写回控制信息的数据结构
4.1.3 写回控制信息数据结构间的关系
4.1.4 分布式文件系统的注册
4.1.5 FsCache的线程池写回机制
4.2 为NFS添加Write-Back FsCache的功能
4.2.1 与Page Cache交互额数据机构
4.2.2 NFS将用户数据写入Page Cache的过程
4.2.3 NFS传统的脏页刷新过程
4.2.4 NFS改进后的脏页写回过程
4.2.5 NFS对FsCache写回设备的注册和注销
第五章 FsCache/NFS写回缓存性能分析
5.1 客户端密集写操作速度
5.1.1 默认写回算法的性能
5.1.2 调整写回算法的时间间隔T
5.1.3 调整写回算法的写回强度H
5.2 网络情况的改善
5.2.1 客户端发送数据量
5.2.2 客户端接收的数据量
5.2.3 客户端对网络带宽的占用
第六章 结束语
6.1 论文工作总结
6.2 进一步技术展望
参考文献
致谢
攻读硕士学位期间发表的论文
【参考文献】：
期刊论文
[1]架构大数据:挑战、现状与展望[J]. 王珊,王会举,覃雄派,周烜. 计算机学报. 2011(10)
[2]Linux页面缓存机制分析及其对磁盘I/O性能影响[J]. 张学亮,左小翠. 计算机与现代化. 2010(02)
本文编号：3375644
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3375644.html
