基于飞腾处理器的存储系统IO调度优化

发布时间：2017-10-08 23:30

  本文关键词：基于飞腾处理器的存储系统IO调度优化

  更多相关文章： 固态硬盘 I/O调度 并行调度 拥塞控制 动态阀值

【摘要】：随着处理芯片计算速度的不断增长,存储技术逐渐成为制约计算机系统进一步发展的瓶颈,存储墙成为计算机系统难以突破的性能壁垒。因此,存储系统的效率问题成为计算机界公认的热点和难点问题。固态硬盘凭借其固有的稳定、高效等诸多优点成为计算机系统进一步提高存储效率的不二选择。计算机系统软件中文件系统层,通用块层以及I/O调度层中都融入了许多针对机械硬盘的优化方案。简单的将计算机机械硬盘存储系统替换为固态硬盘存储系统,不仅难以发挥固态硬盘的优秀性能,还会出现难以预料的后果。因此,如何有效地解决固态硬盘存储系统与当前系统软件的匹配问题,是高效利用固态硬盘存储系统的关键,也是当前针对固态硬盘的研究热点。飞腾系列国产化处理器在处理频率上与主流商用处理器还存在一定的差距,但飞腾处理器以较低的工作频率实现了多核多线并行化处理。多核多线并行化处理方式降低了单核的计算频率,将计算资源平均分配为多个计算核心。在高并发低计算需求的应用场景下,飞腾处理器低单核性能可以有效满足地计算需求任务同时也不会带来功耗的大幅增加。飞腾处理器尤其适合应用于高并发、重I/O的服务器,但目前基于飞腾处理器的国产化存储系统尚存在以下问题:(1)固态硬盘有着优良的内部并发机制,与飞腾系列处理器的多核并行处理遥相呼应,但受限于传统系统软件的漏斗状设计难以实现并行I/O。(2)在海量数据环境下,数据分布表现出一定的规律,数据分布可以深度影响到系统的处理性能,目前系统尚没有针对数据特征作出相应调整。(3)固态硬盘存在固有的读写不对称缺陷,读写性能有着一到两个数量级的差距,这一缺陷严重影响了系统I/O路径的稳定性。因此,针对当前系统软件存在的上述问题,本文主要进行了以下研究:第一,针对飞腾系列处理器的多核多线并行处理特性,设计实现了新型的并行化I/O调度软件结构。新型调度软件分为调度前端和调度后端两个层次。调度前端以飞腾多核为基础,设计并行调度机制实现了处理器多核的公平调度。调度后端软件针对数据的分布特性和固态硬盘的性能缺陷分别实现不同的优化策略。第二,针对系统在应用层重尾分布数据下表现出的突发性局部拥塞和较高的平均响应延迟时间问题,本文设计提出了DVIOS优化方案。DVIOS可以根据后续层次的反馈动态的调节控制阀门,依据实时反馈动态调整对上层I/O请求的分类依据,从而实时的调节系统I/O路径的局部拥塞情况。实验结果显示,DVIOS优化方案可以有效改善系统I/O路径的局部拥塞情况,可以明显优化系统的平均响应延迟时间。第三,固态硬盘虽然整体性能优越,但存在读写不对称性缺陷,NOOP调度机制难以弥补固态硬盘的性能缺陷。本文在调度后端提出HTIOS优化方案,将上层I/O请求按照请求类型和请求大小进行分类缓存,实现了对读写请求的差异化调度,弥补了固态硬盘读写性能不对称的缺陷。实验结果发现,HTIOS可以有效优化存储系统的平均响应延迟时间,稳定系统的整体性能。
【关键词】：固态硬盘 I/O调度 并行调度 拥塞控制 动态阀值
【学位授予单位】：国防科学技术大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP332
【目录】：

• 摘要9-11
• ABSTRACT11-13
• 第一章 绪论13-19
• 1.1 课题研究背景与意义13-14
• 1.2 国内外研究现状14-16
• 1.3 本文主要工作内容16-18
• 1.4 论文结构18-19
• 第二章 存储系统IO调度技术研究19-29
• 2.1 存储系统IO调度理论19-23
• 2.2 面向固态硬盘的IO调度技术23-26
• 2.2.1 固态硬盘软件抽象技术23-25
• 2.2.2 面向固态硬盘的IO调度技术25-26
• 2.3 IO调度技术性能对比26-28
• 2.4 本章小结28-29
• 第三章 基于FT处理器的存储系统IO调度设计29-42
• 3.1 飞腾处理器多核并行技术29-30
• 3.2 飞腾服务器IO调度结构缺陷分析30-37
• 3.2.1 内核IO调度软件结构30-34
• 3.2.2 IO调度层请求处理过程34-36
• 3.2.3 飞腾服务器IO调度缺陷分析36-37
• 3.3 IO调度总体结构设计37-39
• 3.4 基于FT多核的并行化调度技术39-40
• 3.5 本章小结40-42
• 第四章 面向数据环境的调度技术优化42-62
• 4.1 存储系统典型应用环境分析42-47
• 4.1.1 重尾分布42-43
• 4.1.2 数据的重尾分布特性43-45
• 4.1.3 调度层请求大小分布规律45-47
• 4.2 IO路径局部突发拥塞控制技术47-55
• 4.2.1 IO路径突发性局部拥塞分析47-52
• 4.2.2 IO路径拥塞阀值52-53
• 4.2.3 基于动态阀值的拥塞控制设计53-55
• 4.3 固态硬盘缺陷平衡技术55-60
• 4.3.1 固态硬盘性能缺陷分析55-59
• 4.3.2 排序优化效果分析59
• 4.3.3 排序调度方案设计59-60
• 4.4 本章小结60-62
• 第五章 系统实现及性能测试62-72
• 5.1 IO调度系统实现62-69
• 5.1.1 系统并行前端实现62-64
• 5.1.2 系统后端DVIOS技术实现64-67
• 5.1.3 系统后端HTIOS技术实现67-69
• 5.2 IO调度系统性能测试69-71
• 5.2.1 HTIOS性能测试69-70
• 5.2.2 DVIOS性能测试70-71
• 5.3 本章小结71-72
• 结束语72-74
• 致谢74-75
• 参考文献75-79
• 作者在学期间取得的学术成果79

【参考文献】

中国期刊全文数据库 前10条

1 张鸿斌;范捷;舒继武;胡庆达;;基于相变存储器的存储系统与技术综述[J];计算机研究与发展;2014年08期

2 阳小珊;邱全伟;郑良;刘智朋;朱立谷;罗洪元;;NAS存储系统性能测评方法研究[J];计算机研究与发展;2012年S1期

3 张云亮;冯小平;戴一奇;;基于分级安全局域网的分布式文件系统模型[J];清华大学学报(自然科学版);2011年07期

4 刘志强;王丽芳;王新民;蒋泽军;刘卫东;;基于存储处理器的Raid控制器研究[J];西北工业大学学报;2010年04期

5 陈琳;刘维奇;;重尾分布族及其关系图[J];高校应用数学学报A辑;2009年02期

6 史宝军;孙亚军;舒东伟;姜华;杨廷毅;;硬盘抗冲击振动特性的研究进展[J];计算力学学报;2009年03期

7 韩德志;余顺争;谢长生;;融合NAS和SAN的存储网络设计与实现[J];电子学报;2006年11期

8 马一力,傅湘林,韩晓明,许鲁;存储与计算的分离[J];计算机研究与发展;2005年03期

9 谢长生,傅湘林,韩德志,任劲;一种基于iSCSI的SAN的研究与实现[J];计算机研究与发展;2003年05期

10 ;Characterizations on Heavy-tailed Distributions by Means of Hazard Rate[J];Acta Mathematicae Applicatae Sinica(English Series);2003年01期

，

本文编号：996902