浪潮双控制器存储服务器缓存模块设计与实现

发布时间：2017-07-16 12:07

  本文关键词：浪潮双控制器存储服务器缓存模块设计与实现

  更多相关文章： 双控制器 存储 缓存 高可用性

【摘要】：随着云计算以及大数据的快速发展,互联网公司更加追求海量数据存储的高性能和高可用性。在服务器存储领域,为了提供高可用性,避免控制器的单点故障而造成服务的中断,使用双控制器存储服务器部署数据存储系统已经成为一种趋势。目前CPU的处理速度和磁盘外设的IO处理速度之间的差距越来越大,磁盘的IO速度成为制约存储服务器性能的瓶颈。为了弥补两者之间的巨大差异,在控制器中使用磁盘缓存,减少对磁盘的读写次数,从而可以提高存储服务器的读写性能；在双控制器中,维护缓存数据在两控制器之间的同步,可以避免因为单一控制器宕机而造成的数据丢失和服务中断；同时配合心跳模块实时监测另一控制器的状态,在一控制器故障时接管服务,保证服务的不中断。本文基于iSCSI控制软件iSCSI Enterprise Target (IET)开源软件实现双控制器存储服务器,在IET的基础上设计并实现了独立的缓存模块,该模块分为单机缓存模块和缓存同步模块,单机缓存模块负责实现缓存的读写、写回等功能,缓存同步模块完成双控制器之间的脏数据的缓存同步,保证两控制器中缓存空间中的脏数据完全一致,保证单一控制器故障时数据不会丢失。缓存模块管理一块独立于Linux内存管理系统的物理内存,使用基树进行快速查找,采用双链表实现最近最少使用(LRU)的替换策略,采用万兆网卡直连的方式为缓存同步提供高速通道。本文在Linux内核层设计并实现了独立缓存模块的各项功能,并采用多线程的方式提高性能。缓存模块的实现针对iSCSI协议进行了针对性地优化,提高了读写性能。采用lometer测试工具进行系统测试,对比带有缓存模块和不带有缓存模块时双控存储器的读写速度,测试结果表明缓存模块对性能有明显的提高。
【关键词】：双控制器 存储 缓存 高可用性
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要8-9
• ABSTRACT9-11
• 第1章 绪论11-15
• 1.1 系统开发背景11-12
• 1.2 外部存储服务器发展概况12-13
• 1.3 本文的主要工作13-14
• 1.4 本文组织结构14-15
• 第2章 系统架构设计15-25
• 2.1 概述15-19
• 2.1.1 双控存储服务器工作模式15-16
• 2.1.2 iSCSI网络存储架构16-19
• 2.2 双控存储服务器硬件架构19-21
• 2.3 双控存储服务器软件架构21-24
• 2.3.1 整体模块框架21-22
• 2.3.2 缓存模块架构22-24
• 2.4 本章小结24-25
• 第3章 系统设计25-39
• 3.1 缓存组织设计25-29
• 3.1.1 基树25-26
• 3.1.2 双链表26-29
• 3.1.3 缓存空间分配29
• 3.2 单机缓存模块设计29-35
• 3.2.1 缓存读操作设计30-32
• 3.2.2 缓存写操作设计32-33
• 3.2.3 缓存写回功能设计33-34
• 3.2.4 缓存替换策略设计34-35
• 3.3 缓存同步模块设计35-36
• 3.3.1 脏数据同步设计35-36
• 3.3.2 缓存索引同步设计36
• 3.4 多线程同步机制设计36-39
• 第4章 系统详细实现39-59
• 4.1 基本数据结构39-44
• 4.1.1 缓存页结构体39-40
• 4.1.2 逻辑卷结构体40-42
• 4.1.3 链表42-44
• 4.2 缓存内核模块API44-45
• 4.3 缓存模块实现45-59
• 4.3.1 独立缓存空间分配45-46
• 4.3.2 缓存初始化实现46-48
• 4.3.3 读写请求实现48-53
• 4.3.4 写回操作实现53-54
• 4.3.5 替换策略实现54-57
• 4.3.6 缓存同步实现57-59
• 第5章 系统测试59-65
• 5.1 测试环境59-61
• 5.2 测试结果61-65
• 5.2.1 性能测试61-63
• 5.2.2 稳定性测试63
• 5.2.3 功能测试63-65
• 第6章 总结和展望65-67
• 参考文献67-69
• 致谢69-70
• 学位论文评阅及答辩情况表70

【相似文献】

中国期刊全文数据库 前10条

1 韩德志,易法令;一种全新的网上教育存储服务器的设计与实现[J];计算机工程;2000年09期

2 ;实达沧海2100存储服务器的五项基本原则[J];计算机与网络;2003年08期

3 尚昭;;中小企业高性能存储服务器选购指南[J];中国计算机用户;2008年40期

4 冯镇强;;医院存储服务器应用特征简析[J];硅谷;2011年16期

5 高炜炜;浅析存储服务器[J];台声.新视角;2005年03期

6 ;尽在掌控,成就非凡 全新IBM System x3650 M4 HD高性能存储服务器[J];IT经理世界;2014年10期

7 郝鹏;HP存储:中小企业也能用[J];中国计算机用户;2005年14期

8 韩德志,钟铭;附网存储服务器安全系统的设计与实现[J];计算机应用研究;2001年03期

9 韩德志,谢长生,傅湘林,刘春;一种新的专用存储服务器的设计与实现(英文)[J];Journal of Southeast University(English Edition);2004年01期

10 紫梵;;用户需要存储混合环境[J];每周电脑报;2005年33期

中国重要会议论文全文数据库 前2条

1 孟晓p，

本文编号：548566