高效光纤存储通道技术研究

发布时间：2020-05-23 05:42

【摘要】：存储通道是存储系统中的重要构件之一。复杂多样的存储需求不断推动存储体系结构的发展与变革,存储通道技术亦由速度较低、连接性较差的并行总线发展至高速、具备网络特性的串行连接。尽管存储体系结构已由直连式存储、网络连接存储、存储局域网发展至云存储,存储系统中的每个层次均采用了各种并行、缓存、调度的优化机制,存储通道链路已达到或超过10Gbps量级,但I/O瓶颈依然是亟待解决的难题,需以庖丁解牛的方式深入到I/O路径的各组件进行研究,提供高效的解决方案。作为服务器和存储节点之间的数据交换的接口,存储通道是I/O路径中变化最小的部分,因此研究典型存储通道——光纤通道的协议处理方式及其软硬件组成和实现方法是认识和解决I/O瓶颈问题的合适切入点。 存储通道的架构决定了存储协议处理在主机和适配卡之间的分工。全卸载、协处理和软件是三种不同架构的协议处理途径。全卸载方案使用适配卡的嵌入式处理器和固件完成存储协议栈所有层次的处理,占用主机CPU资源最少,适配卡的软硬件复杂度最高；协处理方案中适配卡完成存储协议栈底层的处理,协助主机CPU完成上层协议的处理,适配卡需频繁访问主存中的控制信息；软件方案完全依赖主机CPU处理存储协议栈,适配卡(网卡)提供最基本的帧级传输服务,占用主机CPU资源最多。通过比较三种协议处理途径的软硬件接口、I/O处理流程和I/O性能,分析得出三种架构的存储通道适用的服务器配置和应用场景,全卸载方案适用于CPU负载较重且对性能要求较高的I/O密集型应用,协处理方案适用于I/O请求不太密集但对吞吐率要求较高的应用,软件方案则是适用于CPU负载较轻、对I/O性能要求不高,并且希望利用板载网卡提供存储互连时的备选途径。这些结论为定制光纤通道适配卡提供了设计依据。 定制光纤通道适配卡既能研究存储协议的实现方法,也能为某些特定应用提供硬件支持。通过深入研究光纤通道五层协议,提出一种基于FPGA、支持定制上层协议的光纤通道适配卡设计。适配卡采用PCI Express接口,以光纤通道协议处理控制器作为其核心模块。光纤通道协议的FC-0、FC-1以及FC-2下半层由在FPGA上实现的硬件逻辑处理,包括8b/10b编码／解码器、接收器状态机、发送状态机、光纤通道端口状态机、帧接收引擎、帧发送引擎、帧接收缓冲区、帧发送缓冲区、缓冲区到缓冲区流量控制模块、配置和统计模块等；FC-2上半层直至FC-4层由在主机CPU上运行的驱动程序处理,包括与SCSI中间层交互的SCSI接口子层,控制FCP交换处理流程的协议处理子层以及与适配卡硬件交互,实现帧级数据收发的底层传输子层等。利用该适配卡,结合特定环境下的文件共享需求,提出并实现了基于光纤通道的文件级共享协议,直接采用光纤通道的交换级数据传输实现文件级访问,其性能较基于UDP协议的文件共享方案有所提升,但因受限于协议实现中的同步访问方式,性能提高并不显著。 作为I/O路径的一部分,存储通道的实际性能受到系统中I/O路径其他组件的影响。从分析I/O逻辑路径和物理路径入手,结合实际测量的结果,对I/O延迟的组成进行了定性和定量的分析,并重点研究和测试了内存映射I/O、中断方式和多核处理器对于I/O延迟的影响。在此基础上,提出一种FC-AE-RDMA协议的实现方法,以内存区域作为目标端设备来缩短I/O访问路径,同时取消写操作中的流量控制信息单元来减少延迟时间。实际测试的结果表明光纤通道RDMA较FCP的读请求和写请求延迟时间最多可缩短51%和71%。 新型存储通道FCoE是光纤通道技术在以太网上的延伸,在对其软件实现进行分析和性能评价的基础上提出对该技术进行优化的具体方案。FCoE软件实现的性能测试数据表明与软件iSCSI相比,FCoE并没有明显优势,FCoE发起端消耗更多的时间等待I/O完成,同时CRC计算和校验是协议处理中最耗时的操作。通过对处理流程的分析和原型系统的测试可以得出：提高FCoE目标端软件执行效率,由网络接口卡的硬件处理CRC计算和校验将是优化FCoE系统的基本途径。
【图文】：

1248163264128256512l/o请求大小《Ka}图2.6不同FO请求大小下三种方案的吞吐率比较lll，，二‘ ‘...口 .11111111口 口 11111111III困jj“ “，匕亡一夕」亥

本文编号：2677226