基于纠删码的细粒度云存储调度方案

发布时间：2020-03-16 19:21

【摘要】：针对云存储系统中数据获取时延长以及数据下载不稳定的问题,提出了一种基于存储节点负载信息和纠删码技术的调度方案。首先,利用纠删码对文件进行编码存储以降低每份数据拷贝的大小,同时利用多个线程并发下载以提高数据获取的速度;其次,通过分析大量存储节点的负载信息确定影响时延的性能指标并对现有的云存储系统架构进行优化,设计了一种基于负载信息的云存储调度算法LOAD-ALGORITHM;最后,利用开源项目Open Stack搭建了一个云计算平台,根据真实的用户请求数据在云平台上进行部署和测试。实验结果表明,相比于现有的工作,调度算法在数据获取时延方面最高能减少15%的平均时延,在数据下载稳定性方面最高能降低40%的时延波动。该调度方案在真实的云平台环境下能有效地提高数据获取速度和稳定性,降低数据获取时延,达到更好的用户体验。
【图文】：

架构图,存储系统,架构

TCP连接进行数据下载。当k个任务都完成后，代理节点进行解码并恢复用户所请求的文件，最后将成功获取的文件返回用户。代理节点一般拥有固定大小的线程池用于维持与存储节点的TCP连接，，每个任务需要消耗一个线程，当线程池中无空闲线程时，剩余任务需要等待直到有任务完成并出现新的空闲线程，代理节点对等待队列中的任务进行调度后，新的任务才开始工作。在本文中，云存储系统同样采用了以上所描述的体系架构，同时，在此基础上新增了一个性能监测节点用于保存每个存储节点的性能负载信息，为代理节点提供调度依据，如图1所示。图1云存储系统架构Fig．1Cloudstoragesystemarchitecture本文认为在云存储系统中，用户上传的所有文件都使用了一定的纠删码进行编码存储，如文件i使用(ni，ki)纠删码，并将编码后的数据块保存s个不同的存储节点中(MAX(ni)≤s≤∑i=1ni)。当用户请求文件i时，代理节点通过614计算机应用第37卷

曲线,节点性能,指标分析

曲线如何波动，CPU利用率、内存利用率、磁盘利用率等曲线基本保持平稳状态，对于throughput_recv、disk_percent、disk_write等指标也得出相似的结果，曲线之间基本没有关联性，所以本文初步确定文件获取的平均时延基本不受这几个指标的影响。为了进一步验证该设想，本文在存储节点中单独部署了两个应用，分别用于提高存储节点的CPU利用率和内存利用率，发现随着内存利用率或CPU利用率的提高，文件平均下载时延并不随之变化，而是保持平稳状态，所以本文有理由认为以上几个性能指标基本不会对文件获取时延产生影响。从图2(b)可以发现，throughput_send曲线与时延曲线可能存在一定程度上的关联性，初步确定文件获取时延可能受到每个存储节点吞吐量的影响。因为，数据传输时延=发送时延+传播时延+等待时延，当吞吐量增高时，一方面意味着更多数据需要传输，从而造成数据在等待队列中的排队时间更长，导致等待时延的增加;另一方面高吞吐量会造成丢包率的升高，从而导致更多的数据包需要进行超时重传。所以本文认为存储节点的吞吐量是影响文件获取时延的一个重要因素，在之后的章节中也会通过大量的实验结果来验证。图2存储节点性能指标分析Fig．2Analysisofperformanceindexesofstoragenode由于文件下载需要从存储节点的磁盘读取数据块并发送给代理节点，假设每次磁盘读操作读取的数据大小相同，为d字节，那么在理想情况下，只要发送速度足够快，throughput_send=disk_read*d，可以看出每秒发送的字节数和每秒读取次数存在线性关系，所以本文使用吞吐量作为调度依据而不使用每秒磁盘读操作。当存储节点吞吐量升高，说明代理节点中有更多的线程用于与该存储节点建立连接并进行数据传输，当多个文件下载请求同时到达时，代理节点可能将?

【参考文献】