基于云计算的科学工作流长期存储费用优化策略研究

发布时间：2024-04-27 04:30

　　当前,以云计算模式的付费平台正在快速发展与完善,系统的计算能力和存储能力得到了很大提升。而伴随着大数据时代的到来,无论是金融业的处理规模还是学术界间交流的增加都对云计算平台的建设提上日程。如在电力巡检科学研究中,目前各国都采取配合无人机的方式来建立起一个完善的基于云计算的科学工作流平台,它可以快速、方便且准确的按需求完成既定目标。然而在科学工作流长期运行的过程中会不可避免地产生大量有用的中间数据,如何处理并降低周期上的费用成为科学家们研究的热点。基于这样的背景,本文在以下两个方面做出了工作:第一,提出了一种基于多目标的数据长期存储优化策略。由于科学工作流中的数据存在重复使用或相互分享的情况,系统需要选择部分关键性数据存储以备未来使用。但在长期存储过程中因中间数据量级过大,仅仅依托云计算平台海量的存储能力会导致高昂的存储费用。所以,本文将在确定存储节点以后,使用分层存储的策略以降低长周期下的存储费用。具体策略是将需要存储的节点数据按周期中使用频率分层,高频率放置高速存储中,普通数据普通存储,低频归档化。并针对用户的具体需求给出推荐性方案,与此同时注意产生的额外时延。实验结果表明,该策略可...

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

图1.1论文框架图

第一章绪论8标准，以及一些在后文中将会使用到的方法。第三章基于多目标的数据长期存储优化策略。针对长期存储过程中数据使用频率变化规律，提出一种分层存储降低存储费用的策略。通过该方法可以进一步降低科学工作流在长周期下的费用开销，并保证用户对时间的满意度。第四章关键节点动态确定与分配时....

图2.2遗传算法流程图

第二章科学工作流存储概述及相关方法介绍14的方法有很多，也不一定必须量化成具体数值。比如对于等级这样的排名比较可以只让系统做出优劣性选择即可。图2.2遗传算法流程图Fig.2.2simpleGAflowchart3、选择算法。前文中“有选择的选出父代个体”中的“有选择”即是选择算....

图3.2直接拓展三种价格参数结构

安徽大学硕士论文19图3.1一个简单的线性工作流例子Fig.3.1Asimpleexampleoflinearworkflow图3.2直接拓展三种价格参数结构Fig.3.2Threepriceparameterstructures图3.1和图3.2是一个简单的由五个节点组成的科学....

图3.3长期存储中使用频率变化趋势

第三章基于多目标的数据长期存储优化策略20决的是多个价格参数下结果集相互影响而可能使得价格参数之间没有对照性。简单的来说，比如当前有两种价格参数P1和P2。若采用P1价格时，科学工作流使用CTT-SP算法需要存储节点为[，]，而P2参数下则改变为[，]。这时对于系统来说需要存储的....

本文编号：3965358