云环境下基于任务分配和数据集副本的科学工作流数据布局方法

发布时间：2024-05-18 13:26

　　科学工作流不仅给科研人员提供了可视化的编程界面,而且使得科研人员可以利用包含计算资源和数据集在内的分布式系统进行协作,从而可以进行大规模的科学实验与知识探索。而云计算以其特有的按需付费模式以及可扩展性强的特点,自问世起,就受到了大量关注,为科学工作流提供了一个良好的运行环境。云环境下科学工作流的数据布局问题成为了科学工作流研究领域的一个热点问题。云环境下,数据中心分布在世界各地,科学工作流在运行期间不可避免地需要进行跨数据中心数据传输,而不同数据布局方案带来的数据布局费用各不相同,这将在很大程度上影响工作流的执行费用。为此,本文在尽可能兼顾数据中心负载均衡的基础上,以降低科学工作流数据布局费用为目标,提出了一种基于任务分配和数据集副本的科学工作流数据布局方法。该方法首先从任务与任务的关系入手,定量计算任务之间的依赖度,接着在此基础上进行任务分配。结合云环境下科学工作流的执行特点,将数据布局方法分成初始阶段和运行阶段两个阶段开展,基于任务分配结果分别为初始阶段和运行阶段完成初始数据集和中间数据集在不同数据中心的布局,并根据不同的副本建立条件建立数据集副本以进一步减少数据传输费用,从而实现...

【文章页数】：65 页

【学位级别】：硕士

【部分图文】：

图2.1AWS数据中心外围层

南京邮电大学硕士研究生学位论文第二章相关理论背景介绍10图2.1AWS数据中心外围层图2.1是AWS数据中心的外围层，整个数据中心的物理安全是从外围层开始的。外围层拥有保安、隔离栏、安全信息馈送、入侵检测技术和一些其他的安全措施，具体的东西取决于其具体所在的位置。图2.2AWS数....

图2.2AWS数据中心基础设施层

南京邮电大学硕士研究生学位论文第二章相关理论背景介绍10图2.1AWS数据中心外围层图2.1是AWS数据中心的外围层，整个数据中心的物理安全是从外围层开始的。外围层拥有保安、隔离栏、安全信息馈送、入侵检测技术和一些其他的安全措施，具体的东西取决于其具体所在的位置。图2.2AWS数....

图2.4AWS数据中心环境层

南京邮电大学硕士研究生学位论文第二章相关理论背景介绍11制访问，这是采取的保护措施的第一步，各层之间也会拥有权限隔离机制。此外，这层还部署了威胁检测设备、视频监控系统以及一些系统规程来进一步保护数据层的安全性。图2.4AWS数据中心环境层图2.4是AWS数据中心环境层的相关图片。....

图5.8PyCharm界面

南京邮电大学硕士研究生学位论文第五章仿真实验与分析44图5.8PyCharm界面5.2.2实验设置本文通过仿真随机生成多个工作流数据作为本文方法的输入，每个工作流都含有若干个任务和若干个数据集，并通过改变固定数据集比例、数据集个数、数据中心个数和任务个数等参数，与文献[11]中的....

本文编号：3976996