云计算环境下的科学工作流数据放置策略研究

发布时间：2017-04-12 17:08

  本文关键词：云计算环境下的科学工作流数据放置策略研究，由笔耕文化传播整理发布。

【摘要】：科学工作流作为近年来出现的一种新的应用泛型,可集成、构造和协同分布异构的数据、服务和软件,提高科学实验过程的自动化。科学工作流应用通常是数据和计算密集型的,对计算资源与存储资源有较高的要求,因此传统的计算环境已很难满足科学工作流的需要。云计算以高性能的计算资源与海量的存储资源为科学工作流应用提供了一种全新的部署和执行方式。在云环境中执行科学工作流不仅可以节约大量的执行成本,而且为科研人员之间实现资源共享与合作研究提供了一个良好的契机。然而在云环境中,一个大型复杂的跨数据中心的科学工作流应用由于需要处理大规模的数据以及传输海量的数据,因此在数据布局管理方面遇到一些问题与挑战。因为,数据布局的不同将直接影响科学工作流的执行效率。针对这些问题,本文对现有数据布局与放置策略进行了深入分析与研究,并在此基础上提出了基于数据依赖度、兼顾时间开销的数据布局策略以及增量数据敏感的低成本数据放置方法。基于数据依赖度、兼顾时间开销的数据布局策略聚焦于科学工作流任务数据集之间的依赖关系、各数据中心计算能力差异以及数据中心之间传输能力差异,探讨了一种科学工作流的数据集在多数据中心间的合理布局策略。增量数据敏感的低成本数据放置方法通过自动地确定中间数据集的存储与删除,从而使科学工作流应用总是以较低的成本运行在云环境中。此外,该方法还探讨了一种优化数据集传输费用的中间数据集存储方式。上述两种策略的仿真实验结果表明,这两种策略分别对降低科学工作流运行时间、提高科学工作流执行效率,以及减少科学工作流运行成本方面有比较好的优化效果。
【关键词】：云计算 科学工作流 数据依赖 数据布局 工作流运行成本
【学位授予单位】：西北师范大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.09
【目录】：

• 摘要8-9
• Abstract9-10
• 1 绪论10-15
• 1.1 研究背景10-11
• 1.2 相关研究工作11-12
• 1.3 论文主要研究内容及创新12-13
• 1.4 本文组织结构13-15
• 2 基本理论与方法15-24
• 2.1 云计算技术15-19
• 2.1.1 云计算的定义15-16
• 2.1.2 云计算的特点16
• 2.1.3 云计算的体系结构16-18
• 2.1.4 云计算的关键技术与平台介绍18-19
• 2.2 科学工作流19-21
• 2.2.1 科学工作流的概念19-20
• 2.2.2 典型的科学工作流管理系统20-21
• 2.3 科学工作流云数据放置问题与挑战21-22
• 2.4 本章小结22-24
• 3 基于数据相关度的数据布局策略24-32
• 3.1 概念定义24
• 3.2 问题描述及分析24-25
• 3.3 基于数据相关度、兼顾时间开销的数据布局25-31
• 3.3.1 基于数据相关度的数据聚类划分25-28
• 3.3.2 考虑工作流运行时间开销的数据分配28-31
• 3.4 本章小结31-32
• 4 增量数据敏感的低成本数据存储方法32-42
• 4.1 问题描述与分析32-34
• 4.2 相关定义34-35
• 4.3 具有成本效益的中间数据集存储方法35-41
• 4.3.1 数据集成本率的计算方法35-39
• 4.3.2 低成本中间数据集存储方法39-41
• 4.4 本章小结41-42
• 5 模拟实验与分析42-51
• 5.1 Cloudsim云仿真实验平台介绍42-44
• 5.2 实验环境与实验设计44-46
• 5.3 基于数据相关度的数据布局策略实验与分析46-48
• 5.4 增量数据敏感的低成本数据放置方法实验与分析48-50
• 5.5 本章小结50-51
• 6 总结与展望51-53
• 6.1 总结51
• 6.2 展望51-53
• 参考文献53-56
• 在校期间的研究成果56-57
• 致谢57

【相似文献】

中国期刊全文数据库 前10条

1 李华,李燕,姚文琳;工作流管理[J];山东轻工业学院学报(自然科学版);2000年04期

2 刘建勋,李仁发,张申生;工作流管理系统及其在邮电号线管理中的应用[J];计算机工程与应用;2001年18期

3 汪涛,吴耿锋,黄力芹;工作流管理的现状和未来趋势[J];小型微型计算机系统;2001年02期

4 汪涛,黄力芹,吴耿锋;工作流管理的发展历程和趋势[J];计算机工程与科学;2001年01期

5 罗海滨,范玉顺,吴澄;工作流合理性验证中的事件平衡分析[J];软件学报;2002年08期

6 周尊国 ,田伟;工作流管理系统在电力企业管理信息系统中的应用[J];山东电力技术;2002年02期

7 黄钧 ,范永全 ,郭勇;工作流管理系统在建设项目管理中的应用[J];微型机与应用;2002年09期

8 张志君,范玉顺;一种高性能的分布式工作流系统实现框架[J];计算机集成制造系统-CIMS;2003年06期

9 赵卫东,戴伟辉;基于角色的跨组织工作流研究[J];系统工程与电子技术;2003年08期

10 曾颖;工作流技术在电信行业中应用的探讨[J];福建电脑;2005年05期

中国重要会议论文全文数据库 前10条

1 卓蔚;陈思;张侃弘;;工作流管理技术浅谈——如何实现企业业务信息化的工作流管理[A];上海烟草系统2002年度学术论文选编[C];2002年

2 李晖;王海洋;王文;;面向事务的工作流活动模型[A];第十七届全国数据库学术会议论文集（技术报告篇）[C];2000年

3 连杰鑫;刘家茂;顾宁;;基于协作依赖的工作流过程优化[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

4 李新;薛永生;;可重构工作流系统设计方法研究[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

5 叶寿生;汪涛;郭永林;;LTFP intelliFlow~汶工作流管理系统[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

6 冯波;徐建良;;支持动态变化的工作流元模型的研究与应用[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

7 丁华;王秀坤;周永晖;;基于改进移动模型的迁移工作流研究[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

8 崔立真;王海洋;;基于主动过程视图的工作流管理和监控[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

9 欧阳青;;工作流技术在高校教育管理系统中的应用研究[A];第十八届玻璃钢/复合材料学术年会论文集[C];2010年

10 吕刚;王坚;严隽薇;董志斌;;工作流技术及其在制造企业中的应用研究[A];第二十届中国控制会议论文集（下）[C];2001年

中国重要报纸全文数据库 前10条

1 庄志澄;成功实施工作流管理系统[N];中国计算机报;2003年

2 中国石油勘探开发研究院西北分院 柏东明　曾丽花 郭以东;定制企业工作流服务[N];计算机世界;2011年

3 中国建设银行湖北分行信息技术部李涛、娄国伟、曾钦祥、吴安平、童海涛;实现多任务域工作流[N];计算机世界;2004年

4 王沛霖;驾驭流程 创造价值[N];中国计算机报;2004年

5 李农、张京辉;客服中心上档次依赖工作流管理系统[N];中国计算机报;2002年

6 何吟;“行业”标签让SunFlow更醒目[N];计算机世界;2004年

7 优利系统（中国）有限公司 倪佳;影像与工作流技术在银行业的应用[N];网络世界;2001年

8 邹洪强;应用系统的另类整合[N];计算机世界;2005年

9 中国软件评测中心 于春玲;企业业务流程管理系统的新亮点[N];中国计算机报;2004年

10 山西焦煤集团驻深圳办事处 刘鹏;基于企业过程建模的工作流管理系统研究[N];山西科技报;2002年

中国博士学位论文全文数据库 前10条

1 刘怡;基于工作流的连锁超市生鲜货品营运流程管理研究[D];华中科技大学;2007年

2 刘英博;工作流运行时人员智能分配技术研究[D];清华大学;2008年

3 王睿;面向目标的迁移工作流主动服务方法研究[D];山东大学;2009年

4 吴修国;面向目标的迁移工作流建模方法研究[D];山东大学;2010年

5 丁柯;网络分布计算中的事务工作流研究[D];中国科学院研究生院（软件研究所）;2003年

6 肖郑进;面向企业应用的工作流精简建模研究[D];浙江大学;2006年

7 柯飞帆;面向分布应用的工作流管理系统研究与实现[D];南京航空航天大学;2006年

8 田珂;开放网络环境下工作流管理系统的技术研究[D];电子科技大学;2006年

9 程杰;迁移工作流过程分解及其规划方法研究[D];山东大学;2011年

10 高昂;基于多种视角的工作流挖掘技术研究[D];北京科技大学;2010年

中国硕士学位论文全文数据库 前10条

1 王世锋;基于客户交互关系的服务工作流优化技术研究[D];中南大学;2008年

2 严刚;分布式工作流事务处理建模与设计[D];上海交通大学;2009年

3 李敬刚;基于活动信息传递的工作流验证的研究与实现[D];大连理工大学;2010年

4 彭永;基于移动Agent工作流的研究与实现[D];哈尔滨工程大学;2010年

5 梁晓明;工作流技术及其在外商投资审批（绿色通道）中的应用[D];机械科学研究院;2002年

6 段江波;工作流管理系统的安全研究[D];大连理工大学;2005年

7 赵淳;一种可适应性工作流的研究与实现[D];中国科学院研究生院（软件研究所）;2005年

8 张海;工作流技术在法院案件管理系统中的应用[D];河海大学;2007年

9 周文斌;基于角色访问控制的工作流管理系统的信息安全研究[D];同济大学;2007年

10 杨环;分散式跨组织工作流执行模型的研究[D];浙江大学;2012年

  本文关键词：云计算环境下的科学工作流数据放置策略研究，由笔耕文化传播整理发布。

，

本文编号：301740