一种科学工作流的云数据布局与任务调度策略

发布时间：2018-01-14 05:10

  本文关键词：一种科学工作流的云数据布局与任务调度策略　出处：《计算机仿真》2015年03期 　论文类型：期刊论文

  更多相关文章： 云计算 科学工作流 数据依赖 数据布局 任务调度

【摘要】：云计算环境下,数据密集型科学工作流的数据文件在多数据中心间的合理布局,对科学工作流的执行效率具有很大的影响。根据科学工作流各数据集之间的依赖关系,并聚焦于运行科学工作流的各数据中心的处理能力差异和网络性能差异,提出一种可提高科学工作流执行性能的数据布局以及数据布局敏感的任务调度策略。分析和实验表明,上述策略可有效减少科学工作流运行时跨数据中心的数据传输,降低科学工作流的运行时间,从而提高科学工作流整体运行效率。
[Abstract]:In the cloud computing environment, the rational layout of data files in multi-data centers of data-intensive scientific workflow. It has great influence on the execution efficiency of scientific workflow. According to the dependence of each data set of scientific workflow, it focuses on the difference of processing power and network performance of each data center running scientific workflow. This paper presents a data layout and task scheduling strategy which can improve the performance of scientific workflow execution. The analysis and experimental results show that the task scheduling strategy is sensitive to the data layout. The above strategies can effectively reduce the data transmission between the data center and the running time of the scientific workflow, and thus improve the overall efficiency of the scientific workflow.
【作者单位】： 西北师范大学计算机科学与工程学院;
【基金】：国家自然科学基金项目(61462076) 甘肃省科技支撑计划项目(1104GKCA023) 甘肃省科技攻关项目(1208RJZA134)
【分类号】：TP308
【正文快照】： 1引言科学工作流作为近年来出现的一种新的应用泛型,可集成、构造和协同分布异构的数据、服务和软件,提高科学实验过程的自动化。科学工作流应用通常是数据和计算密集型的[1],例如:生物信息领域使用的DNA测序技术每轮测序可产生多达600GB的基因数据[2],而一次蛋白质实验的计算

【参考文献】

相关期刊论文 前4条

1 郑湃;崔立真;王海洋;徐猛;;云计算环境下面向数据密集型应用的数据布局策略与方法[J];计算机学报;2010年08期

2 刘少伟;孔令梅;任开军;宋君强;邓科峰;冷洪泽;;云环境下优化科学工作流执行性能的两阶段数据放置与任务调度策略[J];计算机学报;2011年11期

3 张鹏;王桂玲;徐学辉;;云计算环境下适于工作流的数据布局方法[J];计算机研究与发展;2013年03期

4 郭力争;赵曙光;姜长远;;云计算环境下基于关联量的数据部署与任务调度[J];计算机工程与科学;2013年08期

【共引文献】

相关期刊论文 前10条

1 王德文;;基于云计算的电力数据中心基础架构及其关键技术[J];电力系统自动化;2012年11期

2 王晟;赵壁芳;;面向云计算的数据管理技术研究[J];电脑知识与技术;2012年13期

3 胡海洋;刘占晨;胡华;;云计算环境下一种面向科学工作流不确定数据源的视图构造方法[J];电信科学;2013年03期

4 张瑞;;云计算及云储存生态系统研究[J];电子设计工程;2013年08期

5 程飞;;基于云计算的图书数据库查询方法研究[J];计算机光盘软件与应用;2013年07期

6 丛龙水;;油田物探行业云计算方案设计[J];计算机光盘软件与应用;2013年12期

7 王德文;肖磊;肖凯;;智能变电站海量在线监测数据处理方法[J];电力自动化设备;2013年08期

8 金朔平;;云计算与物联网安全问题研究[J];计算机光盘软件与应用;2013年11期

9 郭力争;王永皎;赵曙光;沈士根;姜长元;;Particle Swarm Optimization Embedded in Variable Neighborhood Search for Task Scheduling in Cloud Computing[J];Journal of Donghua University(English Edition);2013年02期

10 宋杰;李甜甜;闫振兴;朱志良;;数据密集型计算中负载均衡的数据布局方法[J];北京邮电大学学报;2013年04期

相关会议论文 前1条

1 王源;岳昆;方启宇;刘惟一;;CloudBN:基于云计算的概率图模型学习系统[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

相关博士学位论文 前10条

1 伍章俊;云工作流服务组合与活动调度策略研究[D];合肥工业大学;2011年

2 马艳;基于能耗和成本的资源管理与调度策略研究[D];山东大学;2012年

3 何文娜;大数据时代基于物联网和云计算的地质信息化研究[D];吉林大学;2013年

4 刘灿由;电子海图云服务关键技术研究与实践[D];解放军信息工程大学;2013年

5 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年

6 刘明铭;资源适应型多粒度负载的均衡机制及应用研究[D];南开大学;2013年

7 黄鑫;可扩展的数据中心网络互联关键技术研究[D];武汉大学;2014年

8 董玉双;云平台中虚拟机部署的关键问题研究[D];吉林大学;2014年

9 樊沛;虚拟计算环境中面向通信特征的应用部署优化技术研究[D];国防科学技术大学;2012年

10 龙赛琴;云存储系统中的数据布局策略研究[D];华南理工大学;2014年

相关硕士学位论文 前10条

1 王贤伟;基于Hadoop的外观专利图像检索系统的研究与实现[D];广东工业大学;2011年

2 钟海;面向云计算环境的应用迁移策略及资源管理技术研究[D];云南大学;2011年

3 刘少伟;基于云计算的科学工作流数据存储策略研究[D];国防科学技术大学;2011年

4 刘飞;基于云计算的分布式存储系统的研究和应用[D];西安工业大学;2012年

5 田宏伟;云计算环境下资源分配策略的研究[D];山东师范大学;2012年

6 孟颖;基于蚁群优化的聚类算法分析与研究[D];长沙理工大学;2012年

7 尹海波;云计算环境下分布式应用系统的监控平台设计[D];中南林业科技大学;2012年

8 郑天红;基于Hadoop的网络流量分流并行化设计与实现[D];内蒙古大学;2012年

9 汪妮;基于移动平台的交互式图形开发环境的研究与实现[D];西北大学;2012年

10 陈坚;虚拟化技术在证券交易系统的可用性[D];上海交通大学;2012年

【二级参考文献】

相关期刊论文 前5条

1 曾志;刘仁义;张丰;刘南;;面向云的分布式集群四叉树任务分配策略[J];电信科学;2010年10期

2 韩燕波;王洪翠;王建武;闫淑英;张程;;一种支持最终用户探索式组合服务的方法[J];计算机研究与发展;2006年11期

3 郑湃;崔立真;王海洋;徐猛;;云计算环境下面向数据密集型应用的数据布局策略与方法[J];计算机学报;2010年08期

4 张春艳;刘清林;孟珂;;基于蚁群优化算法的云计算任务分配[J];计算机应用;2012年05期

5 韩燕波;孙君意;王桂玲;李厚福;;A Cloud-Based BPM Architecture with User-End Distribution of Non-Compute-Intensive Activities and Sensitive Data[J];Journal of Computer Science & Technology;2010年06期

【相似文献】

相关期刊论文 前10条

1 丁柯 ,金蓓弘 ,冯玉琳;事务工作流的建模和分析[J];计算机学报;2003年10期

2 陈鹏飞,张钢,王庆节;工作流管理原型系统的设计与实现[J];微处理机;2003年05期

3 夏晓东,王保义,张少敏;基于工作流思想的办公自动化系统的开发[J];微机发展;2003年S1期

4 张子平,彭志宏,严召进,王远志;企业工作流机模型的设计[J];微计算机信息;2003年10期

5 邓珍荣;基于向后恢复的多层工作流事务管理模型[J];广西科学院学报;2004年03期

6 陈大峰,吴泉源,刘必欣;工作流资源指派技术的研究与实现[J];计算机应用研究;2004年08期

7 张翼英,张翼飞;工作流管理系统的结构与应用[J];辽宁商务职业学院学报(社会科学版);2004年03期

8 徐方平,叶丹;工作流在电力生产管理信息系统中的应用[J];农村电气化;2004年11期

9 寿志勤,李乐明,崇大志;一个面向政务流程的工作流管理系统分析与构建[J];电子政务;2005年10期

10 莫国明,姚路;浅谈工作流技术在“数字勘测”中的应用[J];福建电脑;2005年02期

相关会议论文 前10条

1 常群;王海洋;;基于长短事务分离的工作流事务模型[A];第十九届全国数据库学术会议论文集（研究报告篇）[C];2002年

2 马帅;王海洋;王文;;事务工作流及其错误处理策略[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年

3 刘庆;刘英博;王建民;;基于工作流日志的层次化角色挖掘[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

4 袁征;肖宇;;基于事例处理的工程项目工作流管理[A];土木建筑学术文库(第12卷)[C];2009年

5 王飞;李郴;薛清龙;胡晓鑫;;基于工作流技术的银行影像系统的研究和开发[A];煤矿自动化与信息化——第19届全国煤矿自动化与信息化学术会议暨中国矿业大学（北京）百年校庆学术会议论文集[C];2009年

6 刘建勋;陈海燕;;工作流管理系统中基于组织结构约束的授权研究[A];全国第16届计算机科学与技术应用（CACIS）学术会议论文集[C];2004年

7 魏连;许榕生;;基于工作流技术的手机取证系统的设计与实现[A];第13届全国计算机、网络在现代科学技术领域的应用学术会议论文集[C];2007年

8 寿志勤;李乐明;崇大志;;一个面向政务流程的工作流管理系统分析与构建[A];中国行政管理学会2005年年会暨“政府行政能力建设与构建和谐社会”研讨会论文集[C];2005年

9 邹盟军;黄炜;;基于组件的工作流管理平台的设计与实现[A];广东省电机工程学会2003-2004年度优秀论文集[C];2005年

10 张博;杨帆;;基于表单的工作流管理系统设计[A];第十四届中国科协年会第5分会场：绿色船舶与海洋装备创新发展及产业化论坛论文集[C];2012年

相关重要报纸文章 前10条

1 何进伟;还工作流管理一个说法[N];中国计算机报;2003年

2 徐昊;工作流是下一个“金矿”[N];中国计算机报;2003年

3 ;《工作流管理——模型、方法和系统》出版[N];中华读书报;2004年

4 胡长城;工作流:国内国际两极分化[N];计算机世界;2007年

5 工作流资深专家 游青华;如何选择一个适合的工作流平台[N];中国计算机报;2007年

6 刘喜喜;超越工作流管理[N];中国计算机报;2006年

7 ;北京商能 实现电子化工作流体系[N];中国计算机报;2009年

8 刘锬;Lotus Domino/Notes工作流在办公自动化中的应用[N];计算机世界;2005年

9 蒋明炜 戴宝纯 吴英;工作流管理使企业系统实现集成[N];中国乡镇企业报;2004年

10 沈建苗 编译;基于Spring创建工作流引擎[N];计算机世界;2006年

相关博士学位论文 前3条

1 王朝霞;数据感知工作流的建模与验证[D];清华大学;2012年

2 卢伟倬;建设项目工作流精益管理研究[D];哈尔滨工业大学;2008年

3 杨晓辉;基于服务组织的开放Agent社会研究[D];天津大学;2012年

相关硕士学位论文 前10条

1 李晓鑫;基于工作流的提案协同办公系统设计与实现[D];上海交通大学;2011年

2 周霞;柔性工作流管理系统引擎的研究与实现[D];南京航空航天大学;2006年

3 任侠;支持业务过程持续改善的工作流仿真工具设计与实现[D];国防科学技术大学;2005年

4 周鑫淼;基于工作流管理的项目管理应用研究[D];合肥工业大学;2012年

5 杨丽;天津市质检院办公自动化系统的设计与实现[D];天津大学;2012年

6 赵振钢;基于遗传算法的工作流挖掘设计与研究[D];浙江工业大学;2012年

7 郑冠华;基于工作流的服务定制研究[D];西北师范大学;2013年

8 刘黎军;商贸企业工作流管理系统的研究与实现[D];天津大学;2009年

9 朱梅;基于工作流管理系统的炼化公司信息平台系统研究与实现[D];西北大学;2008年

10 施红峰;基于工作流技术的大学生公寓管理系统的设计与实现[D];电子科技大学;2012年

，

本文编号：1422139