云环境中基于多目标优化的科学工作流数据布局策略研究

发布时间：2017-12-07 05:12

  本文关键词：云环境中基于多目标优化的科学工作流数据布局策略研究

  更多相关文章： 云计算 科学工作流 数据布局 多目标优化 传输时间 负载均衡

【摘要】：天文学、高能物理学、生物信息学等现代科学应用领域通常包含成千上万个任务,并且需要处理大量的数据,因而需要大量的计算资源和存储资源。科学工作流作为一种流行和重要的机制可以帮助科学家自动执行这些科学仿真和数据分析过程。随着的科学研究日益复杂,确保科学工作流的高效执行变得十分重要。由于云计算拥有全球性的分布式数据中心,能够为用户提供了大量的存储空间和高性能的计算资源,它的高效、灵活的特点为科学工作流的执行提供了一种全新的方式。但是,将科学工作流部署在云计算环境上仍然面临许多挑战,在数据布局方面尤为突出。科学工作流的执行过程中,大量的数据需要从一个数据中心传输到另一数据中心,因此,如何更好地布局科学工作流的数据集,降低跨数据中心的数据传输变得非常重要。云环境下的数据中心都有它独特的特征,将科学工作流中大量的数据集存放在某个数据中心是不合理的。因此需要研究一种高效的数据布局策略,提高科学工作流的执行效率。目前存在的数据布局策略主要是基于聚类算法和智能算法,包括k-means算法、遗传算法和粒子群算法等,它们可以减少科学工作流执行过程中数据传输时间,但它们忽略了数据中心间负载均衡,导致数据集被布局在少量的数据中心上,从而影响了整个数据中心的计算能力,进而降低了科学工作流的执行效率。因此,一个高效的数据布局策略应同时兼顾到数据传输时间和数据中心问的负载均衡。基于上述的分析,对数据集进行布局时,同时考虑数据传输时间和负载均衡是很困难的,传统的数据布局方法很难获取高效的数据布局方案。本文运用基于多目标优化的方法对数据集进行布局。解决多目标优化问题通常采用的是基于进化算法的启发式方法,它有着自适应、避免局部最优、黑盒式求解等诸多优点,可以兼顾数据布局策略中的数据传输时间和负载均衡,从而有效解决科学工作流中数据布局问题。本文的研究内容为数据布局策略,通过优化数据传输时间和负载均衡两个目标,从而提高云环境下科学工作流的执行效率,主要工作如下：(1)对云计算环境下科学工作流的数据布局问题进行建模,并举例分析传统数据布局策略的不足,然后给出本文的数据布局方案；(2)将多目标优化思想运用到数据布局中,针对两个目标(数据传输时间和数据中心间负载均衡)进行了优化；(3)采用基于多目标进化算法KnEA的数据布局策略对科学工作流中数据集进行布局,得到数据传输时间和数据中心间负载均衡都较优的数据布局方案；(4)提出了一种将MOEA/D算法和外部档案集搜索相结合的算法EAS-MOEA/D算法。该算法在MOEA/D算法的基础上,将外部档案集作为搜索指导方向,用基于分解的策略进化内部种群和基于非支配排序的策略维持外部档案集,让两种策略共同竞争,因而具有更好的多目标优化性能,与此同时,结合数据布局的基础上,将个体的标准差作为外部档案集搜索指导的重要标准。最后,将EAS-MOEA/D算法应用到科学工作流的数据布局中。通过使用matlab对云计算环境和科学工作流进行仿真,将本文提出的两种数据布局策略与传统的数据布局策略进行对比试验。实验结果显示,本文提出的两种数据布局策略具有更明显的优势,可以有效减少数据传输时间和保持数据中心间负载均衡。本文的研究可以有效地提高科学工作流的执行效率,降低云服务商的运行成本,具有广泛的发展前景。
【学位授予单位】：安徽大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP18;TP311.13

【相似文献】

中国期刊全文数据库 前10条

1 刘淳安;王宇平;;基于新模型的动态多目标优化进化算法[J];计算机研究与发展;2008年04期

2 徐鹤鸣;王东;;多目标优化问题的求解框架[J];微计算机信息;2009年36期

3 郭晓东;王丽芳;;求解多目标优化问题的分布估计算法[J];太原科技大学学报;2010年01期

4 雍龙泉;;求解一类不可微多目标优化问题的社会认知算法[J];计算机应用研究;2010年11期

5 郭思涵;龚小胜;;正交设计的E占优策略求解高维多目标优化问题研究[J];计算机科学;2012年02期

6 盖玉权;何昱;张宇燕;吴宪彬;万海同;;复方药物剂量配比多目标优化的方法学研究[J];微型机与应用;2012年07期

7 王杰文;;约束多目标优化问题中约束处理方法综述[J];现代计算机(专业版);2012年36期

8 贾利民,张锡第;智能多目标优化控制及其应用[J];信息与控制;1992年01期

9 周学建;师清翔;朱永宁;;模糊相似优先比在清选系统多目标优化中的应用[J];洛阳工学院学报;1993年02期

10 吴清烈,江孝感,徐南荣;大规模含整变量多目标优化的一种新方法[J];信息与控制;1998年01期

中国重要会议论文全文数据库 前10条

1 张翔;;一种无歧义性的多目标优化数值解法[A];中国农业机械学会成立40周年庆典暨2003年学术年会论文集[C];2003年

2 罗亚中;;航天器轨迹多目标优化研究评述[A];The 5th 全国动力学与控制青年学者研讨会论文摘要集[C];2011年

3 耿玉磊;张翔;;多目标优化的求解方法与发展[A];福建省科协第四届学术年会——提升福建制造业竞争力的战略思考专题学术年会论文集[C];2004年

4 耿玉磊;张翔;;多目标优化的求解方法与发展[A];福建省科协第四届学术年会提升福建制造业竞争力的战略思考专题学术年会论文集[C];2004年

5 程鹏;唐雁;邹显春;;约束多目标优化试验函数产生器[A];2008年计算机应用技术交流会论文集[C];2008年

6 贾小平;韩方煜;;多目标优化及其在过程工程中的应用[A];过程系统工程2001年会论文集[C];2001年

7 邢志祥;;灭火救援力量调集的多目标优化[A];第一届全国安全科学理论研讨会论文集[C];2007年

8 孙力;樊希山;姚平经;;化工过程多目标优化适宜解的模糊确定[A];第二届全国传递过程学术研讨会论文集[C];2003年

9 李颖t;昝建明;周建文;;多目标形貌优化方法研究[A];结构及多学科优化工程应用与理论研讨会’2009（CSMO-2009）论文集[C];2009年

10 许碧霞;李兆江;;基于循环经济的城市污水多目标优化配置分析[A];中国地理学会2007年学术年会论文摘要集[C];2007年

中国博士学位论文全文数据库 前10条

1 王晗丁;复杂问题的多目标进化优化算法研究[D];西安电子科技大学;2015年

2 董宁;求解约束优化和多目标优化问题的进化算法研究[D];西安电子科技大学;2015年

3 邹娟;高维多目标进化优化及降维评价的方法研究[D];湘潭大学;2014年

4 杨光;求解多目标优化问题的NWSA研究及其工程应用[D];吉林大学;2015年

5 徐志丹;基于生物地理算法的多目标优化理论与应用研究[D];哈尔滨工程大学;2013年

6 蒋庆;地下水时空变化及监测网多目标优化研究[D];华中科技大学;2008年

7 陈琼;演化多目标优化多样性保持策略及其应用研究[D];武汉理工大学;2010年

8 陈小红;基于进化算法的高维多目标优化问题求解方法及应用[D];深圳大学;2015年

9 刘鎏;多目标优化进化算法及应用研究[D];天津大学;2010年

10 魏静萱;解决单目标和多目标优化问题的进化算法[D];西安电子科技大学;2009年

中国硕士学位论文全文数据库 前10条

1 何素素;基于改进的粒子群算法的钻进参数多目标优化研究[D];西安石油大学;2015年

2 黄怡;基于药效综合评价的中药组分配伍优化方法研究[D];浙江大学;2015年

3 韩伟;基于混合智能算法在造纸废水厌氧消化处理过程多目标优化中的研究[D];华南理工大学;2015年

4 彭清风;基于鲁棒性的船体中横剖面多目标优化[D];上海交通大学;2015年

5 崔华;面向个性化需求的服务组合优化方法[D];哈尔滨工业大学;2015年

6 章姗捷;基于遗传算法的电力工程多目标优化研究[D];华北电力大学;2015年

7 高敏;基于协同论的风电建设项目多目标优化模型研究[D];华北电力大学;2015年

8 刘培根;基于多目标优化和压缩感知的航拍目标检测[D];电子科技大学;2015年

9 杨凯;基于多目标优化的贵州工业结构调整研究[D];贵州师范大学;2015年

10 陈振兴;基于空间拥挤控制策略的进化多目标优化[D];福建师范大学;2015年

，

本文编号：1261255