基于层次化调度策略和动态数据复制的网格调度方法
本文关键词: 数据网格 数据复制 调度策略 层次化 出处:《计算机应用研究》2014年02期 论文类型:期刊论文
【摘要】:针对在网格中如何有效地进行任务调度和数据复制,以便减少任务执行时间等问题,提出了任务调度算法(ISS)和优化动态数据复制算法(ODHRA),并构建一个方案将两种算法进行了有效结合。该方案采用ISS算法综合考虑任务等待队列的数量、任务需求数据的位置和站点的计算容量,采用网络结构分级调度的方式,配以适当的权重系数计算综合任务成本,搜索出最佳计算节点区域;采用ODHRA算法分析数据传输时间、存储访问延迟、等待在存储队列中的副本请求和节点间的距离,在众多的副本中选取出最佳副本位置,再结合副本放置和副本管理,从而降低了文件访问时间。仿真结果表明,提出的方案在平均任务执行时间方面,与其他算法相比表现出了更好的性能。
[Abstract]:In order to reduce the task execution time, a task scheduling algorithm (ISS) and an optimized dynamic data replication algorithm (ODHRA) are proposed to solve the problem of how to efficiently schedule tasks and copy data in grid. The ISS algorithm is used to consider the number of task waiting queue, the location of task demand data and the computing capacity of the site. The optimal computing node area is obtained by using the hierarchical scheduling method of network structure and the appropriate weight coefficient to calculate the comprehensive task cost. The ODHRA algorithm is used to analyze the data transmission time, to store the access delay, to wait for the replica request in the storage queue and the distance between the nodes, and to select the best replica location in many replicas. Combined with replica placement and replica management, file access time is reduced. Simulation results show that the proposed scheme has better performance than other algorithms in terms of average task execution time.
【作者单位】: 广东石油化工学院实验教学部计算机中心;广东石油化工学院计算机与电子信息学院;
【分类号】:TP393.09
【正文快照】: 0引言如今,在世界范围内的许多领域都会产生巨大的数据量。因此,管理如此巨大的分布式数据资源变成了一个必须面对的巨大挑战。网格技术就是解决此问题的一个方案。网格能被分成计算网格和数据网格两个部分。计算网格是一种针对数据量少而计算密集的应用。而数据网格一种用来
【参考文献】
相关期刊论文 前4条
1 邢长明;刘方爱;;数据网格任务调度模拟器的设计[J];计算机应用研究;2011年11期
2 李飞;郭昌松;赵伯听;曾辉;;基于内容分发的数据网格副本创建策略[J];计算机应用研究;2012年10期
3 吕卫忠;康红勋;周园春;黎建辉;阎保平;;数据网格中高效的分布式存储策略[J];计算机工程;2011年05期
4 王慧娟;胡峰松;陈灿;;数据网格环境下副本淘汰策略的研究[J];计算机工程与设计;2010年19期
【共引文献】
相关期刊论文 前10条
1 游新冬;陈学耀;朱川;常桂然;;数据网格中基于效益函数的副本管理策略[J];东北大学学报(自然科学版);2007年08期
2 艾丽华;罗四维;;数据网格虚拟机动态存储层次的研究[J];电子学报;2010年11期
3 宋玮;凌捷;;非服从性分布式系统中博弈分析法下的副本放置问题[J];桂林理工大学学报;2013年01期
4 曲明成;吴翔虎;张银;廖明宏;杨孝宗;左德承;;数据网格的存储资源预留方法[J];哈尔滨工业大学学报;2010年03期
5 ;Optimizing write operation on replica in data grid[J];Science China(Information Sciences);2011年01期
6 王惠;符策;李阳;杨小佳;陈燕;;基于SOGSA的港口虚拟物流链构建[J];计算机工程;2007年13期
7 张瑞藜;王夙娟;;基于访问频率的网格副本创建策略[J];计算机时代;2011年06期
8 刘友安;罗明超;;云计算环境下网格文件存储应用研究[J];制造业自动化;2013年04期
9 陈波;张曦煌;;基于分层与容错机制的云计算负载均衡策略[J];计算机应用;2013年11期
10 聂倩;;基于Optorsim的网格模拟实验环境的构建[J];软件导刊(教育技术);2013年03期
相关博士学位论文 前3条
1 曲明成;数据网格QoS保障与资源优化关键技术研究[D];哈尔滨工业大学;2011年
2 谢夏;网格信息服务的性能及其模拟评估[D];华中科技大学;2006年
3 吴长泽;数据网格中高可用性副本管理及性能优化研究[D];重庆大学;2007年
相关硕士学位论文 前6条
1 姜建华;基于LSF和Gfarm的Data-aware调度和数据管理[D];吉林大学;2006年
2 田晓艳;云环境下高考视频监控数据管理技术研究[D];山东师范大学;2013年
3 吴永发;面向终端应用的云存储系统研究与设计[D];广东工业大学;2013年
4 鄢安娜;基于数据网格的输配电一体化数据管理研究[D];华北电力大学;2013年
5 黄彩锋;基于HDFS分布式并行文件系统副本策略研究[D];浙江师范大学;2013年
6 徐骁勇;技术创新平台存储系统的冗余容错机制研究[D];南京工业大学;2012年
【二级参考文献】
相关期刊论文 前9条
1 姜建锦;杨广文;;数据网格中请求呈现分组特性的副本管理策略研究[J];计算机研究与发展;2009年02期
2 李占胜;毕会娟;李艳平;张立松;;一种对LRFU置换策略的自适应改进[J];计算机工程与应用;2008年17期
3 胡志刚;李林;;基于GridSim的网格模拟框架设计与实现[J];计算机工程;2009年23期
4 卢炎生;胡辉;;基于hybrid拓扑的数据网格副本创建策略[J];计算机应用研究;2007年11期
5 雷炳翰;何军;何翔;李奇;;基于GridSim的网格算法测试软件开发[J];计算机应用研究;2009年09期
6 赵秋云;罗省贤;魏乐;;网格环境下基于传输代价的副本优化策略[J];计算机应用研究;2010年04期
7 付雄;王汝传;;树型数据网格环境下副本放置算法研究[J];南京邮电大学学报(自然科学版);2011年03期
8 邢长明;刘方爱;杨林;厉文;;教育资源网格模型及副本创建策略[J];软件学报;2009年10期
9 李田来;刘方爱;庄波;;基于GLOBUS的教育网格副本创建策略研究[J];计算机工程与设计;2008年15期
相关博士学位论文 前1条
1 孙海燕;数据网格副本管理关键技术研究[D];国防科学技术大学;2005年
【相似文献】
相关期刊论文 前10条
1 闫晓东;徐惠民;;一种基于经济模型的数据复制收入预测函数[J];电子科技大学学报;2007年01期
2 闫晓东,徐惠民,窦海峰,刘超英;基于optorsim的网格作业调度和数据复制策略仿真[J];微电子学与计算机;2004年11期
3 陈敏;基于数据网格的元数据一致性管理研究[J];武汉理工大学学报(信息与管理工程版);2005年05期
4 卢国明;孙世新;;数据网格资源协同分配问题研究[J];系统工程与电子技术;2006年01期
5 马永征,南凯,阎保平;数据网格资源信息目录体系的设计与实现[J];计算机工程;2004年21期
6 黄斌,李春江,肖侬,刘波,付伟;基于Cluster的数据网格请求代理服务器设计[J];计算机应用研究;2004年09期
7 张延松;薛永生;张宇;张剑达;;数据网格的动态读/写复制策略研究[J];计算机科学;2004年10期
8 杨涛;刘贵全;;数据网格中基于MAS的复制管理研究[J];计算机仿真;2007年02期
9 王意洁,肖侬,任浩,卢锡城;数据网格及其关键技术研究[J];计算机研究与发展;2002年08期
10 杨涛;刘贵全;;一种基于双边拍卖的复制优化策略[J];计算机应用;2006年08期
相关会议论文 前10条
1 张琦炜;杨江明;顾宁;杨根兴;刘振宇;;数据网格中的动态分布式多入口技术[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
2 张祖礼;何洪波;;基于数据网格的科普资源共享平台的设计与实现[A];创意科技助力数字博物馆[C];2011年
3 赵武清;许先斌;王卓薇;;一种基于权重的数据网格副本替换策略[A];第15届全国信息存储技术学术会议论文集[C];2008年
4 施霖;刘喻民;;层次化Web应用模型[A];第一届全国Web信息系统及其应用会议(WISA2004)论文集[C];2004年
5 陈庆奎;那丽春;;一个基于网格的并行Join算法[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
6 黄震春;;元数据适配器与面向空间信息应用的数据网格[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
7 刘雁飞;梁正友;;网格工作流研究问题与现状[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(下册)[C];2008年
8 王铁军;刘恒;周明天;;基于分布式生成树的副本定位服务的自适应性分析[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
9 姚修思;马少武;唐雄燕;;基于异构性的P2P系统设计[A];中国通信学会信息通信网络技术委员会2009年年会论文集(上册)[C];2009年
10 冯健;;P2P流媒体关键技术研究[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年
相关重要报纸文章 前10条
1 国防科技大学 肖侬;编织“数据网格”[N];计算机世界;2002年
2 本报记者 侯闯;SafeNet:层次化搭建VPN网络[N];计算机世界;2004年
3 ;朝华科技:倡导一次性投资[N];计算机世界;2004年
4 ;华胜天成:提供异地数据切换[N];计算机世界;2004年
5 关石;层次化模型[N];计算机世界;2001年
6 ;容灾解决方案评析[N];计算机世界;2005年
7 Matt Young;远程接入的层次化需求[N];中国计算机报;2007年
8 Anne Zieger;下一代网格“主攻”应用集成[N];计算机世界;2004年
9 郑大卫;如何选择容灾方案[N];计算机世界;2005年
10 ;Linux平台“多路径”技术应用[N];中国计算机报;2005年
相关博士学位论文 前10条
1 Qaisar Rasool;数据网格中数据复制的研究[D];哈尔滨工业大学;2008年
2 姜建华;数据网格几个关键技术的研究[D];吉林大学;2010年
3 邓勇;数据网格安全若干关键技术研究[D];南京邮电大学;2011年
4 李静;数据网格的资源管理相关策略及算法研究[D];重庆大学;2007年
5 曲明成;数据网格QoS保障与资源优化关键技术研究[D];哈尔滨工业大学;2011年
6 孙海燕;数据网格副本管理关键技术研究[D];国防科学技术大学;2005年
7 吴长泽;数据网格中高可用性副本管理及性能优化研究[D];重庆大学;2007年
8 吴劲;移动计算环境中基于移动代理的数据管理技术研究[D];电子科技大学;2004年
9 邢长明;基于因特网的资源共享模型及关键技术研究[D];山东师范大学;2010年
10 冯健;P2P点播流媒体服务质量研究[D];西北大学;2008年
相关硕士学位论文 前10条
1 陈宣;Kylin中虚拟服务器系统研究与实现[D];国防科学技术大学;2005年
2 张皓;网络处理中I~3O缓冲调度模型研究与实现[D];国防科学技术大学;2008年
3 闫荞荞;基于量子进化算法的数据网格副本创建策略研究[D];南京信息工程大学;2012年
4 王超伦;数据网格副本管理研究[D];哈尔滨工程大学;2010年
5 王明钟;在线数据复制系统的设计与实现[D];西北工业大学;2005年
6 户家富;数据网格中元信息管理与一致性维护研究[D];国防科学技术大学;2005年
7 李宁;数据网格环境下基于融合算法的副本选择策略研究[D];河南大学;2010年
8 常帅;基于GridFTP协议的数据传输性能分析与研究[D];辽宁工业大学;2013年
9 许玉杰;基于信任模型的数据网格任务调度算法研究[D];大连海事大学;2010年
10 施晓烨;数据网格中副本管理策略研究[D];南京邮电大学;2011年
,本文编号:1451853
本文链接:https://www.wllwen.com/guanlilunwen/ydhl/1451853.html