一种基于Spark在线Web服务的高效低延迟调度资源算法

发布时间：2017-12-01 13:20

  本文关键词：一种基于Spark在线Web服务的高效低延迟调度资源算法

  更多相关文章： Spark Web服务 资源监视 资源调度

【摘要】：Spark作为流行的分布式数据处理框架,其资源的调度方式和资源的利用率直接关系到集群计算处理的效率和速度。针对Spark资源调度问题,在Spark自身考虑的资源因素内存和空余核数下,提出新的调度算法。算法通过实时监视工作节点资源利用情况,增加对节点CPU处理速度和CPU剩余利用率的考虑,重新调度与分配资源,为Spark作为Web服务高并发请求、低延迟响应提供优化,还可以减少传统方式没有考虑的资源因素导致出现的资源利用倾斜现象,提高资源的利用率。实验表明,改进的资源调度算法有较好的效果。
【作者单位】： 南京理工大学计算机科学与工程学院;
【基金】：国家自然科学基金(61272420)
【分类号】：TP393.09
【正文快照】： 1引言随着互联网的快速发展,如何高效便捷地分析和处理爆炸性增长的数据已经成为了当前的研究热点。通过对大量的用户数据分析,企业可以得到改进和提高自身服务的信息。人工智能、机器学习随着大数据高效的计算得到了快速发展。推荐系统、文本识别、情感分析等应用都是基于对

【参考文献】

中国博士学位论文全文数据库 前3条

1 梁庆中;混合云平台上多目标任务调度算法研究[D];中国地质大学;2015年

2 史恒亮;云计算任务调度研究[D];南京理工大学;2012年

3 马丹;任务间相互依赖的并行作业调度算法研究[D];华中科技大学;2007年

中国硕士学位论文全文数据库 前1条

1 冯琳;集群计算引擎Spark中的内存优化研究与实现[D];清华大学;2013年

【共引文献】

中国博士学位论文全文数据库 前4条

1 顾涛;集群MapReduce环境中任务和作业调度若干关键问题的研究[D];南开大学;2014年

2 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年

3 郭羽成;MPI高性能云计算平台关键技术研究[D];武汉理工大学;2013年

4 王少军;时间序列预测的可重构计算研究[D];哈尔滨工业大学;2012年

中国硕士学位论文全文数据库 前7条

1 包涵;基于Spark平台的局部离群值挖掘算法研究[D];吉林大学;2016年

2 秦雪;基于Spark的乘潮水位任务控制模式研究[D];中国海洋大学;2015年

3 杨志伟;基于Spark平台推荐系统研究[D];中国科学技术大学;2015年

4 靳凤营;基于云计算的土地利用矢量数据高效处理技术研究[D];浙江大学;2015年

5 谢欢;大数据挖掘中的并行算法研究及应用[D];电子科技大学;2015年

6 马越;Hadoop平台下的海量小文件处理研究[D];南京邮电大学;2015年

7 杨国栋;基于分布式并行聚类的SAR图像变化检测算法研究[D];西安电子科技大学;2014年

【二级参考文献】

中国博士学位论文全文数据库 前7条

1 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

2 宋浒;面向用户服务需求的云计算管理机制研究[D];中国科学技术大学;2013年

3 敬思远;面向绿色虚拟数据中心资源管理的若干关键技术研究[D];电子科技大学;2013年

4 黄道超;智慧云网络动态资源适配关键技术研究[D];北京交通大学;2013年

5 刘晓茜;云计算数据中心结构及其调度机制研究[D];中国科学技术大学;2011年

6 罗会兰;聚类集成关键技术研究[D];浙江大学;2007年

7 孙小华;协同过滤系统的稀疏性与冷启动问题研究[D];浙江大学;2005年

【相似文献】

中国期刊全文数据库 前10条

1 周建涛;陆海燕;叶新铭;;面向资源调度的矩阵规范化方法研究[J];中山大学学报(自然科学版);2009年01期

2 夏文明;李国富;;资源调度问题研究综述[J];机电工程;2009年07期

3 林伟伟;齐德昱;;云计算资源调度研究综述[J];计算机科学;2012年10期

4 杨继君;许维胜;黄武军;吴启迪;;基于多灾点非合作博弈的资源调度建模与仿真[J];计算机应用;2008年06期

5 梁金华;;基于仿真网格平台的资源调度算法模拟[J];科技信息;2010年18期

6 薛玉;;云计算环境下的资源调度优化模型研究[J];计算机仿真;2013年05期

7 罗丹;;云计算资源调度算法仿真[J];计算机仿真;2013年07期

8 谢斌;林华;;联合战场资源调度问题综述[J];舰船电子工程;2013年10期

9 林永毅,张智江,廖黛丽,倪凌;电信传输资源及调度一体化管理的研究与实现[J];电信科学;2002年10期

10 吉军;蔚承建;陈胜峰;陈旭;;分散式多工厂资源调度中的一种理性策略[J];计算机应用;2010年11期

中国重要会议论文全文数据库 前3条

1 曹东旭;刘明阳;;基于马尔科夫决策链的作战资源调度[A];2014第二届中国指挥控制大会论文集（上）[C];2014年

2 王兵;贾利民;龙慧;郭杜杜;马玉春;;新疆公路网交通事故应急救援资源调度系统设计及应用[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年

3 丛慧芳;王文生;谢能付;;农业信息网格环境中数据传输资源调度方法研究[A];中国农业信息科技创新与学科发展大会论文汇编[C];2007年

中国重要报纸全文数据库 前1条

1 本报记者 吴挺;云计算的管理需求显现[N];计算机世界;2009年

中国博士学位论文全文数据库 前10条

1 王小乐;信息物理融合系统资源调度关键技术研究[D];国防科学技术大学;2014年

2 吴晓民;能量捕获驱动的异构网络资源调度与优化研究[D];中国科学技术大学;2016年

3 朱锐意;LTE系统资源动态分配算法研究[D];中国科学技术大学;2016年

4 王力;铁路集装箱中心站关键资源调度优化理论与方法[D];北京交通大学;2014年

5 马满福;基于计算经济的网格资源管理研究[D];西北工业大学;2007年

6 冉泳屹;云环境下基于随机优化的动态资源调度研究[D];中国科学技术大学;2015年

7 徐昕;基于博弈论的云计算资源调度方法研究[D];华东理工大学;2015年

8 徐劲松;SLA约束下的云资源调度关键技术研究[D];南京邮电大学;2013年

9 张静乐;网络环境下协同服务关键技术研究[D];北京科技大学;2011年

10 田国忠;多DAG共享资源调度的若干问题研究[D];北京工业大学;2013年

中国硕士学位论文全文数据库 前10条

1 王艳平;基于蚁群算法的云计算资源调度研究[D];曲阜师范大学;2015年

2 何兰兰;云环境下基于SLA的优化资源管理机制研究[D];江西理工大学;2015年

3 张扬;基于QPSO-SFLA改进算法的云环境资源调度研究[D];江西理工大学;2014年

4 杨南;藏文舆情云分析平台资源调度优化研究[D];西北民族大学;2015年

5 李超;基于改进粒子群算法的云计算资源调度研究[D];中国矿业大学;2015年

6 郭庆光;基于协同演化算法的云计算资源调度的研究[D];电子科技大学;2014年

7 陈强;载波聚合下的资源调度研究[D];电子科技大学;2014年

8 梁俊杰;基于应用容器的云资源调度研究与实现[D];电子科技大学;2015年

9 赵颖;Hadoop环境下的动态资源管理研究与实现[D];上海交通大学;2015年

10 徐政;基于QoS的LTE资源调度策略研究[D];南京邮电大学;2015年

，

本文编号：1241249