基于logistic回归模型的Hadoop本地任务调度优化算法

发布时间：2018-07-10 03:25

  本文选题：Hadoop + MapReduce　； 参考：《计算机应用研究》2017年03期

【摘要】：当一个工作节点有多个本地任务可执行时,默认情况下,调度器都是按照任务被发现的先后顺序来进行执行,效率低下。为了优化对本地任务的调度,提出了一种基于机器学习的Hadoop本地任务调度优化算法。选取定义与任务相关的特征向量,然后基于logistic回归模型的机器学习方式得到各向量的作用权值,将任务进行优先级排序,并通过过载规则不断更新模型。通过实验证明,提出的算法在改善map任务的数据本地性的同时,降低了作业运行时间。
[Abstract]:When a working node has multiple local tasks to execute, by default, the scheduler executes in the order in which the tasks are discovered, which is inefficient. In order to optimize the scheduling of local tasks, a machine learning based Hadoop local task scheduling optimization algorithm is proposed. Then the machine learning method based on logistic regression model is used to get the weight value of each vector. The tasks are prioritized and the model is updated by overload rules. Experimental results show that the proposed algorithm not only improves the data localization of map task, but also reduces the running time of the job.
【作者单位】： 南京工业大学计算机科学与技术学院;南京市卫生信息中心;
【基金】：国家公益性科研专项项目(201310162,201210022) 连云港科技支撑计划资助项目(SH1110)
【分类号】：TP301.6

【参考文献】

相关期刊论文 前7条

1 于倩;蔚承建;王开;朱林军;;基于机器学习的MapReduce资源调度算法[J];计算机应用研究;2016年01期

2 徐焕良;翟璐;薛卫;任守纲;;Hadoop平台中MapReduce调度算法研究[J];计算机应用与软件;2015年05期

3 李春艳;何一舟;戴彬;;Hadoop平台的多队列作业调度优化方法研究[J];计算机应用研究;2014年03期

4 余正祥;;基于学习方式对Hadoop作业调度的改进研究[J];计算机科学;2012年S1期

5 顾宇;周良;丁秋林;;基于优先级的Three-Queue调度算法研究[J];计算机科学;2011年S1期

6 谢花林;李波;;基于logistic回归模型的农牧交错区土地利用变化驱动力分析——以内蒙古翁牛特旗为例[J];地理研究;2008年02期

7 施朝健,张明铭;Logistic回归模型分析[J];计算机辅助工程;2005年03期

【共引文献】

相关期刊论文 前10条

1 周建;张凤荣;徐艳;高阳;张佰林;李超;;基于降水量与土壤类型的北方农牧交错区土地利用/覆被格局及变化分析——以科尔沁左翼后旗为例[J];地理研究;2017年07期

2 郝艳妮;田维丽;;基于Hadoop的数据挖掘算法在葡萄酒信息数据分析系统中的应用[J];计算机应用;2017年S1期

3 曾国文;赵宝峰;王波;;基于R语言的运营商4G用户流失预警模型研究[J];移动通信;2017年10期

4 王成福;刘军;朱美玲;;新疆农业高效节水灌溉技术长效利用影响因素分析[J];节水灌溉;2017年04期

5 韩震;孙红;;基于Hadoop的分布式平台实现[J];软件导刊;2017年03期

6 李晓;冯长春;李天娇;张文晖;;基于Logistic模型的土地利用格局影响因素分析——以重庆市义和镇为例[J];北京大学学报(自然科学版);2017年04期

7 金晓斌;潘倩;杨绪红;白清;周寅康;;清代中期江苏省土地利用格局网格化重建（英文）[J];Journal of Geographical Sciences;2016年12期

8 王少娟;;异构环境下改进的LATE调度算法[J];计算技术与自动化;2016年04期

9 方晓乐;王倩雪;陈鑫祥;吴永静;;一种基于MapReduce的电子地图数字水印处理方法[J];计算机应用与软件;2016年10期

10 陈思宇;张昕彤;吴迪;窦群;宋金平;;北京市批发企业区位分布演化与驱动力分析[J];经济地理;2016年09期

【二级参考文献】

相关期刊论文 前10条

1 宋杰;李甜甜;朱志良;鲍玉斌;于戈;;云数据管理系统能耗基准测试与分析[J];计算机学报;2013年07期

2 柯何杨;杨群;王立松;段汐;;同构Hadoop集群环境下改进的延迟调度算法[J];计算机应用研究;2013年05期

3 杨立身;余丽萍;;异构环境下增强的自适应MapReduce调度算法[J];计算机工程与应用;2013年19期

4 宁文瑜;吴庆波;谭郁松;;面向MapReduce的自适应延迟调度算法[J];计算机工程与科学;2013年03期

5 魏晓辉;付庆午;李洪亮;;Hadoop平台下基于资源预测的Delay调度算法[J];吉林大学学报(理学版);2013年01期

6 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期

7 邹伟明;于炯;英昌甜;胡丹;;基于动态等待时间阈值的延迟调度算法[J];计算机应用研究;2012年11期

8 邓传华;范通让;高峰;;Hadoop下基于统计最优的资源调度算法[J];计算机应用研究;2013年02期

9 怓鸣;陈俊杰;强彦;;基于模拟退火的Map Reduce调度算法[J];计算机工程;2012年19期

10 顾宇;周良;丁秋林;;基于优先级的Three-Queue调度算法研究[J];计算机科学;2011年S1期

【相似文献】

相关期刊论文 前10条

1 孟宪福;基于优先级的任务调度与负载均衡模型研究[J];小型微型计算机系统;2005年09期

2 廖晓文;廖京盛;;时间触发模式的任务调度与分解策略[J];单片机与嵌入式系统应用;2006年07期

3 樊晓香;;任务调度问题机制设计[J];计算机技术与发展;2008年07期

4 黄漾;;分布式环境下任务调度探讨[J];电脑知识与技术;2011年19期

5 陈军;谢立;孙钟秀;;分布式任务调度研究的新趋向[J];计算机研究与发展;1990年04期

6 陈艇;;基于混沌最优博弈的网络任务调度算法仿真[J];计算机仿真;2013年11期

7 李陶深;李明丽;张希翔;;云计算环境下任务调度技术的研究进展[J];玉林师范学院学报;2014年02期

8 刘雄文,陆鑫达;元计算环境中任务调度的深入分析[J];计算机工程与应用;2002年17期

9 罗红,慕德俊,邓智群,王晓东;网格计算中任务调度研究综述[J];计算机应用研究;2005年05期

10 张国海;江平宇;周光辉;;多设计任务调度的非合作博弈研究[J];西安交通大学学报;2007年03期

相关会议论文 前10条

1 刘培培;李连;丛海鹏;谢勇;;基于多代理协商机制的任务调度系统研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（下）[C];2006年

2 张磊;马军;;描述短时资源混杂占用型任务调度的数学模型与算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年

3 王军;巢玉强;彭钊轶;;基于任务调度的电能量计量采集系统的设计与实现[A];2006电力系统自动化学术交流研讨大会论文集[C];2006年

4 张志强;王万玉;王建平;李凡;袁刚;;多站多星任务调度优化模型研究[A];第二十三届全国空间探测学术交流会论文摘要集[C];2010年

5 韩云;于炯;张伟;王命全;;基于负载均衡的任务调度改进算法[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

6 王全民;王靓;许智宏;;网格环境中基于蚁群算法的批量任务调度的研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（上）[C];2006年

7 张晓云;岳继光;杨麟祥;;零星任务调度在多控制任务系统中的应用[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年

8 刘宇;刘玉荣;周冰;;基于WCF的环境减灾星座运控任务调度系统[A];第二十五届全国空间探测学术研讨会摘要集[C];2012年

9 黄文泽;邵峰晶;孙仁诚;;基于双总线安全结构的操作系统任务调度[A];2009全国计算机网络与通信学术会议论文集[C];2009年

10 杨舰;黄道平;李小亚;;GDCS任务调度的SPN模型研究[A];第二十六届中国控制会议论文集[C];2007年

相关重要报纸文章 前1条

1 王波;Linux与服务器集群技术[N];中国计算机报;2002年

相关博士学位论文 前10条

1 赵凡宇;航天器多目标观测任务调度与规划方法研究[D];北京理工大学;2015年

2 孙明明;云计算平台上任务调度算法的研究[D];中国科学技术大学;2015年

3 张旭;面向网络服务的传输协议设计与任务调度优化[D];中国科学技术大学;2017年

4 郭力争;云计算环境下资源部署与任务调度研究[D];东华大学;2015年

5 黄万伟;基于服务属性区分的可重构任务调度研究[D];解放军信息工程大学;2009年

6 瞿进;可重构系统软硬功能划分及任务调度技术研究[D];解放军信息工程大学;2011年

7 周双娥;实时分布容错系统的任务调度技术研究[D];哈尔滨工程大学;2003年

8 柴亚辉;基于FPGA的高性能计算架构硬件任务与资源模型研究[D];上海大学;2012年

9 金刚;云环境下任务调度关键问题研究[D];吉林大学;2015年

10 耿晓中;基于多核分布式环境下的任务调度关键技术研究[D];吉林大学;2013年

相关硕士学位论文 前10条

1 张巧龙;云计算环境下任务调度问题的研究[D];江南大学;2015年

2 徐彬;云环境下基于动态融合遗传蚁群算法的DAG任务调度研究[D];南京信息工程大学;2015年

3 钟潇柔;基于动态遗传算法的云计算任务节能调度策略研究[D];哈尔滨工业大学;2015年

4 李婷;分布式爬虫任务调度与AJAX页面抓取研究[D];电子科技大学;2015年

5 赵彬;基于任务调度和动态资源调整的云计算节能机制及能效分析[D];广西大学;2015年

6 杨镜;基于人工免疫系统的云平台动态任务调度[D];电子科技大学;2014年

7 王一冰;基于ASP.NET的任务调度管理系统的设计与实现[D];电子科技大学;2013年

8 白晶晶;云环境下安全和可靠性驱动的工作流任务调度研究[D];新疆大学;2015年

9 吕信科;基于多核阵列的任务调度技术研究[D];电子科技大学;2015年

10 温宇昂;单阶段差异化多机可拆分任务调度优化方法[D];东北大学;2013年

，

本文编号：2111850