Hadoop集群性能参数自动调优信息库系统构建

发布时间：2017-07-19 21:23

  本文关键词：Hadoop集群性能参数自动调优信息库系统构建

  更多相关文章： TaskConfigure服务器 Hadoop集群 参数信息库系统 自动调优

【摘要】：为了使Hadoop集群系统能够应对多变的任务及系统本身节点差异对集群性能带来的影响,采用TaskConfigure服务器构建Hadoop集群参数信息库系统实现对集群参数的自动调优配置.通过对集群节点及任务的分类,提出集群按类分配配置参数及采用节点资源利用效率生成集群系统参数的优化配置值.实验结果表明,参数信息库系统的自动调优保证了集群工作性能的充分发挥,有效地缩短了集群执行任务的工作时间,使集群具有良好的稳定性和扩展性.
【作者单位】： 辽宁师范大学计算机与信息技术学院;
【关键词】： TaskConfigure服务器 Hadoop集群 参数信息库系统 自动调优
【基金】：国家自然科学基金项目(61105059)资助
【分类号】：TP393.05
【正文快照】： 1引言Hadoop[1]作为一种云计算系统发展十分迅速,现已包含众多子项目.最核心的部分为HDFS(Hadoop Distributed FileSystem)文件系统和MapReduce计算框架,此外还有HBase、Hive、Pig等[2].其技术被广泛的应用在网页索引、数据挖掘、日志分析、金融分析等方面[3].Hadoop的MapRedu

【参考文献】

中国期刊全文数据库 前1条

1 代栋;周学海;杨峰;王超;;一种基于模糊推理的Hadoop异构机群自动配置工具[J];中国科学院研究生院学报;2011年06期

【共引文献】

中国期刊全文数据库 前10条

1 俞能福;陈邦考;;主成分分析法在学生成绩分析中的应用[J];安徽建筑工业学院学报(自然科学版);2007年01期

2 丁春;盛周君;;基于主成分分析法的南淝河水质综合评价[J];安徽农业科学;2007年35期

3 李兵;陈国华;杨涤尘;朱宁;;食品安全体系的抽样理论研究[J];安徽农业科学;2009年22期

4 陈碧珊;潘安定;李冰;;有序聚类方法在沉积物粒度分带中的应用[J];安徽农业科学;2009年35期

5 赵晖;温学飞;赫晓辉;王政峰;安钰;;基于因子分析法分析宁夏农村信息化的发展[J];安徽农业科学;2010年13期

6 唐君;;我国31个省区农村居民经济状况排序和聚类[J];安徽农业科学;2010年34期

7 庞发虎;杜瑞卿;王永勤;;优化野生黄蔷薇不定芽的分化[J];安徽农业科学;2011年28期

8 珊丹;刘艳萍;邢恩德;刘铁军;母吉君;;影响草原生态环境容量主要因子的主成分分析[J];安徽农业科学;2012年11期

9 杜瑞卿;杨建伟;;生物统计学教学方法改革探讨[J];现代农业科技;2011年02期

10 胡煜;;偏最小二乘方法和二次判别分析方法应用于基因芯片数据分析[J];鞍山师范学院学报;2007年04期

中国重要会议论文全文数据库 前10条

1 赵晖;温学飞;赫晓辉;王政峰;安钰;;基于因子分析法分析宁夏农村信息化的发展[A];2011全国灌区信息化建设与防渗抗冻胀新技术应用专刊[C];2011年

2 黎晖晖;刘云波;韩婷;郭甲子;;中国财产保险公司经营绩效的实证研究[A];风险管理与经济安全：金融保险业的视角——北大CCISSR论坛文集·2006[C];2006年

3 李桂华;胡进;李小翠;;消费者关爱对寿险购买意向影响的实证分析[A];中国高等院校市场学研究会2009年年会论文集[C];2009年

4 孟凡香;徐淑琴;刘东;;三江平原水稻生育期蒸发量影响因子的主成分分析[A];寒区水科学及国际河流研究系列丛书2·寒区水循环及冰工程研究——第2届“寒区水资源及其可持续利用”学术研讨会论文集[C];2009年

5 朱寿增;黎智;李小明;刘毅;;柳州市红粘土物理力学性质指标的多元统计分析[A];第20届全国结构工程学术会议论文集（第Ⅱ册）[C];2011年

6 王慧;王银;;主成分分析和因子分析的区别与联系及其应用[A];第九届中国不确定系统年会、第五届中国智能计算大会、第十三届中国青年信息与管理学者大会论文集[C];2011年

7 李颖;王振会;肖稳安;曾庆锋;杨天琦;;基于FFT的大气电场频谱分析及雷暴预报研究[A];第28届中国气象学会年会——S13雷电物理、监测预警和防护[C];2011年

8 陈皓锐;高占义;黄介生;王少丽;;运东平原区潜水位与人类活动和气候因子关系分析[A];Collection of 2009 International Forum on Water Resources and Sustainable Development[C];2009年

9 牛惠芳;;回归分析与课堂评价模型中指标的选择[A];中国现场统计研究会第十三届学术年会论文集[C];2007年

10 斯日古楞;张瑞;;内蒙古各盟市经济和教育情况的因子分析[A];中国现场统计研究会第十三届学术年会论文集[C];2007年

中国博士学位论文全文数据库 前10条

1 吕宁;基于数据驱动的故障诊断模型及算法研究[D];哈尔滨理工大学;2009年

2 杨娜;基于云参数干旱遥感监测模型与集合卡尔曼滤波的土壤湿度同化研究[D];武汉大学;2010年

3 李春洋;基于多态系统理论的可靠性分析与优化设计方法研究[D];国防科学技术大学;2010年

4 张亚刚;基于广域信息的电力系统故障元件定位方法研究[D];华北电力大学（北京）;2011年

5 王飞;入侵检测分类器设计及其融合技术研究[D];南京理工大学;2011年

6 姚顺春;激光诱导击穿光谱技术在电站运行诊断中的应用研究[D];华南理工大学;2011年

7 罗环敏;基于极化干涉SAR的森林结构信息提取模型与方法[D];电子科技大学;2011年

8 郭建校;改进的高维非线性PLS回归方法及应用研究[D];天津大学;2010年

9 曹玉苹;基于状态估计的石化过程故障诊断与预报方法研究[D];中国石油大学;2010年

10 孙扬;多变元网络数据可视化方法研究[D];国防科学技术大学;2010年

中国硕士学位论文全文数据库 前10条

1 游振华;种子产业链企业合作绩效影响因素实证研究[D];华中农业大学;2010年

2 薛明亮;人脸识别的加权模糊方法[D];大连理工大学;2010年

3 张昆;基于逐步判别的农户小额贷款信用评价研究[D];大连理工大学;2010年

4 刘莎;基于小样本的农户小额贷款信用评价体系研究[D];大连理工大学;2010年

5 熊超;基于潜在语义对偶空间的跨语言文本分类研究[D];江西师范大学;2010年

6 丰云秀;主成分分析方法在白车身焊装误差监控方面的应用研究[D];沈阳理工大学;2010年

7 薛婷婷;塔式起重机状态监测与故障诊断方法研究[D];沈阳理工大学;2010年

8 祖金锋;Internet用户访问模型研究[D];哈尔滨理工大学;2010年

9 王园园;偏最小二乘回归与判别分析在科技人员类型及影响因素研究中的应用[D];潍坊医学院;2009年

10 张丽;高校教师教学质量评价的实证研究[D];武汉科技大学;2010年

【相似文献】

中国期刊全文数据库 前10条

1 尚敏，，李红为;DEC网络的应用与管理[J];通信世界;1996年02期

2 ;本周热门节点[J];每周电脑报;1996年05期

3 黄周松,雷振明;网络中影响实时业务质量问题节点的定位[J];计算机工程与应用;2004年34期

4 吴起,毕经平,王恺,黄靖,李忠诚;测量协同问题研究——完全分布式的解决方案[J];计算机学报;2004年11期

5 ;本周热门节点[J];每周电脑报;1996年03期

6 梅皓洁;用FrontPage轻松建立自己的HomePage[J];微电脑世界;1997年08期

7 夏素贞,杨德仁,曹静霞;基于P-Grid的P2P信息共享系统的设计和实现[J];计算机应用;2004年S2期

8 ;每周热门节点[J];每周电脑报;1996年09期

9 王莉;开放的自动化网络──ControlNet[J];仪器仪表标准化与计量;2000年03期

10 徐葵,王清亮,王云,钱松荣;基于对等结构的元数据分发框架[J];计算机工程与应用;2004年35期

中国重要会议论文全文数据库 前10条

1 刘义铭;李恺;邱敏;;P2P网络信任模型的研究[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

2 仲峰;刘从新;何科;朱荣臻;;基于ARM的无线传感器网络节点的设计[A];'2006系统仿真技术及其应用学术交流会论文集[C];2006年

3 马晓琪;葛元秀;;基于DELNI以太网独立构型的DECnet-DOS端节点的应用实例[A];第7届全国核电子学与核探测技术学术年会论文集（二）[C];1994年

4 刘晓明;王潜平;黄海;;一种基于CC2431的改进DV-Hop算法RDV-Hop[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年

5 张建风;王汝传;徐小龙;;基于一种新的激励机制的P2P系统的UML建模[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年

6 褚建勋;;Internet信息传播与复杂性研究[A];Complexity Problems--Proceedings of CCAST (World Laboratory) Workshop[C];2001年

7 庞彦斌;李令琦;;Lon Works节点与PC串行通信的研究与设计[A];中国仪器仪表学会测控技术在资源节约和环境保护中的应用学术会议论文集[C];2001年

8 王晓箴;刘宝旭;;Freenet综述及P2P技术应用探讨[A];第13届全国计算机、网络在现代科学技术领域的应用学术会议论文集[C];2007年

9 余晟;;无线局域网中MAC层阻塞攻击分析[A];全国计算机安全学术交流会论文集（第二十四卷）[C];2009年

10 张镔;黄遵国;;DDoS防弹墙验证调度层设计与实现[A];中国电子学会第十六届信息论学术年会论文集[C];2009年

中国重要报纸全文数据库 前10条

1 雷章;从战略节点关注网络安全[N];计算机世界;2001年

2 F5公司供稿;流量管理在CDN中的实现[N];计算机世界;2001年

3 中科院计算所信息网络室 庞迪;移动自组织网络的关键技术—路由协议[N];计算机世界;2005年

4 ;高端商用集群[N];网络世界;2002年

5 中国软件评测中心;百兆带宽节点无限制[N];中国计算机报;2002年

6 冉隆科;IPv6邻近发现协议发现什么[N];中国计算机报;2000年

7 高悦;F5自动传输远程内容[N];中国计算机报;2001年

8 ;特色方案六大亮点[N];中国计算机报;2002年

9 本报记者 刘洪宇;谁能扛鼎千万亿次HPC高速互联[N];中国计算机报;2009年

10 宋家雨;胖节点和瘦节点[N];网络世界;2009年

中国博士学位论文全文数据库 前10条

1 任浩;P2P覆盖网拓扑优化技术研究[D];国防科学技术大学;2007年

2 熊继平;对等网络中路由机制及关键技术研究[D];中国科学技术大学;2006年

3 郭磊涛;对等网络中信任感知的资源交易模型[D];中国科学技术大学;2007年

4 郭韦钰;基于市场机制的知识流网络研究[D];中国科学院研究生院（计算技术研究所）;2006年

5 段迅;对等网络路由算法研究[D];贵州大学;2007年

6 黄保华;对等系统的安全与激励机制研究[D];华中科技大学;2006年

7 窦文;信任敏感的P2P拓扑构造及其相关技术研究[D];国防科学技术大学;2003年

8 曹佳;P2P组通讯的网络拓扑研究[D];中国科学院研究生院（计算技术研究所）;2006年

9 李钟华;网络协同入侵响应与自主事故快速恢复技术研究[D];西北工业大学;2006年

10 李勇;分布式Web服务发现机制研究[D];北京邮电大学;2008年

中国硕士学位论文全文数据库 前10条

1 黄海;基于激励惩罚的P2P网络信任机制研究[D];南京航空航天大学;2012年

2 李丽娟;结构化P2P系统中基于网络定位的负载均衡模型[D];湖南大学;2008年

3 韩丹;基于安全度量的网络安全路由研究[D];电子科技大学;2008年

4 张昊;面向多任务的对等网络技术研究[D];国防科学技术大学;2008年

5 周健祥;基于神经网络入侵检测系统的研究与实现[D];东北农业大学;2004年

6 吴欢欢;基于分布式测控系统的服务器集群负载均衡技术的研究[D];南京航空航天大学;2006年

7 刘淑娴;P2P网络安全信任模型研究[D];新疆大学;2006年

8 刘克非;基于P2P网络的语义Web服务发现机制研究[D];山东师范大学;2007年

9 卢天刚;P2P环境下基于分类的访问控制研究[D];兰州大学;2008年

10 杜敏政;IPv6下网络攻击的研究与实现[D];清华大学;2008年

本文编号：564886