基于运行数据分析的Spark任务参数优化

发布时间：2020-03-03 11:19

【摘要】：运行数据是大数据系统中增长最快、最为复杂也是最有价值的数据资源之一。基于运行数据,软件开发者可以分析关于软件质量和开发模型的重要信息。Spark作为一个分布式系统,在运行过程中会产生大量的运行数据,包括日志数据、监控数据以及任务图数据。开发者可以基于运行数据对系统进行参数调优。然而该系统所涉及的参数种类繁多、影响多样且难以评估,若对系统了解不足,进行参数调优存在较大的困难。提出运行数据历史库的概念,历史库中存储的是以往运行任务的特征信息以及运行配置信息。同时提出了基于历史库搜索的参数优化模型,并实验验证了本文提出的参数优化模型对用户任务性能提升具有较好的效果。

【相似文献】

相关期刊论文 前10条

1 张文霖;;数据分析初体验[J];数据;2013年05期

2 古福;;让大数据分析更快速、更简化[J];互联网周刊;2013年11期

3 于宗民;;数据分析应用的最大障碍[J];中国金融电脑;2007年08期

4 魏巍巍;;论数据分析在企业经营管理中的重要性[J];产业与科技论坛;2012年12期

5 张文霖;;数据分析六步曲[J];数据;2013年06期

6 戴未琰;;大数据分析概要[J];物联网技术;2013年08期

7 王海蕴;;大数据分析 市场成倍增长 深耕空间巨大[J];财经界;2013年10期

8 ;大数据分析系列3:大数据分析如何权衡存储[J];电脑与电信;2013年10期

9 马_";;对大数据分析相关问题的思考[J];信息通信技术;2013年06期

10 ;数据分析3.0[J];董事会;2014年01期

相关会议论文 前10条

1 申敏;;数据分析的原则和一般方法[A];2010年云南电力技术论坛论文集（文摘部分）[C];2010年

2 刘刚;;小学生数据分析观念的培养[A];中华教育理论与实践科研论文成果选编(第五卷)[C];2013年

3 石勇;;在银行和金融数据分析中的评分方法[A];Data Analysis, Econo-physics and Risk Management--Proceedings of CCAST (World Laboratory) Workshop[C];2001年

4 吴一平;;基于数据分析的离校工作改进[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年

5 吕大青;;送变电施工企业中数据分析的运用[A];第二届浙江中西部科技论坛论文集（第一卷）[C];2005年

6 李小花;李姝;;大数据分析在指挥信息系统中的应用[A];2014第二届中国指挥控制大会论文集（下）[C];2014年

7 范丽伟;唐焕文;唐一源;;空间独立成分分析在fMRⅠ数据分析中的应用[A];第九次全国生物物理大会学术会议论文摘要集[C];2002年

8 张军;李婕;;中国国民休闲状态变化研究——基于网上数据分析[A];第十五届全国区域旅游学术开发研讨会暨度假旅游论坛论文册[C];2010年

9 徐小龙;王汝传;姜波;;一种新的基于P2P的电信海量数据分析业务模式[A];普适计算及其软件新技术——第三届长三角计算机科技论坛文集[C];2006年

10 邵东华;;高速公路的平面控制复测与数据分析[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年

相关重要报纸文章 前10条

1 匿铭;数据分析的“磨刀阶段”[N];中华读书报;2013年

2 胡英;澳发布政府可信数据分析指导草案[N];人民邮电;2014年

3 郑爱民;陕西加强消费维权数据分析利用[N];中国工商报;2014年

4 本报驻美国记者 吴成良;“数据分析”成了“金饭碗”[N];人民日报;2014年

5 本报记者 杨群;大数据分析亮出专家的“自贸研判”[N];解放日报;2014年

6 周桂生　汤建国;数据分析行业登陆湖南,带来巨大商机[N];中国企业报;2008年

7 朱文明 甫瀚公司咨询专家;数据分析提升决策智慧[N];中国审计报;2009年

8 ;国采中心空调协议供货数据分析[N];政府采购信息报;2010年

9 武虹 审计署驻沈阳特派办;以数据分析为统领开展数字化审计工作[N];中国审计报;2012年

10 杰弗尼;行走在大数据分析误区旁的零售商[N];中国商报;2013年

相关博士学位论文 前6条

1 刘岳;区域地球化学数据分析及成矿信息融合模型研究[D];中国地质大学;2015年

2 董媛香;基于软集合的不完备不一致数据分析及决策方法研究[D];重庆大学;2014年

3 张睿;数据分析在污染控制领域的节能优化应用[D];中国科学技术大学;2014年

4 陈宜治;函数型数据分析若干方法及应用[D];浙江工商大学;2011年

5 郭广报;基于并行统计计算的金融数据分析[D];山东大学;2012年

6 孙建强;生物磁共振数据分析中的几个问题[D];中国科学院研究生院（武汉物理与数学研究所）;2014年

相关硕士学位论文 前10条

1 周儒军;基于Hadoop的分布式监控平台的研究与实现[D];华南理工大学;2015年

2 施建辉;中职生职业道德认识现状调查研究[D];上海师范大学;2015年

3 丁国辉;核磁共振数据分析中的两个问题[D];中国科学院研究生院(武汉物理与数学研究所);2015年

4 张清;面向精准广告投放的数据分析与可视化系统设计与实现[D];山东大学;2015年

5 周徐;基于分层采样的DeepWeb数据分析方法研究[D];苏州大学;2015年

6 王佳琦;纠正性反馈对高中生英语冠词习得的影响[D];内蒙古师范大学;2015年

7 顾星竹;基于Hadoop的PCF系统的设计与实现[D];南京大学;2014年

8 张海洋;大数据的统计分析技术比较研究[D];南京大学;2014年

9 王乾;论大数据分析的方法论意义[D];武汉科技大学;2015年

10 刘丽霞;配方产品数据分析研究[D];中国海洋大学;2008年

，

本文编号：2584463