基于分配适应度的Spark渐进填充分区映射算法
发布时间：2019-04-21 22:31
【摘要】：分析Spark的作业执行机制,建立了执行效率模型和Shuffle过程模型,给出了分配适应度(AFD,allocation fitness degree)的定义,提出了算法的优化目标。根据模型的相关定义求解,设计了渐进填充分区映射算法(PFPM,progressive filling partitioning and mapping algorithm),通过扩展式分区和渐进填充映射,建立适应Reducer计算能力的数据分配方案,有效缩减Shuffle过程的同步延时,提高集群计算效率。实验表明该算法提高了Shuffle过程数据分配的合理性,优化了并行计算框架Spark的作业执行效率。
[Abstract]:This paper analyzes the job execution mechanism of Spark, establishes the execution efficiency model and Shuffle process model, gives the definition of allocation fitness (AFD,allocation fitness degree), and puts forward the optimization objective of the algorithm. According to the relevant definition of the model, the progressive filling partition mapping algorithm (PFPM,progressive filling partitioning and mapping algorithm),) is designed to establish the data allocation scheme adapted to the computing power of Reducer through the extended partition and the progressive filling mapping. The synchronization delay of Shuffle process is reduced effectively, and the efficiency of cluster computing is improved. Experiments show that the algorithm improves the rationality of data allocation in Shuffle process and optimizes the job execution efficiency of parallel computing framework Spark.
【作者单位】： 新疆大学软件学院;新疆财经大学统计与信息学院;
【基金】：国家自然科学基金资助项目(No.61262088,No.61462079,No.61562078,No.61363083,No.61562086) 新疆维吾尔自治区自然科学基金资助项目(No.2017D01A20) 新疆维吾尔自治区高校科研计划基金资助项目(No.XJED2016S106) 新疆财经大学科研博士启动基金资助项目(No.2015BS007)~~
【分类号】：TP311.13
[Abstract]:This paper analyzes the job execution mechanism of Spark, establishes the execution efficiency model and Shuffle process model, gives the definition of allocation fitness (AFD,allocation fitness degree), and puts forward the optimization objective of the algorithm. According to the relevant definition of the model, the progressive filling partition mapping algorithm (PFPM,progressive filling partitioning and mapping algorithm),) is designed to establish the data allocation scheme adapted to the computing power of Reducer through the extended partition and the progressive filling mapping. The synchronization delay of Shuffle process is reduced effectively, and the efficiency of cluster computing is improved. Experiments show that the algorithm improves the rationality of data allocation in Shuffle process and optimizes the job execution efficiency of parallel computing framework Spark.
【作者单位】： 新疆大学软件学院;新疆财经大学统计与信息学院;
【基金】：国家自然科学基金资助项目(No.61262088,No.61462079,No.61562078,No.61363083,No.61562086) 新疆维吾尔自治区自然科学基金资助项目(No.2017D01A20) 新疆维吾尔自治区高校科研计划基金资助项目(No.XJED2016S106) 新疆财经大学科研博士启动基金资助项目(No.2015BS007)~~
【分类号】：TP311.13
【相似文献】
相关期刊论文 前10条
1 王意洁，胡守仁;一种优化神经网络映射算法──吸收算法[J];国防科技大学学报;1996年03期
2 徐红波;;空间填充曲线映射算法研究[J];科技信息(科学教研);2007年35期
3 孙培展;袁国良;;改进的隐式空间映射算法的研究[J];电子设计工程;2012年09期
4 黎洪松;;一种改进的自组织特征映射算法[J];中国民航学院学报;2006年01期
5 徐德智;黄利辉;陈建二;;一种新的基于树分割的本体映射算法[J];小型微型计算机系统;2009年11期
6 吴国福;窦强;窦文华;;基于查表的空间填充曲线映射算法[J];国防科技大学学报;2010年05期
7 陈];;心动阵列的自动映射算法[J];计算机研究与发展;1992年05期
8 柳玉起;李明林;冯少宏;易国锋;;基于有限元映射算法的试验网格显示及其应用[J];华中科技大学学报(自然科学版);2007年03期
9 王琳珠;单_，
本文编号：2462617
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2462617.html
