面向Storm的数据流编程模型与编译优化方法研究

发布时间：2018-03-16 11:24

  本文选题：多核集群　切入点：数据流编程　出处：《计算机工程与科学》2016年12期 　论文类型：期刊论文

【摘要】：数据流编程模型将程序的计算与通信分离,暴露了应用程序潜在的并行性并简化了编程难度。分布式计算框架利用廉价PC构建多核集群解决了大规模并行计算问题,但多核集群层次性存储结构和处理单元对数据流程序的性能提出了新的挑战。针对数据流程序在分布式架构下所面临的问题,设计并实现了数据流编程模型和分布式计算框架的结合——在COStream的基础上提出了面向Storm的编译优化框架。框架包括两个模块:面向Storm的层次性任务划分与调度,以及面向Storm的层次性软件流水与代码生成。层次性任务划分利用Storm的任务调度机制将程序所有子任务分配到Storm集群节点内的多核上。层次性软件流水与代码生成将子任务构造成集群节点间的软件流水和节点内多核间的软件流水,并生成相应的目标代码。实验以多核集群为目标平台,在集群上搭建Storm分布式架构,选取数字媒体处理领域典型程序作为测试程序,对面向Storm的编译优化后的程序进行实验分析。实验结果表明了结合方法的有效性。
[Abstract]:Data stream programming model separates program computing from communication, exposes the potential parallelism of application programs and simplifies programming difficulties. The distributed computing framework uses cheap PC to build multi-core clusters to solve the problem of large-scale parallel computing. However, the hierarchical storage structure and processing unit of multi-core cluster pose a new challenge to the performance of data flow programs. This paper designs and implements the combination of data flow programming model and distributed computing framework. Based on COStream, a compiler optimization framework for Storm is proposed. The framework consists of two modules: hierarchical task partitioning and scheduling for Storm. Storm oriented hierarchical software income and code generation. Hierarchical task partitioning using the Storm task scheduling mechanism to assign all subtasks of the program to the multi-core in the Storm cluster node. Hierarchical software income and code generation. The subtasks are constructed into software income between cluster nodes and income software between multi-core nodes. The experiment takes multi-core cluster as the target platform, builds the Storm distributed architecture on the cluster, and selects the typical program in the field of digital media processing as the test program. The experimental results show the effectiveness of the proposed method.
【作者单位】： 华中科技大学网络与计算中心;
【基金】：国家重点研发计划(2016YFB1000204) 国家自然科学基金(61572211)
【分类号】：TP311.1

【相似文献】

相关期刊论文 前10条

1 徐超;何炎祥;吴伟;陈勇;刘健博;;基于模拟关系的编译优化实现正确性验证方法[J];电子学报;2012年11期

2 王正华;陆平静;车永刚;;迭代编译优化技术综述[J];计算机工程与应用;2008年32期

3 龙舜;;往复式编译优化技术的新进展[J];小型微型计算机系统;2008年03期

4 蒋湘涛;胡志刚;贺建飚;;基于调用链分析的低功耗编译优化[J];吉林大学学报(工学版);2009年01期

5 吴圣宁;李思昆;;若干编译优化技术的工程实现[J];计算机工程与应用;2007年03期

6 田祖伟;孙光;;基于谓词代码的编译优化技术研究[J];计算机科学;2010年05期

7 易会战,杨学军;有效的低功耗编译优化方法:部件使用局部化[J];软件学报;2004年10期

8 何炎祥;陈勇;吴伟;李清安;江南;徐超;;绿色编译优化策略:研究综述[J];计算机科学与探索;2013年08期

9 田新民,王鼎兴,沈美明,郑纬民,温冬婵;优化并行图重写计算粒度的编译时部分调度策略[J];计算机学报;1992年11期

10 陆平静;李宝;车永刚;庞征斌;;一种基于代码隔离的大程序迭代编译优化方法[J];上海交通大学学报;2013年01期

相关重要报纸文章 前1条

1 计算机世界实验室 韩勖;龙芯2F处理器GCC4.4优化探秘(下)[N];计算机世界;2008年

相关博士学位论文 前3条

1 阳柳;面向动态双模多层次并行体系结构的编译优化技术研究[D];国防科学技术大学;2014年

2 邓濵;前瞻多线程编译优化技术的研究与实现[D];国防科学技术大学;2001年

3 陆平静;低开销的迭代编译优化关键技术研究[D];国防科学技术大学;2010年

相关硕士学位论文 前10条

1 范志东;低功耗编译优化算法及软件功耗分析技术的研究[D];中国石油大学(华东);2014年

2 廉玉龙;面向嵌入式处理器的编译优化技术研究[D];浙江大学;2016年

3 邹燕燕;数据中心计算环境下基于语义模式的编译优化[D];中国科学技术大学;2014年

4 孔凡金;基于值剖视的编译优化研究[D];国防科学技术大学;2010年

5 朱丹枫;一种用于测试编译优化的程序控制结构生成算法[D];中国科学院研究生院（软件研究所）;2005年

6 裴根;基于LLVM的异构编译优化方法研究[D];重庆交通大学;2013年

7 秦明康;面向片式结构多核处理器的流编译优化方法研究[D];华中科技大学;2012年

8 刘小宪;面向X10的数据流程序编译优化方法研究[D];华中科技大学;2013年

9 崔慧敏;基于THUMP的编译优化技术研究[D];清华大学;2003年

10 赵捷;面向分布存储的并行编译优化技术研究[D];解放军信息工程大学;2012年

，

本文编号：1619706