面向边缘的基于FPGA加速的分布式流处理系统

发布时间：2020-11-08 21:21

　　 物联网技术的快速发展使得流式数据呈现爆炸式地增长,各种应用的实时性要求也越来越高,传统的云计算模型已经不能高效及时地处理当前高速产生的海量流式数据,在边缘进行流数据处理变得越来越迫切。然而,与资源丰富的云相比,边缘集群的硬件基础设施相对较差,计算能力有限,因而流数据处理的性能受到限制,不能满足日益增长的高实时性需求。现场可编程门阵列(FPGA)具有大规模并行计算能力和极低的功耗,并支持灵活的重配置,这为提升边缘集群的计算能力从而实现更高效的流数据处理提供了一种新的途径。因此,提出利用FPGA来加速部署在边缘集群中的流处理系统:通过在边缘服务器上配置FPGA板卡,并实现边缘集群中流数据处理系统与FPGA资源的集成,进而在系统中利用FPGA来加速流计算任务,从而提高流数据处理的性能。具体地,设计并实现了一种面向边缘的基于FPGA加速的分布式流处理系统(F-Storm):为了减小系统的部署和运行开销,实现了一个轻量级的管理器来集成和管理FPGA资源;针对FPGA资源受限的场景,设计了一种自适应的加速器优先的任务调度策略,在充分利用FPGA资源的基础上实现了任务从FPGA到CPU的反向卸载;同时,优化了系统中的JVM-FPGA数据传输机制,采用批量传输和流水线技术来减轻数据在JVM和FPGA之间传输的时间开销,从而降低数据处理延迟。此外,针对FPGA的使用使得流应用程序开发复杂化的问题,该系统提供了简单易用的编程接口,大大减轻了用户开发流应用程序的负担。本系统的实现是基于Storm,实验表明,相对于原有系统Storm,F-Storm将平均处理延时降低了36%-75%,获得了1.4x-3.2x的吞吐量提升,并且还大大降低了计算的关键线程的CPU利用率,提升了流数据应用的执行性能。
【学位单位】：华中科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TN791;TP311.13
【部分图文】：

华 中 科 技 大 学 硕 士 学 位 论 文础架构可以被建模为 3 层的资源层次结构，如图 1.1 所示。第一层是边如智能手机和传感器等各种物联网设备组成， 第二层是边缘计算层，近数据源（边缘设备）的小型数据中心或者包含了少量边缘服务器的三层是云计算层，它拥有丰富的集中的计算资源[2]。目前边缘计算中的以分为两类：第一类是基于边缘的流数据处理，仅仅依靠边缘环境的计设备、边缘集群等）来进行数据处理，没有云中心的参与。第二类是基流数据处理，结合边缘和云中心的基础设施来协同进行混合流数据处

章主要描述基于 FPGA 加速的面向边缘集群的分布式流处理系统 F-S首先对 Storm 系统进行一个简单的介绍，然后概述 F-Storm 的设计思路，接着描述系统的运行时架构和关键组件，最后简单介绍该系统的工作程。TORM 概述torm 系统是一个典型的分布式流处理系统，用于实时处理无界和连续 的架构采用 master-worker（主节点-工作节点）架构模式，如图 2.1 所示 集群包含一个主节点和一个或多个工作节点，Zookeeper 集群是它们之这里为了简便省略了）。主节点运行名为 nimbus 的 JVM 守护进程，负交的作业并进行处理，任务调度和集群监控。每个工作节点运行一isor 的 JVM 守护进程，该进程负责接收 nimbus 分配的任务，并启动工它们。每个 supervisor 可以启动多个工作进程，每个工作进程实际上拟机（JVM），它执行分配给该节点的所有任务的一个子集。

图 2.2 Storm 应用程序拓扑F-Storm 之所以选择在 Storm 上实现，一方面是 Storm 作为一个典型的原生流处理系统，在学术界以及工业界都得到了广泛的应用，很多研究工作都是基于它来做的。另一方面，Storm 在低延迟处理方面表现非常优异，这非常适合边缘计算环境下多样的实时物联网应用。2.2 系统设计思想和设计目标针对资源受限的边缘环境，在 Storm 的基础之上，引入并集成了 FPGA，设计了F-Storm，这是一个基于 FPGA 加速的、面向边缘的通用的分布式流处理系统，旨在将 FPGA 用于加速边缘环境下的流处理，为边缘场景下的流应用程序提供更高的性能，同时方便用户的应用程序开发。针对研究中的某些挑战或者关键问题，并结合系统的设计思路，总结了 F-Storm的设计目标如下：1. 实现轻量级的基于 PCIe 连接的 FPGA 的集成。
【相似文献】

相关期刊论文 前10条

1 邹永贵;龚海平;夏英;宋强;;一种面向流数据频繁项挖掘的降载策略[J];计算机应用研究;2011年04期

2 李子杰;郑诚;;流数据和传统数据存储及管理方法比较研究[J];计算机技术与发展;2009年04期

3 潘静;于宏伟;;流数据管理降载技术研究综述[J];中国管理信息化;2009年21期

4 刘宇雷;秦小麟;储网林;黄瑛;;流数据复杂聚类查询处理算法[J];南京航空航天大学学报;2009年06期

5 冯卫兵;李战怀;;流数据的连续查询优化技术[J];计算机应用研究;2008年01期

6 刘学平;;利用点击流数据提供个性化信息服务的模式研究[J];安徽农业科学;2008年02期

7 刘佳;张芳;刘国华;刘琳;;基于流数据技术的信息监测系统的研究与设计[J];计算机工程;2007年05期

8 李卫民;于守健;骆轶姝;乐嘉锦;;流数据管理的降载技术:研究进展[J];计算机科学;2007年06期

9 饶洋辉;张大斌;;基于点击流数据的电子商务企业客户识别研究[J];管理科学;2006年04期

10 聂国梁;卢正鼎;;流数据密度估计[J];计算机科学;2006年12期

相关博士学位论文 前10条

1 刘圆圆;面向大规模流数据处理的近似计算及质量保证策略研究[D];吉林大学;2019年

2 庄园;分布式流数据处理系统容错问题研究[D];吉林大学;2019年

3 朱睿;数据流环境下Top-k查询处理技术[D];东北大学;2016年

4 刘建伟;流数据查询系统结构及模式查询算法的研究[D];东华大学;2005年

5 聂国梁;流数据统计算法研究[D];华中科技大学;2006年

6 李卫民;流数据查询算法若干关键技术研究[D];东华大学;2008年

7 丁智国;流数据在线异常检测方法研究[D];上海大学;2015年

8 于程程;面向评测基准的社交流数据生成[D];华东师范大学;2016年

9 杨定裕;实时流数据分析的关键技术及应用[D];上海交通大学;2015年

10 屠莉;流数据的频繁项挖掘及聚类的关键技术研究[D];南京航空航天大学;2009年

相关硕士学位论文 前10条

1 胡蝶;面向边缘的基于FPGA加速的分布式流处理系统[D];华中科技大学;2019年

2 张雪岩;基于流数据的离散域路径规划研究[D];电子科技大学;2019年

3 裴乐;面向流数据的多任务多核在线学习算法研究[D];重庆邮电大学;2018年

4 邱钰珂;两类流数据的在线检验[D];四川师范大学;2019年

5 刘志敏;流数据的复杂变化的监控模型及应用[D];中国民航大学;2019年

6 田蓝;流数据实时在线演化聚类算法研究[D];武汉理工大学;2018年

7 孔雪;基于流数据视角的股票聚类[D];山东财经大学;2018年

8 董帅;基于Storm的流数据分类算法的研究与实现[D];齐鲁工业大学;2019年

9 藕雪婷;基于溯源数据与流数据的IP属性分析[D];哈尔滨工业大学;2018年

10 糜俊;基于流数据的负载降维模型[D];南京邮电大学;2018年

本文编号：2875364