基于多核处理器的边缘数据采集分析节点架构

发布时间：2021-04-07 15:32

　　随着大数据及网络处理技术的日臻完善,云计算已经成为互联网时代软硬件部署的首选架构。同时,针对有低延迟要求的流式数据处理场景以及受限的网络带宽资源现状,边缘计算模型已成为云计算模型的有益补充。本文提出一种基于多核网络处理器的边缘数据采集分析节点架构,通过在多核系统上部署异构操作系统,实现高效的数据采集与灵活的数据分析算法的部署。分别设计了数据采集单元、数据分析单元,并通过多核并行设计、基于亲和性的数据包调度、流式封装结构及聚合日志发送等优化策略,提升了系统的处理性能。实验结果表明,所提边缘数据采集分析节点架构能够满足高速网络数据实时采集与分析的性能需求。 

【文章来源】：网络新媒体技术. 2020,9(02)

【文章页数】：6 页

【部分图文】：

云计算模式下的数据采集分析分离架构

图1 云计算模式下的数据采集分析分离架构采集单元Sensor需要完成高速的数据包处理功能,因此架构在实时操作系统上,相对于Linux操作系统,实时操作系统能够充分发挥多核网络处理器的协处理器优势,同时减少内核态与用户态切换导致的上下文切换开销和内存拷贝开销。相对于采集单元,分析单元Digger则需要对网络流量日志进行智能化、自动化的内容分析。Linux操作系统上可以更迅速地部署和优化流式数据挖掘算法,如异常检测、聚类分析、关联分析等,而不需要耗费过多时间移植适用于实时系统的相关算法。

由于实时操作系统与Linux操作系统分别运行在多核网络处理器的不同核心上,本文采用核心间的消息传递机制在采集单元与分析单元之间传输日志数据。1.3 分析单元内部结构


本文编号：3123747