基于Spark的有效载荷参数解析处理方法
发布时间：2021-10-28 13:30
为解决单机多线程有效载荷实时参数解析处理方法存在的吞吐率低、扩展能力弱问题,提出一种基于Spark集群的有效载荷实时参数解析处理方法。采用Kafka和Spark相结合的处理方式,利用Kafka将有效载荷实时数据转换为消息队列流,Spark通过Kafka获取消息队列流的数据,利用内存对数据进行迭代运算,提高数据运算速度,实现实时的、高吞吐率的有效载荷参数解析。仿真结果表明,使用该方法在实时吞吐率上较单机多线程处理方法有较高提升,能有效满足实时参数解析的要求。
【文章来源】：计算机工程与设计. 2020,41(02)北大核心
【文章页数】：5 页
【部分图文】：
数据处理流程
为提高有效载荷数据的实时参数解析吞吐率，采用基于Spark Streaming与Kafka相结合的方法，处理流程如图2所示，利用Kafka集群作为消息中间件实现数据分流，为数据接入提供保障，流式计算部分采用Spark Streaming集群作为计算平台，通过Spark Streaming获取Kafka消息队列的数据[13]，并对参数进行解析，然后将解析结果发送给Kafka作为数据缓冲区进行合并，最终将计算结果发送给实现参数录入的软件。为避免数据源产生堆积，提高数据处理的速率，采用Kafka集群实现数据分流。Kafka是一种基于发布/订阅的分布式消息系统，可以在多个分布式生产者、消费者并发的情况下，保证消息的有序性和负载均衡，可同时支持离线数据和实时数据的处理，其吞吐量可随集群的扩展而线性增加，且消息持久化的时间复杂度为O(1)[14]，具有高吞吐率、高可靠性和易扩展的优点。
Kafka集群部署模式如图3所示，在Kafka集群部署架构中，可以存在多个Producer（生产者），生产者负责收集消息并将消息发布到Broker（代理）相应的Topic（主题）中，Broker接收消息，并将消息在本地持久化，数据按照Topic名存储在不同分类中，一个Topic可以分成多个Partition（分区），每个Partition内部消息强有序，将数据处理为多个分区的消息队列流，用以作为中间数据源，在队列底端存在多个Consumer（消费者）[15]。消费者是消息的真正使用者，从Topic中读取队列消息进行处理[16]。其中Broker1、Broker2分别部署在不同服务器上，Spark Streaming的实时计算程序充当消费者订阅Topic1，当Topic1中有数据，会将数据不停的从集群的指定消息队列中发送给消费者做参数解析处理。Spark Streaming是在Spark架构上基于离散化数据流（discretized stream,DStream）模型扩展的分布式流式计算框架，其中，DStream表示持续不断的数据流，其可以是不同类型数据源的数据，包括文件流、套接字流、基于Kafka的输入数据流等[17]。Spark Streaming可以在多达100个节点上运行，实时处理吞吐率能达到秒级的延迟需求[18]，可以有效实现高吞吐的参数解析处理，并且Spark Streaming支持节点的错误恢复，是具备容错机制的实时流数据的处理框架[19]。
【参考文献】：
期刊论文
[1]基于Spark Streaming的实时交通数据处理平台[J]. 谭亮,周静. 计算机系统应用. 2018(10)
[2]基于Spark Streaming的海量日志实时处理系统的设计[J]. 陆世鹏. 电子产品可靠性与环境试验. 2017(05)
[3]基于CCSDS标准的卫星数据实时处理FPGA设计[J]. 刘秀秀,董振兴,朱岩. 微电子学与计算机. 2017(08)
[4]众核与Spark结合的高速流量监测系统[J]. 周小宇,雒江涛,罗林,唐刚. 计算机系统应用. 2017(06)
[5]分布式流数据加载和查询技术优化[J]. 易佳,薛晨,王树鹏. 计算机科学. 2017(05)
[6]基于Spark Streaming的实时数据分析系统及其应用[J]. 韩德志,陈旭光,雷雨馨,戴永涛,张肖. 计算机应用. 2017(05)
[7]面向有效载荷高速数据流的数据处理方法[J]. 王静,王春梅,智佳,杨甲森,陈托. 计算机工程与设计. 2017(04)
[8]基于XTCE的卫星遥测数据处理方法[J]. 刘洋,李宗德,丁雪静,戴媛媛,何晓苑. 遥测遥控. 2017(02)
[9]基于Spark和浮动出租车全球定位系统数据的实时交通路况预测方法[J]. 程敏,张珣,白童心,须成忠. 集成技术. 2016(06)
[10]基于CCSDS标准的卫星数据处理软件设计[J]. 马苗,朱岩. 电子设计工程. 2015(01)
硕士论文
[1]基于Spark的数据实时分析处理系统的设计与实现[D]. 陈鹏.电子科技大学 2018
[2]大数据技术在卫星运控中应用探索[D]. 李虎.中国科学院研究生院(空间科学与应用研究中心) 2015
本文编号：3462878
【文章来源】：计算机工程与设计. 2020,41(02)北大核心
【文章页数】：5 页
【部分图文】：
数据处理流程
为提高有效载荷数据的实时参数解析吞吐率，采用基于Spark Streaming与Kafka相结合的方法，处理流程如图2所示，利用Kafka集群作为消息中间件实现数据分流，为数据接入提供保障，流式计算部分采用Spark Streaming集群作为计算平台，通过Spark Streaming获取Kafka消息队列的数据[13]，并对参数进行解析，然后将解析结果发送给Kafka作为数据缓冲区进行合并，最终将计算结果发送给实现参数录入的软件。为避免数据源产生堆积，提高数据处理的速率，采用Kafka集群实现数据分流。Kafka是一种基于发布/订阅的分布式消息系统，可以在多个分布式生产者、消费者并发的情况下，保证消息的有序性和负载均衡，可同时支持离线数据和实时数据的处理，其吞吐量可随集群的扩展而线性增加，且消息持久化的时间复杂度为O(1)[14]，具有高吞吐率、高可靠性和易扩展的优点。
Kafka集群部署模式如图3所示，在Kafka集群部署架构中，可以存在多个Producer（生产者），生产者负责收集消息并将消息发布到Broker（代理）相应的Topic（主题）中，Broker接收消息，并将消息在本地持久化，数据按照Topic名存储在不同分类中，一个Topic可以分成多个Partition（分区），每个Partition内部消息强有序，将数据处理为多个分区的消息队列流，用以作为中间数据源，在队列底端存在多个Consumer（消费者）[15]。消费者是消息的真正使用者，从Topic中读取队列消息进行处理[16]。其中Broker1、Broker2分别部署在不同服务器上，Spark Streaming的实时计算程序充当消费者订阅Topic1，当Topic1中有数据，会将数据不停的从集群的指定消息队列中发送给消费者做参数解析处理。Spark Streaming是在Spark架构上基于离散化数据流（discretized stream,DStream）模型扩展的分布式流式计算框架，其中，DStream表示持续不断的数据流，其可以是不同类型数据源的数据，包括文件流、套接字流、基于Kafka的输入数据流等[17]。Spark Streaming可以在多达100个节点上运行，实时处理吞吐率能达到秒级的延迟需求[18]，可以有效实现高吞吐的参数解析处理，并且Spark Streaming支持节点的错误恢复，是具备容错机制的实时流数据的处理框架[19]。
【参考文献】：
期刊论文
[1]基于Spark Streaming的实时交通数据处理平台[J]. 谭亮,周静. 计算机系统应用. 2018(10)
[2]基于Spark Streaming的海量日志实时处理系统的设计[J]. 陆世鹏. 电子产品可靠性与环境试验. 2017(05)
[3]基于CCSDS标准的卫星数据实时处理FPGA设计[J]. 刘秀秀,董振兴,朱岩. 微电子学与计算机. 2017(08)
[4]众核与Spark结合的高速流量监测系统[J]. 周小宇,雒江涛,罗林,唐刚. 计算机系统应用. 2017(06)
[5]分布式流数据加载和查询技术优化[J]. 易佳,薛晨,王树鹏. 计算机科学. 2017(05)
[6]基于Spark Streaming的实时数据分析系统及其应用[J]. 韩德志,陈旭光,雷雨馨,戴永涛,张肖. 计算机应用. 2017(05)
[7]面向有效载荷高速数据流的数据处理方法[J]. 王静,王春梅,智佳,杨甲森,陈托. 计算机工程与设计. 2017(04)
[8]基于XTCE的卫星遥测数据处理方法[J]. 刘洋,李宗德,丁雪静,戴媛媛,何晓苑. 遥测遥控. 2017(02)
[9]基于Spark和浮动出租车全球定位系统数据的实时交通路况预测方法[J]. 程敏,张珣,白童心,须成忠. 集成技术. 2016(06)
[10]基于CCSDS标准的卫星数据处理软件设计[J]. 马苗,朱岩. 电子设计工程. 2015(01)
硕士论文
[1]基于Spark的数据实时分析处理系统的设计与实现[D]. 陈鹏.电子科技大学 2018
[2]大数据技术在卫星运控中应用探索[D]. 李虎.中国科学院研究生院(空间科学与应用研究中心) 2015
本文编号：3462878
本文链接：https://www.wllwen.com/kejilunwen/hangkongsky/3462878.html
