基于SparkStreaming的网络资源管理系统设计与实现

发布时间：2021-07-26 22:26

　　随着科学技术的进步和宽带业务的发展,光纤宽带和机顶盒终端已经到了千家万户,网络设备终端在提供快速网络服务的同时也存在很多问题,比如瞬间网络掉线、点播视频卡顿、不能上网等,由于现实环境中网络链路极其复杂,并且不断变化,对链路上设备的运行状态的监控变得十分困难,依靠现有的告警监控方式,已经不能准确定位问题,为了清晰的监控光网端到端设备网络链路情况,准确的定位故障问题,缩短装维人员的排障时间,提升用户的满意度。本论文从技术运用的角度,以合理规划海量数据的实时计算平台,提出一套完整的基于SparkStreaming的网络资源管理系统的解决方案。本文首先介绍了宽带发展的背景及课题研究的意义,然后参考国内外对构建实时大数据处理平台的经验,提出了基于SparkStreaming的网络资源管理系统的设计方案,并通过对业务需求进行分析,设计并实现了网络资源管理系统中的计算层功能中的消息处理模块、宽带业务计算模块、网络资源拓扑模块。为了快速展示当前网络链路的情况,本文依靠Redis内存数据库对设备终端的上下级关系进行设计。最后,从功能测试、性能测试对本系统设计的模块进行全面测试,确保系统上线后能够稳定和高... 

【文章来源】：南京邮电大学江苏省

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

Kafka基本架构图

电大学专业学位硕士研究生学位论文 第二章 相关背景知识介SparkStreaming 实时计算技术时计算一般都是针对海量数据进行的，一般要求为秒级，SparkStreaming 是基于 Sp基础之上用于处理实时计算业务的框架。其实现就是把输入的流数据进行按时间切分数据块用离线批处理的方式进行并行计算处理，原理如下图。

Core 基础之上用于处理实时计算业务的框架。其实现就是把输入的流数据进行按时间切分，切分的数据块用离线批处理的方式进行并行计算处理，原理如下图。图 2.2 SparkStreaming 数据处理数据流图如图 2.2 所示，输入的数据流经过 SparkStreaming 的接收器，以时间为单位将数据流切分成离散的数据单元，并将每批数据作为 RDD 的数据集合，使用操作算子进行处理，最终结果以 RDD 为单位返回。DStream 是 SparkStreaming 中流数据 RDD 的逻辑抽象，DStream 由SparkEngine 处理引擎处理，按批次生成最后的结果流。简言之，Spark Streaming 就是把数据按时间切分，并对时间片内的数据集进行多线程分布式计算。DStream 作为流处理逻辑对象，通过 DStream 创建 RDD 的原理如下。如图 2.3 所示。


本文编号：3304482