基于Spark的易制毒化学品数据分析系统的设计与实现

发布时间：2020-06-09 13:15

【摘要】：现有的《易制毒化学品信息监管系统》每天产生大量交易申报记录,传统的集中式数据分析方式无法适应于实时分析需求,存在分析结论有限、时间延迟高等问题。全面应用大数据的相关技术和资源,是提升监管部门监管能力的有效手段,有助于监管部门全面搜集与应用易制毒化学品交易数据,为精确的掌握市场的动态需求提供了可能。本文针对易制毒化学品海量数据实时处理问题和行业内对于易制毒化学品价格预测的实际需求,设计并实现了一套基于Spark的数据分析系统,该系统即可以根据实时交易数据对易制毒化学品的交易情况进行实时分析;也能够对易制毒化学品的价格进行短期预测。采用大数据生态圈内的较为流行的技术方案如Kafka,Flume等,降低了系统开发和维护的复杂性,为进一步的业务拓展奠定了基础。本文主要工作如下:(1)设计并实现了基于Spark的《易制毒化学品数据分析系统》,主要包括ETL模块、数据分析模块和可视化模块。能够对来自多省市的易制毒化学品交易数据进行实时采集,对采集来的数据进行清洗、统计、存储等工作,方便用户查询易制毒化学品实时交易情况。(2)针对易制毒化学品业务中可能存在的实时数据流峰值情况,结合反压机制,对数据流批次间隔的调整提出了优化策略,解决了短时负载高峰导致系统延迟过高的问题。(3)针对企业和监管部门希望能够对易制毒化学品的价格进行短期预测的实际需求,本文应用Spark ML机器学习库,对常用的三种回归分析算法进行了实验,并对结果进行了对比,以均方误差为评价指标,选取了保序回归算法为本系统价格预测的算法。
【图文】：

生态圈

高效的计算工具，包含用作 SQL 与结构化数据操作的 Spark SQL、用于机器学习的ib、用于图形处理的 GraphX 和 Spark Streaming。Spark 通常用来构建大型的低延据分析系统，处理场景主要包括复杂的批量处理和实时数据流的数据处理。Spark 创建目的是为了更好地支持分布式数据集上的迭代计算，也是对 Hadoop 的补Spark 可以在 Hadoop 分布式文件系统中并行运行，Spark 与 Hadoop MapReduce 类但相较于 MapReduce，Spark 是基于内存的并行大数据框架，这样它的处理输出结以直接保存在内存之中，因此 Spark 更适合需要使用数据迭代的场景，例如数据挖机器学习等，另外 MapReduce 总是消耗大量的时间排序，而 Spark 能够避免不必要序，减少系统的开销。Hadoop 提供了 map 和 reduce 两种处理数据的接口，，而 Spa函数式编程范式支持更多对数据处理的接口。Spark 作为大数据应用领域的热门技术之一，具有实时数据分析、机器学习等复杂方式，是如今大数据实时处理和分析技术中不可或缺的一部分。图 2.1 为 Spark 生主要技术。

独立进程,集运,主程序,应用程序

Mesos 作为资源调度的模式，通过调动 Job（SparkContext 提交的具体 Action操作）实现 Spark 功能程序的运算，这类功能程序可选自各类组件， Spark Submit 批处理模式、Spark Streaming 实时处理功能、Spark SQL 的架构化数据互操作、BlinkDB 的权衡查询、机器学习 MLlib、图计算 GraphX 和 SparkR 的数学计算等。Spark 具有高可伸缩性、高容错性和基于内存计算等特性。2.1.2 集群模型Spark 在分布式环境中采用主从结构，集群中由驱动器节点负责协调各个节点，称为Driver，Driver程序负责启动多个Worker节点，Worker节点也称为执行器节点，Worker节点从文件系统加载数据并产生 RDD（RDD 是用来存储数据的数据结构，Spark 的操作基于 RDD），同时按照不同的分区 Cache 到内存中，图 2.2 表示 Spark 运行步骤。
【学位授予单位】：河北师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TQ072;TP311.13

【相似文献】