基于Spark的烟草大数据分析系统的设计与实现

发布时间：2023-01-06 09:36

　　我国经济实力的增强带动了烟草行业的兴起，随着人们的需求不断增加，烟草行业的竞争愈演愈烈，不再是只关注烟草的生产，其质量与品牌效应也逐渐成为行业的核心发展，这就要求每个烟草品牌要设计出企业独特的名号与质量，掌握市场的流行状态，准确地找到人们对烟草喜好的品味。目前，大数据被广泛应用在烟草行业，在数据仓库的基础上进行数据采集、信息分类、决策支持等来实现行业的发展，并且受到越来越多的关注。为提高烟草企业数据管理效果，设计一个基于Spark的烟草大数据分析系统。首先对烟草行业进行实地考察，收集商业数据作为样本来作为系统设计的基础，创建烟草的大数据结构框架，以此完成数据分析系统的设计。同时，对设计完的系统进行了应用分析，结果表明所研究的系统明显提高了系统分析效率，应用效果较好。 

【文章页数】：3 页

【文章目录】：
0 引言
1 烟草商业大数据需求分析
2 系统架构
    2.1 基础资源层
    2.2 数据管理层
        (1)结构化数据管理：
        (2)非结构化数据：
        (3)数据流管理：
    2.3 分析支撑层
        2.3.1 商业智能
        2.3.2 数据科学
        2.3.3 建立专有企业平台
        2.3.4 虚拟化桌面
        2.3.5 数据查询分析
        2.3.6 数据分析功能模块
            (1)收集大量的数据信息：
            (2)提取其中主要目标：
            (3)分析主要特征：
            (4)数据计算：
            (5)分析结果可视化：
    2.4 集群监控功能模块构建
    2.5 系统数据仓库设计
3 应用效果分析
4 结语


【参考文献】：
期刊论文
[1]大数据在烟草网络安全中的应用[J]. 李玉宁.  计算机与网络. 2021(06)
[2]大数据分析展示系统的数据同步设计与实现[J]. 金风涛.  电子元器件与信息技术. 2020(11)
[3]基于Spark的大数据访存行为跨层分析工具[J]. 许丹亚,王晶,王利,张伟功.  计算机研究与发展. 2020(06)
[4]一种基于Spark的不确定数据集频繁模式挖掘算法[J]. 杨阳,丁家满,李海滨,贾连印,游进国,姜瑛.  信息与控制. 2019(03)
[5]基于分布式集群的网络浏览行为大数据分析平台构建[J]. 蔡艳婧,王强,程实.  中国电子科学研究院学报. 2019(01)



本文编号：3728101