基于Spark的大数据资源共享平台的设计与实现

发布时间：2021-03-30 20:55

　　随着移动互联网的兴起,电信运行商的用户激增,所拥有的用户数量达到了亿级。电信运营商一个部门的月使用数据量就达到了 PB级别,并且运营商内部越来越多的部门也发现了巨量数据所带来的应用价值。联通原有的Spark大数据平台仅为一项业务提供支撑,且各类操作必须通过命令行进行交互,对新的用户不是很友好,学习成本也相对较高,若使用人数增多还会带来资源管理混乱问题。为支持多个部门的大数据作业,需要将原有的Spark平台升级改造为多租户资源共享平台,因此确立了 Spark大数据共享平台项目的开发。作者在项目开发过程中首先参与了项目的可行性分析与需求分析,分析平台的各项需求,确立项目总体目标。根据平台需求将平台划分为数据仓库管理模块、计算任务管理模块、内存文件管理模块、平台监控模块以及用户管理模块。其次在概要设计中,作者依据平台需求分析设计了平台总体架构、执行流程及数据库表,并画出平台架构图、模块层次图及数据库实体联系图。在概要设计基础上进行平台详细设计,作者采用Spark计算引擎、Hive数据仓库、MySQL数据库、InfluxDB时序库及Akka工具包等设计并开发了平台各模块组件。针对数据仓库管理模... 

【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校

【文章页数】：84 页

【学位级别】：硕士

【部分图文】：

图３－１平台数据流图??Ｆｉｇｕｒｅ?３－１?Ｐｌａｔｆｏｒｍ?Ｄａｔａ?Ｆｌｏｗ?Ｄｉａｇｒａｍ??

图３－３内存文件管理用例图??Ｆｉｇｕｒｅ?３－３?Ｍｅｍｏｒｙ?Ｆｉｌｅ?Ｍａｎａｇｅｍｅｎｔ?Ｕｓｅ?Ｃａｓｅ?Ｄｉａｇｒａｍ??数据管理功能具体包括数据挂载、数据录入和数据删除等

图４－１平台架构图??Ｆｉｇｕｒｅ?４＿１?Ｐｌａｔｆｏｒｍ?Ａｒｃｈｉｔｅｃｔｕｒｅ?Ｄｉａｇｒａｍ??系统总共有四层，分别为数据源、存储层、计算层和应用层

【参考文献】：
期刊论文
[1]基于Alluxio的异步存储优化[J]. 温东新,董文菁,曹瑞,张展.  东南大学学报(自然科学版). 2018(02)
[2]国外电信运营商大数据应用模式的启示[J]. 王强.  世界电信. 2017(03)
[3]Big Data and Data Science:Opportunities and Challenges of iSchools[J]. Il-Yeol Song,Yongjun Zhu.  Journal of Data and Information Science. 2017(03)
[4]一个健强的AKKA和Spark支持的大数据结构设计策略[J]. 严锟,兰奎,邹学利.  决策咨询. 2017(01)
[5]国外电信运营商大数据应用及启示[J]. 郑雪菲.  移动通信. 2015(13)
[6]电信运营商大数据应用模式探讨[J]. 刘琳,何智平.  江苏通信. 2015(01)
[7]电信行业大数据应用浅析[J]. 卢云许.  信息系统工程. 2013(12)
[8]电信运营商急需玩转大数据[J]. 张力平.  电信快报. 2013(11)
[9]电信运营商的绿色数据路[J]. 阮晓东.  新经济导刊. 2013(06)

博士论文
[1]云数据中心流量调度机制研究[D]. 汪硕.北京邮电大学 2018

硕士论文
[1]互联网金融数据平台的设计与实现[D]. 揭杰.北京交通大学 2018
[2]基于Spark平台的电信运行商收入分摊系统的设计与实现[D]. 张策.北京交通大学 2018
[3]基于Akka的分布式集群运维系统设计与实现[D]. 李斐.东南大学 2017
[4]基于Alluxio的数据高可用管理技术的研究与优化[D]. 董文菁.哈尔滨工业大学 2017
[5]基于Akka的分布式实时流程式计算框架的设计与应用[D]. 陶运坤.东南大学 2015
[6]Web服务器集群负载均衡技术研究[D]. 买京京.中北大学 2008



本文编号：3110138