支持工作流的实时大数据处理平台设计与实现
发布时间：2021-01-21 12:23
近几年来,大数据已经渗透到人类生活的方方面面。随着移动互联网和物联网的发展,我国大数据产业的发展也进入爆发期,大数据已经上升为国家战略。大数据处理系统也有了更多样的业务需求,导致支撑大数据处理的各项技术逐步走向成熟。把不同的技术融合成一个大型的大数据处理系统,这样的系统架构在实际生产中得到了广泛应用。但是其学习成本和维护成本非常高,同一个开发者很难维护和扩展这么多复杂技术融合而成的系统。针对以上问题,结合课题组的项目,本文设计并实现了支持工作流的实时大数据处理系统。本文首先研究了mxGraph框架的组织结构和底层实现原理,将其与Web技术结合,搭建了支持工作流的大数据管理平台。在此基础上,总结了大数据处理关键技术Flume、Kafka的相关配置和Spark Streaming的工作原理,部署了大数据处理系统。最后将可视化信息管理平台与大数据处理系统结合在一起,实现了支持工作流的实时大数据处理系统。系统设计的核心功能体现在可以通过支持工作流的大数据管理平台实现大数据处理的可视化配置。将大数据处理系统的配置信息统一提取出来,交由大数据管理平台统一配置管理。大数据管理平台使用XML格式的数据...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图２－１?ｍｘＧｒａｐｈ组件关系图??７??
ｍｘＧｒａｐｈ是一系列以不同技术开发的工具库，可以方便地与其它技术结合搭??建后台管理系统，ｍｘＧｒａｐｈ可用于工作流设计［１Ｇ］。ｍｘＧｒａｐｈ的各个组件关系图如??图２－１所示。??作为一个开发库，ｍｘＧｒａｐｈ没有专门提供一个现成的可以使用的应用程序，??尽管其中的许多例子都接近可以直接使用。ｍｘＧｒａｐｈ提供ｍｘＧｒａｐｈ样式的所有??经常所需要的绘画功能，并且ｍｘＧｒａｐｈ自带有许多例子，它们有助于解释每种??技术是如何被放在一起组成一个基本的应用程序，并展示这个工具库的各项功能。??广?Ｂａｃｋｅｎｄ?＾??Ｊａｖａ?．Ｎｅｔ?Ｐｈｐ??＾ｘ＾??Ｃｇｉ??＞?Ｗｅｂ?ｓｅｒｖｅｒ?１?＾??Ｈｔｍｉ?Ｘｍｌ?Ｊｓ?Ｃｓｓ?…??ｌ?ｘ?Ｊ??ＨＵｐ??广?Ｗｅｂ?ｃｌｉｅｎｔ—，———＿——??—??——???———??、??Ｅｄｉｔｏｒ?Ｇｒａｐｈ?ｌｎｐｕＬｒＯｕｌｐｙｔ??Ｃｏｎｆ＾ｇｕｒａｌｉｏｎ?Ｖａｉｉｄａｌｉｏｎ?Ｃｏｓｔｏｍｉｚａｔｉｏｎ??Ｖ?Ｊ??图２－１?ｍｘＧｒａｐｈ组件关系图??７??
Ｈｕｍｅ运行的独立进程，它的运行依赖于配置文件，配置文件中包含每个源、通??道和接收器三个核心组件的属性，属性包括名称、类型和一些其他实例化属性。??通过这三个组件，就可以完成数据流的正常流转，如图２－３所示。??Ｓｉｎｋ??董疆〇??Ｃ?Ｃｈａｎｎｅｌ?）??Ａｇｅｎｔ?．…獨－??图２－３?Ａｇｅｎｔ结构示意图??Ｓｏｕｒｃｅ是数据的收集端，负责将数据捕获后进行特殊的格式化，并将数据封??装到事件（Ｅｖｅｎｔ）里，然后将事件推入Ｃｈａｎｎｅｌ中。Ｆｌｕｍｅ提供了很多内置的??Ｓｏｕｒｃｅ，包括?Ｅｘｅｃ?Ｓｏｕｒｃｅ、Ａｖｒｏ?Ｓｏｕｒｃｅ、Ｔｈｒｉｆｔ?Ｓｏｕｒｃｅ?等，可以让应用程序同这??些内置的Ｓｏｕｒｃｅ直接进行数据交换。如果内置的Ｓｏｕｒｃｅ无法满足需要，Ｆｌｕｍｅ??还支持自定义Ｓｏｕｒｃｅ。常用的Ｓｏｕｒｃｅｓ类型如表２－１所示。??表２－１?Ｓｏｕｒｃｅｓ类型及说明??Ｓｏｕｒｃｅ类型?说明??Ａｖｒｏ?Ｓｏｕｒｃｅ?监听Ａｖｒｏ端口，接收外部Ａｖｒｏ?Ｃｌｉｅｎｔ数据流??１０??
【参考文献】：
期刊论文
[1]XML在网页设计中的应用与研究[J]. 向泽林. 电子技术与软件工程. 2019(02)
[2]基于Kafka的分布式能效管理平台的设计与实现[J]. 朱幼普,卢军. 计算机与数字工程. 2018(12)
[3]基于Java的Mybaits生成持久层配置文件[J]. 管才路,叶刚,耿伟,王立河. 电子技术与软件工程. 2018(22)
[4]A Scheduling Optimization Technique Based on Reuse in Spark to Defend Against APT Attack[J]. Jianchao Tang,Ming Xu,Shaojing Fu,Kai Huang. Tsinghua Science and Technology. 2018(05)
[5]基于Spark Streaming的实时交通数据处理平台[J]. 谭亮,周静. 计算机系统应用. 2018(10)
[6]Spark Streaming在实时计算中的应用研究[J]. 谢艳晴. 电脑知识与技术. 2018(25)
[7]大数据日志分析平台应用探索与实践[J]. 胡沐创. 金融科技时代. 2018(01)
[8]基于SpringMVC的图片处理系统的研究与设计[J]. 王晓薇,张勇,李金振. 电子设计工程. 2017(24)
[9]基于Spark的分布式实时推荐系统[J]. 王佳娴,王中杰. 系统仿真技术. 2017(02)
[10]分布式流数据加载和查询技术优化[J]. 易佳,薛晨,王树鹏. 计算机科学. 2017(05)
硕士论文
[1]基于SparkStreaming的网络资源管理系统设计与实现[D]. 黄哲.南京邮电大学 2018
[2]基于Spark的数据实时分析处理系统的设计与实现[D]. 陈鹏.电子科技大学 2018
[3]物联网资源模型辅助的组态系统的研究与实现[D]. 李启波.北京邮电大学 2018
[4]基于Spark的网络安全日志分析系统的研究与实现[D]. 李俊杰.江西师范大学 2017
[5]基于Spark技术的实时网络流量异常检测研究[D]. 周超.兰州交通大学 2016
[6]基于hadoop的网站用户行为分析系统设计与实现[D]. 王电轻.中国科学院大学(工程管理与信息技术学院) 2016
[7]基于WEB的制造服务管理系统研究与开发[D]. 吕占东.电子科技大学 2014
本文编号：2991155
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图２－１?ｍｘＧｒａｐｈ组件关系图??７??
ｍｘＧｒａｐｈ是一系列以不同技术开发的工具库，可以方便地与其它技术结合搭??建后台管理系统，ｍｘＧｒａｐｈ可用于工作流设计［１Ｇ］。ｍｘＧｒａｐｈ的各个组件关系图如??图２－１所示。??作为一个开发库，ｍｘＧｒａｐｈ没有专门提供一个现成的可以使用的应用程序，??尽管其中的许多例子都接近可以直接使用。ｍｘＧｒａｐｈ提供ｍｘＧｒａｐｈ样式的所有??经常所需要的绘画功能，并且ｍｘＧｒａｐｈ自带有许多例子，它们有助于解释每种??技术是如何被放在一起组成一个基本的应用程序，并展示这个工具库的各项功能。??广?Ｂａｃｋｅｎｄ?＾??Ｊａｖａ?．Ｎｅｔ?Ｐｈｐ??＾ｘ＾??Ｃｇｉ??＞?Ｗｅｂ?ｓｅｒｖｅｒ?１?＾??Ｈｔｍｉ?Ｘｍｌ?Ｊｓ?Ｃｓｓ?…??ｌ?ｘ?Ｊ??ＨＵｐ??广?Ｗｅｂ?ｃｌｉｅｎｔ—，———＿——??—??——???———??、??Ｅｄｉｔｏｒ?Ｇｒａｐｈ?ｌｎｐｕＬｒＯｕｌｐｙｔ??Ｃｏｎｆ＾ｇｕｒａｌｉｏｎ?Ｖａｉｉｄａｌｉｏｎ?Ｃｏｓｔｏｍｉｚａｔｉｏｎ??Ｖ?Ｊ??图２－１?ｍｘＧｒａｐｈ组件关系图??７??
Ｈｕｍｅ运行的独立进程，它的运行依赖于配置文件，配置文件中包含每个源、通??道和接收器三个核心组件的属性，属性包括名称、类型和一些其他实例化属性。??通过这三个组件，就可以完成数据流的正常流转，如图２－３所示。??Ｓｉｎｋ??董疆〇??Ｃ?Ｃｈａｎｎｅｌ?）??Ａｇｅｎｔ?．…獨－??图２－３?Ａｇｅｎｔ结构示意图??Ｓｏｕｒｃｅ是数据的收集端，负责将数据捕获后进行特殊的格式化，并将数据封??装到事件（Ｅｖｅｎｔ）里，然后将事件推入Ｃｈａｎｎｅｌ中。Ｆｌｕｍｅ提供了很多内置的??Ｓｏｕｒｃｅ，包括?Ｅｘｅｃ?Ｓｏｕｒｃｅ、Ａｖｒｏ?Ｓｏｕｒｃｅ、Ｔｈｒｉｆｔ?Ｓｏｕｒｃｅ?等，可以让应用程序同这??些内置的Ｓｏｕｒｃｅ直接进行数据交换。如果内置的Ｓｏｕｒｃｅ无法满足需要，Ｆｌｕｍｅ??还支持自定义Ｓｏｕｒｃｅ。常用的Ｓｏｕｒｃｅｓ类型如表２－１所示。??表２－１?Ｓｏｕｒｃｅｓ类型及说明??Ｓｏｕｒｃｅ类型?说明??Ａｖｒｏ?Ｓｏｕｒｃｅ?监听Ａｖｒｏ端口，接收外部Ａｖｒｏ?Ｃｌｉｅｎｔ数据流??１０??
【参考文献】：
期刊论文
[1]XML在网页设计中的应用与研究[J]. 向泽林. 电子技术与软件工程. 2019(02)
[2]基于Kafka的分布式能效管理平台的设计与实现[J]. 朱幼普,卢军. 计算机与数字工程. 2018(12)
[3]基于Java的Mybaits生成持久层配置文件[J]. 管才路,叶刚,耿伟,王立河. 电子技术与软件工程. 2018(22)
[4]A Scheduling Optimization Technique Based on Reuse in Spark to Defend Against APT Attack[J]. Jianchao Tang,Ming Xu,Shaojing Fu,Kai Huang. Tsinghua Science and Technology. 2018(05)
[5]基于Spark Streaming的实时交通数据处理平台[J]. 谭亮,周静. 计算机系统应用. 2018(10)
[6]Spark Streaming在实时计算中的应用研究[J]. 谢艳晴. 电脑知识与技术. 2018(25)
[7]大数据日志分析平台应用探索与实践[J]. 胡沐创. 金融科技时代. 2018(01)
[8]基于SpringMVC的图片处理系统的研究与设计[J]. 王晓薇,张勇,李金振. 电子设计工程. 2017(24)
[9]基于Spark的分布式实时推荐系统[J]. 王佳娴,王中杰. 系统仿真技术. 2017(02)
[10]分布式流数据加载和查询技术优化[J]. 易佳,薛晨,王树鹏. 计算机科学. 2017(05)
硕士论文
[1]基于SparkStreaming的网络资源管理系统设计与实现[D]. 黄哲.南京邮电大学 2018
[2]基于Spark的数据实时分析处理系统的设计与实现[D]. 陈鹏.电子科技大学 2018
[3]物联网资源模型辅助的组态系统的研究与实现[D]. 李启波.北京邮电大学 2018
[4]基于Spark的网络安全日志分析系统的研究与实现[D]. 李俊杰.江西师范大学 2017
[5]基于Spark技术的实时网络流量异常检测研究[D]. 周超.兰州交通大学 2016
[6]基于hadoop的网站用户行为分析系统设计与实现[D]. 王电轻.中国科学院大学(工程管理与信息技术学院) 2016
[7]基于WEB的制造服务管理系统研究与开发[D]. 吕占东.电子科技大学 2014
本文编号：2991155
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2991155.html
