基于Kafka的数据总线系统关键技术研究与开发

发布时间：2021-06-17 12:11

　　当今时代是一个信息大爆炸的时代,生产生活中的每一个角落充满各种各样的信息,企事业单位在信息获取上具有天然优势,是各种各样数据的拥有者。通过数据的高效共享,能够最大限度的挖掘出数据的潜在价值,有助于企事业单位科学管理、创新经营、长远规划。然而现有的数据共享系统存在着各种各样的弊端,要么技术老旧无法适应大数据时代的数据共享需求,要么价格高昂性价比低下,因此,一款支持采集各种异构数据,海量数据高效共享,满足流批一体化数据分析,且成本低廉的数据总线系统极为必要。本论文依托各种开源技术设计开发了一款基于Kafka的数据总线系统。对系统进行了需求分析,详细阐述了用户对数据采集、实时计算、数据转储、总线元数据管理、运维监测的功能需求和性能需求,给出了功能模块图、系统架构图、数据流程图,详细阐述了系统具体设计与实现,给出了核心算法与代码,系统完成后通过黑盒测试的方法,对照需求设计测试验证了每一个模块的功能与性能。系统采用微服务体系架构,在JVM开发平台下,以Flume为数据采集组件,Kafka为数据管道,kettle为ETL工具,Spring Cloud为微服开发实施框架,使用JAVA代码实现各个功能... 

【文章来源】：郑州大学河南省 211工程院校

【文章页数】：55 页

【学位级别】：硕士

【部分图文】：

Kettle新建Kafka输入源

第4章系统设计与实现22打开Kettle设计工具新建一个转换，在Input下选择ApacheKafkaConsume：图4-7Kettle新建Kafka输入源在选中的组件里配置Topic、zookeeper、Group等配置信息:图4-8Kettle配置Kafka相关信息Kettle提供了多达120多种的内置数据处理，而且还可以方便的扩展出更多，我们选

第4章系统设计与实现23择一个字符串替换，用来把抽取中的某个数据定义为业务需求数据：图4-9Kettle配置字符串替换处理数据处理完成后，根据业务需求选择合适的输出，加载到目标系统,这里我们选择加到Excel文件：图4-10Kettle配置Excel输出只需简单拖拽，以及一些必须的配置就实现了一个完整的数据转储过程。总线系统通过可视化的操作方式为可以从Kafka数据管道整合清洗来自各个业务系统的数据，生成业务方需要的大宽表，加载的对应的业务系统，满足业务系统的离线分

【参考文献】：
期刊论文
[1]ETL和ESB架构在企业信息化建设中的应用[J]. 秦晓燕.  电子技术与软件工程. 2019(22)
[2]一种基于微服务架构的业务系统设计与实现[J]. 洪华军,吴建波,冷文浩.  计算机与数字工程. 2018(01)
[3]Spring Boot研究和应用[J]. 王永和,张劲松,邓安明,周智勋.  信息通信. 2016(10)
[4]微服务架构和容器技术应用[J]. 孙海洪.  金融电子化. 2016(05)
[5]基于KETTLE的数据集成研究[J]. 崔有文,周金海.  计算机技术与发展. 2015(04)
[6]基于NS3的分布式消息系统Kafka的仿真实现[J]. 马浩然.  软件. 2015(01)
[7]一种可扩展的网络用户行为日志获取方法[J]. 吴茜媛,郑庆华,王萍.  软件. 2014(10)
[8]消息中间件传输模式的改进与实现[J]. 尚小东,田亮,荀智德,丁峰.  指挥信息系统与技术. 2014(05)
[9]基于Apache Flume的分布式日志收集系统设计与实现[J]. 郝璇.  软件导刊. 2014(07)
[10]大数据技术研究综述[J]. 刘智慧,张泉灵.  浙江大学学报(工学版). 2014(06)

硕士论文
[1]面向工业大数据的数据采集系统[D]. 谢青松.华中科技大学 2016
[2]基于ZooKeeper的分布式处理框架的研究与实现[D]. 谭玉靖.北京邮电大学 2014
[3]基于ESB的高校数据交换平台的设计与实现[D]. 邹伟平.南昌大学 2012



本文编号：3235170