基于Kafka分布式能效管理平台的研究与应用

发布时间：2020-08-21 16:48

【摘要】：近年来,随着信息技术和互联网技术的迅猛发展,全球的数据总量也呈现出爆炸式增长的趋势,大数据时代即将到来。这将使科学研究的各个领域产生巨大变革,也将深远的影响到我们未来生活的各个方面。本文所提出的基于Kafka的分布式的能效管理平台具有创新性的意义。该平台的设计目标是可以将输入的海量复杂的流数据进行分布式缓存,并用于微服务之间的通信。本文的主要工作:详细介绍了平台设计的总体架构,将整个系统分为三个层次,分别是控制层、中间服务层以及微服务层;充分利用Kafka在数据传输方面的优势,将Kafka作为消息传递服务器,实现各个微服务之间的通信。并基于此设计实现了基于Kafka的大规模流数据分布式能效管理平台,对电表,水表等计量设备采集的实时数据进行分析处理和展示,实现能源使用的科学化、智能化、精细化。最后通过实验验证其可用性,高效性以及可扩展性等。本文的独到之处如下:(1)在传统能效管理平台的基础上使用Kafka分布式消息中间件对海量流数据进行缓存,提高了在流数据输入量突发性改变时整个系统的稳定性。(2)研究与改进了Kafka原生Consumer负载均衡算法以及数据消费可靠性实现方式,提高了Kafka服务器集群负载均衡的效率和消息消费的可靠性。(3)设计并实现了微服务的直接解耦合和高效安全的通信方式,以满足平台的扩展性和系统吞吐量等多方面的需求。本文希望该平台的研究与实现过程可以给分布式计算集群的搭建和海量数据处理过程提供新的方法和思路,也希望能通过不断的研究,逐步完善此平台系统。
【学位授予单位】：武汉邮电科学研究院
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.52
【图文】：

图 3-1 两个代理和一个消费者组（含 8 个消费者）现在假设整个集群中包括两个 Kafka 消息代理和一个含有八个消费者的消费者组，如图 3-1 所示。下面分两种情况讨论消费者消费数据的情况：

同分组的消费者数量大于分区总数时的负载均衡

图 3-3 同分组的消费者数量小于分区总数时的负载均衡3.1.2 Kafka 的 Consumer 均衡算法改进根据以上的算法，可以发现：1.若需增加 Kafka 的某个消费者组的成员个数，至多只能增加到与 Partition 个数相

【相似文献】

相关期刊论文 前10条

1 闫冬;;富士通推出数据中心能效管理方案[J];每周电脑报;2008年38期

2 吕进;楼振飞;陶坚刚;;面向服务构架的能效管理平台开发研究[J];上海理工大学学报;2009年05期

3 ;天溯机场能效管理解决方案亮相第二届“从航站楼看世界”高峰论坛[J];智能建筑电气技术;2013年06期

4 ;南京天溯为福州五四北泰禾广场打造能效管理“样板工程”[J];电气应用;2013年06期

5 郑士君;黄爱平;岳跃申;蔡德庆;张燃;王勇;;海运企业能效管理信息系统研发[J];中国航海;2010年04期

6 ;2011中国数据中心动力安全能效管理趋势研讨会召开[J];计算机安全;2011年07期

7 胡贵华;朱文华;王宇颖;;基于SOA的化工行业能效管理系统[J];机械与电子;2009年01期

8 孙虹;李昆明;王林;孙彬;周春蕾;;基于WEB的省级能效管理平台的设计与应用[J];江苏电机工程;2014年02期

9 孙靖;耿铭杰;;EcoStruxure~(TM)能效管理平台及其在化妆品生产企业的应用[J];智能建筑与城市信息;2013年03期

10 顾硕;;施耐德电气为冶金行业提供专业的能效管理解决方案[J];自动化博览;2013年08期

相关会议论文 前5条

1 韦兵;;论通信生产中能效管理体系的构建及其意义[A];通信电源新技术论坛——2008通信电源学术研讨会论文集[C];2008年

2 郑学明;姚贤炯;陈志杰;廖勤武;;能效管理应用探讨[A];2013电力行业信息化年会论文集[C];2013年

3 郑学明;姚贤炯;陈志杰;廖勤武;;能效管理应用探讨[A];2013电力行业信息化年会论文集[C];2013年

4 耿沛;黄强;王刚;索也兵;刘正威;;两化融合 创新管理 节能降耗[A];中国建材产业转型升级创新发展研究论文集[C];2013年

5 ;智能用电能效管理系统[A];电力行业科学技术成果鉴定项目成果汇编(2012)[C];2013年

相关重要报纸文章 前10条

1 旭莲;船舶能效管理:“竹子”轮“首航”[N];中国交通报;2011年

2 记者 蒋学林;国内外专家把脉中国能效管理[N];中国电力报;2010年

3 记者 张Z

本文编号：2799621