基于Kafka的智能水表系统内部数据通信设计与实现
发布时间:2022-01-09 01:53
随着智慧城市的到来,智慧水务也成为了一个很重要的命题。而对于自来水供水企业,如何高效便捷的管理供水、智能收费也就成为了当前水务信息化建设的重要组成部分,在此需求下,智能水表系统作为一种高效的解决方案应运而生。智能水表系统在设计上就被拆分成Web管理模块、数据采集模块、数据存储服务、数据传输服务,模块之间均是相互独立,互不影响,该设计能大幅降低系统内部的内部耦合。现有的数据传输服务方案是建立在数据共享的方式上,由于Web管理模块与数据采集模块之间的消息命令传输存在一些特异性,此方案并不能有效地解决以下问题:1)数据传输的高效性、可靠性,并且数据可以被实时处理或离线处理。2)数据库的读写压力大,会影响其它数据的存储和其他功能的运转。为解决上述问题,本文开展的主要研究工作如下:1)通过分析、测试对比主流的消息队列,最终确定Kafka消息系统作为智能水表系统内部数据通信服务的解决方案。2)结合智能水表系统设计基于Kafka消息系统的生产者、消费者实现方案,数据传输格式方案,消息分类处理的方案。3)在智能水表系统中应用Kafka消息系统后,本文针对Kafka生产者、消费者的性能进行相关参数的压力...
【文章来源】:华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】:56 页
【学位级别】:硕士
【部分图文】:
性能对比结果
图 4-7 消费者线程运行流程图费者线程启动后将一直监听消息队消费者线程将从消息代理中拉取数据础上,分析了智能水表系统的子模块需求之后,给出了一个基于 Kafka 消式以及通信方式的设计方案。
华 中 科 技 大 学 硕 士 学 位 论 文是该接口的一个实现者,业务类实际上是封装了一个 Kafka 的生产者对象来实现基本消息发送方法 sendMessage(),由于异步模式下的生产者不需要确认消息是否送达,在消息 send() 之后,生产者线程当即闲置下来,为了实现该生产者的复用,业务类提供了一个可复用的单例生产者,生产者端的类图如下所示:
【参考文献】:
期刊论文
[1]基于扩频通信的无线抄表系统设计与实现[J]. 龚阳,崔琛,王津,余剑. 计算机测量与控制. 2016(12)
[2]一种优化的Kafka消费者/客户端负载均衡算法[J]. 王郑合,王锋,邓辉,柳翠寅,张晓丽. 计算机应用研究. 2017(08)
[3]一种基于Kafka的可靠的Consumer的设计方案[J]. 王岩,王纯. 软件. 2016(01)
[4]基于JSON的数据交换模型[J]. 张沪寅,屈乾松,胡瑞芸. 计算机工程与设计. 2015(12)
[5]中间件技术在数据交换中的应用研究[J]. 王永才,宋才华. 自动化与仪器仪表. 2015(11)
[6]基于Kafka消息队列的电网设备准实时数据接入方法研究[J]. 王震,陈亮. 山东电力技术. 2015(06)
[7]Redis在订阅推送系统中的应用[J]. 吴霖,刘振宇,李佳. 电脑知识与技术. 2015(07)
[8]基于NS3的分布式消息系统Kafka的仿真实现[J]. 马浩然. 软件. 2015(01)
[9]分布式架构和消息队列技术在抄表系统的应用[J]. 李朋. 电力与能源. 2014(01)
[10]异构网络视频监控系统中间件技术的应用研究[J]. 胡忠毅. 计算机光盘软件与应用. 2012(01)
硕士论文
[1]基于Kafka的消息队列在射天文数据处理中应用的研究[D]. 王郑合.昆明理工大学 2017
[2]基于Kafka的大规模流数据分布式缓存与分析平台[D]. 牛牧.吉林大学 2016
[3]基于ZigBee和GPRS的智能抄表系统的设计[D]. 张洁.湖南大学 2016
[4]基于ZooKeeper的分布式处理框架的研究与实现[D]. 谭玉靖.北京邮电大学 2014
[5]自来水企业IC卡水表业务运营管理的设计与实现[D]. 张凤涛.山东大学 2012
[6]居民电表自动抄表系统的开发[D]. 贺锋.中南大学 2006
[7]一种基于GSM的小区水、电、气远程抄表及其管理信息系统的设计[D]. 张栋.山东大学 2005
[8]智能抄表系统的研发[D]. 李立新.浙江大学 2003
[9]基于消息的中间件设计模式和系统结构[D]. 何华海.中国科学院研究生院(软件研究所) 2002
本文编号:3577708
【文章来源】:华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】:56 页
【学位级别】:硕士
【部分图文】:
性能对比结果
图 4-7 消费者线程运行流程图费者线程启动后将一直监听消息队消费者线程将从消息代理中拉取数据础上,分析了智能水表系统的子模块需求之后,给出了一个基于 Kafka 消式以及通信方式的设计方案。
华 中 科 技 大 学 硕 士 学 位 论 文是该接口的一个实现者,业务类实际上是封装了一个 Kafka 的生产者对象来实现基本消息发送方法 sendMessage(),由于异步模式下的生产者不需要确认消息是否送达,在消息 send() 之后,生产者线程当即闲置下来,为了实现该生产者的复用,业务类提供了一个可复用的单例生产者,生产者端的类图如下所示:
【参考文献】:
期刊论文
[1]基于扩频通信的无线抄表系统设计与实现[J]. 龚阳,崔琛,王津,余剑. 计算机测量与控制. 2016(12)
[2]一种优化的Kafka消费者/客户端负载均衡算法[J]. 王郑合,王锋,邓辉,柳翠寅,张晓丽. 计算机应用研究. 2017(08)
[3]一种基于Kafka的可靠的Consumer的设计方案[J]. 王岩,王纯. 软件. 2016(01)
[4]基于JSON的数据交换模型[J]. 张沪寅,屈乾松,胡瑞芸. 计算机工程与设计. 2015(12)
[5]中间件技术在数据交换中的应用研究[J]. 王永才,宋才华. 自动化与仪器仪表. 2015(11)
[6]基于Kafka消息队列的电网设备准实时数据接入方法研究[J]. 王震,陈亮. 山东电力技术. 2015(06)
[7]Redis在订阅推送系统中的应用[J]. 吴霖,刘振宇,李佳. 电脑知识与技术. 2015(07)
[8]基于NS3的分布式消息系统Kafka的仿真实现[J]. 马浩然. 软件. 2015(01)
[9]分布式架构和消息队列技术在抄表系统的应用[J]. 李朋. 电力与能源. 2014(01)
[10]异构网络视频监控系统中间件技术的应用研究[J]. 胡忠毅. 计算机光盘软件与应用. 2012(01)
硕士论文
[1]基于Kafka的消息队列在射天文数据处理中应用的研究[D]. 王郑合.昆明理工大学 2017
[2]基于Kafka的大规模流数据分布式缓存与分析平台[D]. 牛牧.吉林大学 2016
[3]基于ZigBee和GPRS的智能抄表系统的设计[D]. 张洁.湖南大学 2016
[4]基于ZooKeeper的分布式处理框架的研究与实现[D]. 谭玉靖.北京邮电大学 2014
[5]自来水企业IC卡水表业务运营管理的设计与实现[D]. 张凤涛.山东大学 2012
[6]居民电表自动抄表系统的开发[D]. 贺锋.中南大学 2006
[7]一种基于GSM的小区水、电、气远程抄表及其管理信息系统的设计[D]. 张栋.山东大学 2005
[8]智能抄表系统的研发[D]. 李立新.浙江大学 2003
[9]基于消息的中间件设计模式和系统结构[D]. 何华海.中国科学院研究生院(软件研究所) 2002
本文编号:3577708
本文链接:https://www.wllwen.com/guanlilunwen/chengjian/3577708.html