一种基于Kafka的可靠的Consumer的设计方案

发布时间：2017-07-29 23:12

  本文关键词：一种基于Kafka的可靠的Consumer的设计方案

  更多相关文章： Kafka 数据可靠性 zookeeper 实时

【摘要】：伴随着互联网和移动互联网的发展,各种新兴应用层出不穷,对大数据处理的实时性和高并发能力要求也在不断提高。Apache Kafka,作为一种分布式的消息系统,具有可水平扩展和高吞吐率而被广泛的使用。对于数据业务的基础支撑系统,除了能够满足高并发度和实时性以外,数据的质量即数据可靠性也是关键的一环。但是,由Kafka原生提供的数据消费者不能够保障数据的可靠性。本文首先简单介绍了Kafka的组成、架构特性等技术背景,然后阐述了原生Consumer的原理和缺陷;最后,基于Kafka提出一个可靠的消费者的设计方案。本方案是基于Kafka的low-level的接口集,解决了Kafka原生Consumer由于将用户消费数据的动作与数据消费位置的记录独立而引起的数据质量问题,保障了数据的可靠性。最后,搭建Kafka集群测试环境,验证了方案的可行性和正确性。
【作者单位】： 北京邮电大学网络与交换技术国家重点实验室;东信北邮信息技术有限公司;
【关键词】： Kafka 数据可靠性 zookeeper 实时
【分类号】：TP311.52
【正文快照】： 0引言随着互联网行业的不断发展,各种业务的数据量不断增多,在大数据处理环境下,对数据的实时性要求不断提高。笔者原有的技术环境采用ftp技术作为数据传输手段和传统关系型数据库和文件系统作为存储介质,效率较低,无法满足客户对数据实时性的要求。Apache Kafka[1],作为一种

【相似文献】

中国期刊全文数据库 前3条

1 钟睿明;刘川意;王春露;项菲;;一种成本相关的云提供商数据可靠性保证算法[J];软件学报;2014年08期

2 宫纪明;方来宝;;基于微网络可靠性系数μ的可信WSN[J];淮北煤炭师范学院学报(自然科学版);2010年01期

3 ;[J];;年期

中国硕士学位论文全文数据库 前3条

1 李仲玉;导航网络传输系统数据可靠性方法的研究[D];哈尔滨工程大学;2008年

2 卢俊;云存储中基于SecCSIE架构与AONT-RS的数据可靠性与安全性研究[D];湖南大学;2012年

3 付仲恺;基于P2P的下一代互联网命名系统的数据可靠性研究[D];北京工业大学;2009年

，

本文编号：591520