【Kafka】Leader丢失导致的Consumer挂起故障解决
前段时间,大数据平台中Kafka集群频繁发生offset积压而无法消费的问题,本文主要介绍了我们如何定位排查问题,虽然最后只是修改了小小的一个参数,但是在排查问题过程中收获还是不少的
Read more前段时间,大数据平台中Kafka集群频繁发生offset积压而无法消费的问题,本文主要介绍了我们如何定位排查问题,虽然最后只是修改了小小的一个参数,但是在排查问题过程中收获还是不少的
Read moreKafka Connect是一个用于Kafka与外部系统之间高可靠的、可扩展的流数据传输工具。它使得我们能够简单快速的定义数据集合在Kafka与外部系统之间输入输出。Kafka Connect可以从数据库或者应用程序服务器中手机数据指标到Kafka的topic中,以便数据进行低延迟的数据处理。一个实现了导出功能的Connect可以将数据从Kafka中导出到外部存储系统、查询系统或者批处理系统进行离线分析
Read more在本章内容中我们主要讲解大家在生产系统中最常见,最基础的发布订阅功能,也就是Producer API和Consumer API,然后在下一章节中我们将深入讲解Kafka的Streams API、Connect API和AdminClient API。
Read more在这之前我们已经讲解了Kafka的安装部署和最核心的发布订阅功能,本次章节我们来介绍Kafka的新特性——Kafka Streams
Read more这个章节我们将从Kafka集群的安装部署讲起,并测试topic的创建,消息的发布订阅等功能。希望对你有所帮助。
Read more作为一个分布式消息发布订阅系统,Kafka在大数据领域被人们所熟知,在这里对Kafka的一些基本概念做一个简介,后续将对Kafka做一整个专题的介绍。希望对大家有所帮助
Read moreKafka官方只提供了Java的API接口(Scala自不必说),一般情况下我们是通过Java调用Kafka的API来发布订阅消息。对于多语言的API我们可以在本文中有所了解
Read moreTopic重建方式,如何彻底删除旧topic?
Read more本文涉及到Kafka的安装配置,以及生产消费过程的示例
Read more为了更好的实现负载均衡和消息的顺序性,Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partition中的消息是有序的。合适的分区数量,可以保证Kafka发挥出它应有的吞吐量和分布式优势。
Read more