Kafka

前段时间，大数据平台中Kafka集群频繁发生offset积压而无法消费的问题，本文主要介绍了我们如何定位排查问题，虽然最后只是修改了小小的一个参数，但是在排查问题过程中收获还是不少的

Kafka Connect是一个用于Kafka与外部系统之间高可靠的、可扩展的流数据传输工具。它使得我们能够简单快速的定义数据集合在Kafka与外部系统之间输入输出。Kafka Connect可以从数据库或者应用程序服务器中手机数据指标到Kafka的topic中，以便数据进行低延迟的数据处理。一个实现了导出功能的Connect可以将数据从Kafka中导出到外部存储系统、查询系统或者批处理系统进行离线分析

在本章内容中我们主要讲解大家在生产系统中最常见，最基础的发布订阅功能，也就是Producer API和Consumer API，然后在下一章节中我们将深入讲解Kafka的Streams API、Connect API和AdminClient API。

在这之前我们已经讲解了Kafka的安装部署和最核心的发布订阅功能，本次章节我们来介绍Kafka的新特性——Kafka Streams

这个章节我们将从Kafka集群的安装部署讲起，并测试topic的创建，消息的发布订阅等功能。希望对你有所帮助。

作为一个分布式消息发布订阅系统，Kafka在大数据领域被人们所熟知，在这里对Kafka的一些基本概念做一个简介，后续将对Kafka做一整个专题的介绍。希望对大家有所帮助

Topic重建方式，如何彻底删除旧topic？

本文涉及到Kafka的安装配置，以及生产消费过程的示例

为了更好的实现负载均衡和消息的顺序性，Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partition中的消息是有序的。合适的分区数量，可以保证Kafka发挥出它应有的吞吐量和分布式优势。