Kafka

Kafka Connect是一个用于Kafka与外部系统之间高可靠的、可扩展的流数据传输工具。它使得我们能够简单快速的定义数据集合在Kafka与外部系统之间输入输出。Kafka Connect可以从数据库或者应用程序服务器中手机数据指标到Kafka的topic中，以便数据进行低延迟的数据处理。一个实现了导出功能的Connect可以将数据从Kafka中导出到外部存储系统、查询系统或者批处理系统进行离线分析

在本章内容中我们主要讲解大家在生产系统中最常见，最基础的发布订阅功能，也就是Producer API和Consumer API，然后在下一章节中我们将深入讲解Kafka的Streams API、Connect API和AdminClient API。

在这之前我们已经讲解了Kafka的安装部署和最核心的发布订阅功能，本次章节我们来介绍Kafka的新特性——Kafka Streams

这个章节我们将从Kafka集群的安装部署讲起，并测试topic的创建，消息的发布订阅等功能。希望对你有所帮助。

作为一个分布式消息发布订阅系统，Kafka在大数据领域被人们所熟知，在这里对Kafka的一些基本概念做一个简介，后续将对Kafka做一整个专题的介绍。希望对大家有所帮助

Topic重建方式，如何彻底删除旧topic？

本文涉及到Kafka的安装配置，以及生产消费过程的示例

为了更好的实现负载均衡和消息的顺序性，Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partition中的消息是有序的。合适的分区数量，可以保证Kafka发挥出它应有的吞吐量和分布式优势。

大数据平台服务器处于两个网络中，其中内部网络用来进行数据交换和计算，配置万兆光纤网卡和光纤交换机；外部网络用来为其他部门提供服务、数据接口，这里使用的是千兆网络。Kafka的broker集群处于内部网络中，而外部网络需要订阅消费kafka中的留数据，就需要访问内网。这里我们需要添加接个配置以使kafka能够通过外网来访问