kafka 集群中的代理节点是否配置为处理分区数？

【问题标题】：Are broker nodes in kafka cluster configured to handle number of partition?kafka 集群中的代理节点是否配置为处理分区数？
【发布时间】：2019-08-26 09:44:30
【问题描述】：

Kafka 以首先使用现有分区数量最少的代理的方式放置分区和副本。这是否意味着代理已预先配置为处理分区。

【问题讨论】：

是的，经纪人负责处理分区，但您也可以根据需要覆盖其行为。我对你的问题不是很清楚，请你补充一些信息。
代理是否已预先配置为在分区中具有插槽？假设一个代理有 5 个插槽，因此只能占用 5 个分区。
没有这样的。

标签： apache-kafka

【解决方案1】：

当你创建一个主题时，你设置了分区的数量。

 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

此外，您还可以使用num.partions 参数。（这在自动创建主题时使用。）

只要有足够的磁盘空间、内存和网络带宽，代理就可以拥有任意数量的分区。

在上面的截图中，你可以看到test的分区。如果您创建一个包含三个分区的主题，您将拥有两个文件夹，分别为test-1 和test-2。

每个分区都有一个索引文件、一个时间索引文件和一个日志文件。日志文件保留该分区的 Kafka 数据。

【讨论】：