Nifi：使用具有特定数量的分区/复制因子的 PublishKafka 创建 Kafka 主题答案

【问题标题】：Nifi: Create a Kafka topic with PublishKafka with a specific number of partitions/replication-factorNifi：使用具有特定数量的分区/复制因子的 PublishKafka 创建 Kafka 主题
【发布时间】：2020-06-22 10:50:47
【问题描述】：

我使用的是 Apache Nifi 版本 1.10.0。我已经使用PublishKafka_2_0 处理器从 Nifi 将一些数据放入 Kafka。我有三个与 Kafka 一起运行的 Kafka 经纪人。我从 Nifi 获取数据，但在 Nifi 中创建的主题的复制因子为 1，分区为 1。

在 PublishKafka 中创建新主题时，如何更改复制因子和分区的默认值？换句话说，我希望处理器使用 partitions=3 和 replication-factors=3 而不是 1 创建新主题。我知道这可以在创建主题后更改，但我希望在创建时动态完成。

【问题讨论】：

在 kafka conf 中更改默认值还不够？
@maximeG 成功了！谢谢！

标签： apache-kafka apache-nifi

【解决方案1】：

如果我正确理解您的设置，则您依赖客户端来创建主题，即当 NiFi 尝试为不存在的主题生成/使用/获取元数据时创建主题。在这种情况下，Kafka 将为代理配置中定义的新主题使用 num.partitions 和 default.replication.factor 设置。（Kafka 默认为 1。）目前，在server.properties 中更新这些值是控制自动创建主题配置的唯一方法。

KIP-487 正在开发中，以允许生产者控制主题创建（而不是作为服务器端的、一劳永逸的裁决），但即使在这种实现中，也没有计划让客户端控制主题的数量分区或复制因子。

【讨论】：