使用 Kafka 管理器或 Kafka cli 减少主题复制因子

Question

目前在 Kafka 0.9.0.1 中为特定主题配置了 22 个副本。

是否可以将主题的复制因子降低到3？

如何通过 Kafka CLI 或 Kafka Manager 进行操作？

我找到了一种只增加副本数的方法here

Answer 1

是的。可以使用以下两步过程更改（增加或减少）复制因子：

1. 首先，您需要以 json 文件的形式为给定主题创建一个分区分配结构。这是一个例子：

   {
    "version":1,
    "partitions":[
         {"topic":"<topic-name>","partition":0,"replicas":[<broker-ids>]},
         {"topic":"<topic-name","partition":1,"replicas":[<broker-ids>]},
         ...
         {"topic":"<topic-name","partition":n,"replicas":[<broker-ids>]},
    ]
   }
   

   以任何名称保存此文件。假设 - decrease-replication-factor.json。 注意 - 最后的 <broker-ids> 代表您希望副本存在的代理 ID 的逗号分隔列表。

2. 运行脚本kafka-reassign-paritions，并通过以下方式提供上述json作为输入：

   `kafka-reassign-partitions --zookeeper <zookeeper-server-list>:2181 
   --reassignment-json-file decrease-replication-factor.json --execute`
   

现在，如果您对给定主题运行 describe 命令，您应该会根据提供的 json 看到减少的副本。

Kafka 社区还创建了一些工具可以帮助您实现这一目标。 Here is one such example 由 LinkedIn 创建。