修改Kafka主题复制因子后会发生什么？

Question

根据docs，你只是修改了一个主题，增加了复制因子。

 > bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic my_topic_name 
       --partitions 20 --replication-factor 3 --config x=y

不幸的是，它没有指定修改主题后会发生什么。现有的日志段会被复制到新的副本，还是只复制新的消息？

Answer 1

对于 kafka 10，您需要调用 kafka-reassign-partitions.sh 脚本来更改主题的复制因子。 这是一个脚本的演示，它将在更改前后显示主题：

updateTopicReplication() {
    TOPIC_NAME=$1
    REPLICAS=$2

    echo "****************************************"
    echo "describe $TOPIC_NAME"
    bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic $TOPIC_NAME

    JSON_FILE=./configChanges/${TOPIC_NAME}-update.json
    echo $JSON_FILE
    [ -e $JSON_FILE ] && rm $JSON_FILE

    touch $JSON_FILE

    echo -e "{\"version\":1, \"partitions\":[{\"topic\":\"${TOPIC_NAME}\",\"partition\":0,\"replicas\":[${REPLICAS}]}]}" >> $JSON_FILE

    echo "****************************************"
    echo "updateing $TOPIC_NAME"
    bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file $JSON_FILE --execute

    echo "****************************************"
    echo "describe $TOPIC_NAME"
    bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic $TOPIC_NAME
}

Answer 2

根据我在问题中提到的相同文档，似乎 kafka 实际上不支持增加（或减少）主题的复制因子。