使用 pykafka 在 kafka 主题创建上创建多个分区

【问题标题】：Create multiple partitions on kafka topic creation using pykafka使用 pykafka 在 kafka 主题创建上创建多个分区
【发布时间】：2017-07-31 14:03:01
【问题描述】：

我正在使用以下代码使用pykafka python库api创建一个kafka主题。

from pykafka import KafkaClient
client = KafkaClient(hosts="127.0.0.1:9092")
topic = client.topics[topic_name]
producer = topic.get_producer(sync=True)
producer.produce('message'))

这里创建的主题默认只有 1 个分区。如何使用 pykafka 为主题分配多个分区

topic.number_of_partitons=3?

【问题讨论】：

标签： python apache-kafka pykafka

【解决方案1】：

您注意到 pykafka 对主题自动创建的支持。通过client.topics dict 访问尚不存在的主题时，将使用代理配置中定义的默认设置自动创建该主题。

Pykafka 还支持 CLI 与 Kafka 0.10.1 中的主题创建和删除 API 集成。有关如何使用它的信息，请参阅source code。这是一个例子：

python pykafka/cli/kafka_tools.py --broker_version 0.10.1 create_topic --num_partitions 3 --rpelication_factor 2 cli_testtopic

【讨论】：