【发布时间】:2016-10-26 11:06:06
【问题描述】:
我是 Kafka 新手,我有一个代理节点,我在其中创建了一个包含 1 个副本和 1500 个分区的主题。我已经在这个特定主题中抽取了大量数据。现在有什么办法,我可以弄清楚哪个分区有多少数据?
我在向 kafka 发送数据时没有发送任何密钥,所以我知道它会以循环方式选择分区,但我想看看这 1500 个分区中每个分区有多少数据。有没有办法解决这个问题?
【问题讨论】:
标签: java apache-kafka
我是 Kafka 新手,我有一个代理节点,我在其中创建了一个包含 1 个副本和 1500 个分区的主题。我已经在这个特定主题中抽取了大量数据。现在有什么办法,我可以弄清楚哪个分区有多少数据?
我在向 kafka 发送数据时没有发送任何密钥,所以我知道它会以循环方式选择分区,但我想看看这 1500 个分区中每个分区有多少数据。有没有办法解决这个问题?
【问题讨论】:
标签: java apache-kafka
运行命令:
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list host:port --topic your_topic --time -1
结果列出了每个分区的偏移量,可以认为是产生的消息号。
【讨论】:
topic:1103:2976 的内容,这是什么意思?我认为这个分区是 1103 但这里的 2976 是什么?