【问题标题】:How much data is there in which partition in Kafka?Kafka的哪个分区有多少数据?
【发布时间】:2016-10-26 11:06:06
【问题描述】:

我是 Kafka 新手,我有一个代理节点,我在其中创建了一个包含 1 个副本和 1500 个分区的主题。我已经在这个特定主题中抽取了大量数据。现在有什么办法,我可以弄清楚哪个分区有多少数据?

我在向 kafka 发送数据时没有发送任何密钥,所以我知道它会以循环方式选择分区,但我想看看这 1500 个分区中每个分区有多少数据。有没有办法解决这个问题?

【问题讨论】:

    标签: java apache-kafka


    【解决方案1】:

    运行命令:

    bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list host:port --topic your_topic --time -1

    结果列出了每个分区的偏移量,可以认为是产生的消息号。

    【讨论】:

    • 好的,我看到类似topic:1103:2976 的内容,这是什么意思?我认为这个分区是 1103 但这里的 2976 是什么?
    • 如果指定时间为-1,则表示最新的偏移量。
    猜你喜欢
    • 2023-04-05
    • 1970-01-01
    • 2021-08-30
    • 2020-03-07
    • 2017-04-01
    • 2020-12-24
    • 2017-03-28
    • 2017-11-28
    • 2018-02-16
    相关资源
    最近更新 更多