【问题标题】:How much data can Kafka topic store?Kafka 主题可以存储多少数据?
【发布时间】:2014-09-20 02:18:44
【问题描述】:

我完整阅读了 Kafka 0.8.0 的文档,但找不到这个问题的答案。如果有人有使用 Kafka 的经验,那么假设您的硬件尚未达到故障点,它可以容纳的最大数据量是多少。我们计划将我们的有效载荷存储在 kafka 中以用于 DR 目的。

【问题讨论】:

    标签: apache-kafka persistent-storage


    【解决方案1】:

    Kafka 本身没有限制。 当数据来自生产者时,它将以文件段的形式写入磁盘,这些段被轮换 根据配置基于时间 (log.roll.hours) 或大小 (log.segment.bytes)。

    根据可以关闭的保留配置(log.cleanup.policy、log.retention.minutes、log.retention.bytes)删除较旧的段。

    但请注意,代理将保持每个段文件打开,因此请确保您的文件描述符限制已相应设置。

    代理配置文档: http://kafka.apache.org/documentation.html#brokerconfigs

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2022-01-11
      • 2021-05-10
      • 1970-01-01
      • 1970-01-01
      • 2012-05-21
      • 2019-11-26
      • 1970-01-01
      相关资源
      最近更新 更多