【发布时间】:2014-09-20 02:18:44
【问题描述】:
我完整阅读了 Kafka 0.8.0 的文档,但找不到这个问题的答案。如果有人有使用 Kafka 的经验,那么假设您的硬件尚未达到故障点,它可以容纳的最大数据量是多少。我们计划将我们的有效载荷存储在 kafka 中以用于 DR 目的。
【问题讨论】:
标签: apache-kafka persistent-storage
我完整阅读了 Kafka 0.8.0 的文档,但找不到这个问题的答案。如果有人有使用 Kafka 的经验,那么假设您的硬件尚未达到故障点,它可以容纳的最大数据量是多少。我们计划将我们的有效载荷存储在 kafka 中以用于 DR 目的。
【问题讨论】:
标签: apache-kafka persistent-storage
Kafka 本身没有限制。 当数据来自生产者时,它将以文件段的形式写入磁盘,这些段被轮换 根据配置基于时间 (log.roll.hours) 或大小 (log.segment.bytes)。
根据可以关闭的保留配置(log.cleanup.policy、log.retention.minutes、log.retention.bytes)删除较旧的段。
但请注意,代理将保持每个段文件打开,因此请确保您的文件描述符限制已相应设置。
代理配置文档: http://kafka.apache.org/documentation.html#brokerconfigs
【讨论】: