kafka + 如何避免磁盘存储空间不足

Question

我想描述以下在我们的一个生产集群上的案例

我们有 HDP 版本 2.6.4 的 ambari 集群

集群包括 3 台 kafka 机器——而每个 kafka 有 5 个 T 的磁盘

我们看到的是所有 kafka 磁盘都是 100% 大小的，所以 kafka 磁盘已满，这就是所有 kafka 代理失败的原因

df -h /kafka
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdb         5T   5T   23M   100% /var/kafka

经过调查，我们看到log.retention.hours=7 days

所以似乎清除是在 7 天之后，也许这就是 kafka 磁盘已满 100% 的原因，即使它们很大 - 5T

我们现在要做的是——未来如何避免这种情况？

所以

我们想知道——如何避免 kafka 磁盘上的全部使用容量

我们需要在 Kafka 配置中设置什么，以便根据磁盘大小清除 kafka 磁盘 - 可以吗？

以及如何知道log.retention.hours 的正确值？根据磁盘大小还是其他？

Answer 1

在 Kafka 中，有两种类型的日志保留； 大小和时间保留。前者由log.retention.bytes 触发，后者由log.retention.hours 触发。

在您的情况下，您应该注意有时很难配置的 size 保留。假设您需要delete 清理策略，您需要将以下参数配置为

log.cleaner.enable=true
log.cleanup.policy=delete

那么你需要考虑log.retention.bytes、log.segment.bytes和log.retention.check.interval.ms的配置。为此，您必须考虑以下因素：

• log.retention.bytes 是主题的单个分区的最低保证，这意味着如果您将log.retention.bytes 设置为 512MB，则意味着您将始终拥有 512MB 的数据（每分区）在您的磁盘中。

• 同样，如果您在任何给定时间将 log.retention.bytes 设置为 512MB 并将 log.retention.check.interval.ms 设置为 5 分钟（这是默认值），您将拥有至少 512MB 的数据+ 在触发保留策略之前的 5 分钟窗口内产生的数据大小。

• 磁盘上的主题日志由段组成。段大小取决于log.segment.bytes 参数。对于log.retention.bytes=1GB 和log.segment.bytes=512MB，磁盘上始终最多有3 个段（2 个达到保留段，第3 个将是当前写入数据的活动段）。

最后，您应该进行数学运算并计算 Kafka 日志在任何给定时间可能在您的磁盘上保留的最大大小，并相应地调整上述参数。当然，我也建议设置时间保留策略并相应地配置log.retention.hours。如果 2 天后您不再需要您的数据，请设置 log.retention.hours=48。

Answer 2

我认为你有三个选择：

1) 增加磁盘大小，直到您注意到由于您的增加和当前的 7 天保留政策，您有足够的可用空间。对我来说，一个舒适的免费量约为 40%（但这是个人喜好）。

2) 将您的保留政策降低到例如 3 天，然后查看您的磁盘在一段时间后是否仍满。正确的保留期因不同的用例而异。如果您在出现问题时不需要备份 Kafka 上的数据，那么只需选择一个非常低的保留期。如果您需要这 7 天的数据至关重要，那么您不应该更改时间段，而是更改磁盘大小。

3) 选项 1 和 2 的组合。

有关最佳保留政策的更多信息：Kafka optimal retention and deletion policy