Kafka：根据滞后自动调整保留答案

【问题标题】：Kafka: Adjust retention automatically based on lagKafka：根据滞后自动调整保留
【发布时间】：2020-09-03 09:18:48
【问题描述】：

鉴于我编写了一个从 IoT 设备收集数据并让我的客户通过向我提供他们的 http 端点凭据来订阅这些数据的应用程序。

我必须处理他们的端点没有响应或速度很慢，因此我将缓冲消息直到发送（消耗），这将需要存储。

为了限制这个存储，我想知道我是否可以观察消费者的滞后，当达到阈值时自动增加主题保留（稍后会自动减少）

这将帮助我在默认情况下设置一个短暂的保留时间，并且能够在不丢失消息的情况下处理不可用的外部端点。（当然，如果延迟越来越大，我将不得不采取其他措施）。

那么我的问题是，这对 Kafka 可行吗？这样做时我应该注意些什么？

非常感谢

【问题讨论】：

【解决方案1】：

可以通过kafka命令行工具调整topic的保留时间：

bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name test --alter --add-config  retention.ms=55000

或者，如果您想在代码中执行此操作，请查看 TopicCommand 类。

【讨论】：