假设我有一个配置有一个分区的 kafka 代理
log.retention.bytes=80000
log.retention.hours=6
如果我尝试使用生产者 api 向代理发送记录并且主题的日志在保留期之前已满，会发生什么情况？
我的消息会被丢弃吗？ 或者kafka会从旧消息中释放一些空间并添加我的吗？
我如何知道主题是否已满，日志是否在使用前被删除？
有没有办法在主题已满时监控或公开指标？
【问题讨论】：
标签： apache-kafka kafka-producer-api
如果我尝试使用生产者 api 将记录发送到 经纪人和主题的日志在保留期之前已满？ 我的消息会被丢弃吗？或者 kafka 会从 旧消息并添加我的？
主题配置中的cleanup.policy 属性默认为delete，表示“删除策略将在达到保留时间或大小限制时丢弃旧段。”
因此，如果您使用生产者 api 发送记录并且主题已满，它将丢弃旧段。
我如何知道主题是否已满且日志是否正在被删除 在被消费之前？ 有没有办法在主题已满时监控或公开指标？
您可以使用以下脚本获取分区大小：
/bin/kafka-log-dirs.sh --describe --bootstrap-server : --topic-list
您将需要开发一个脚本，该脚本将在脚本之上运行以获取当前主题大小并定期将其发送给 Datadog。 在 Datadog 中，您可以创建在大小达到特定阈值时触发适当操作（例如发送电子邮件警报）的小部件。
【讨论】：
这并不完全正确，一个主题永远不会满，至少在默认情况下是这样。
我说默认是因为就像@Mukesh 说的cleanup.policy 会在达到保留时间或大小限制时丢弃旧段，但默认情况下没有大小限制，只有时间限制和处理它的属性是 @ 987654322@（默认设置为-1）。
它只会对消息设置时间限制，请注意retention.bytes 值是由分区设置的，因此要指定主题的限制，您必须乘以该主题的分区数。
编辑： kafka 导出了大量指标（在 JMX 中），在这些指标中，您可以找到有关段的全局指标（总数、每个主题的数量、大小、滚动段的速率等......）。
【讨论】：