Kafka日志文件夹太大

Question

我们的 kafka 日志文件夹中有大量数据（从 14 个月开始）。 Kafka 是默认编写这些的。

Location of server.xml: /install/kafka_2.10-0.8.2.2/config/server.xml

 Here is the setting in server.xml:   log.dirs=/install/kafka-logs

1. 我想删除去年的日志。这会导致任何问题吗？我需要吗 停止 kafka 或者我可以在它运行时禁用去年的日志吗？

2. 如何禁用/减少对此文件夹的日志记录？

Answer 1

不确定该术语是否让您感到困惑 - 此文件夹的内容不是日志文件，因为其中记录了诸如“Kafka Broker started”之类的日志。它包含传入消息附加到的日志文件，因此此文件夹包含您宝贵的 Kafka 数据。

您应该为您的主题设置适当的保留时间（并在代理级别设置合理的默认值），以便在不再需要消息时清除它们（默认值为 7 天）。消息将至少保留该时间段，并且在此之后的任何时间都可能被删除（由于日志文件的结构，它不是严格的时间戳）。

对于 1：您可以在运行时更改主题级别的保留时间 bin/kafka-topics.sh --zookeeper <zk> --alter --topic <topic> --config retention.ms=<retention in ms>

2：减少这种情况的唯一方法是 a) 发送更少的消息或 b) 减少主题的复制因子。这可能不是你想要的。