如何更改 Kafka 客户端日志记录级别/首选项？

Question

我正在使用一个普通的 Java 项目来运行（无框架）Kafka 生产者和消费者。

我正在尝试控制KafkaProducer 和KafkaConsumer 代码生成的日志，我无法使用log4j.properties 配置对其进行影响：

log4j.rootLogger=ERROR,stdout

log4j.logger.kafka=ERROR,stdout
log4j.logger.org.apache.kafka.clients.producer.ProducerConfig=ERROR,stdout
log4j.logger.org.apache.kafka.common.utils.AppInfoParser=ERROR,stdout
log4j.logger.org.apache.kafka.clients.consumer.internals.AbstractCoordinator=ERROR,stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%d] %p %m (%c)%n

无论我在log4j.properties 文件中提供什么设置，我仍然得到如下所示的日志输出：

[main] INFO org.apache.kafka.clients.producer.ProducerConfig - ProducerConfig values:
...
[main] INFO org.apache.kafka.clients.producer.ProducerConfig - ProducerConfig values:
...
[main] INFO org.apache.kafka.clients.producer.ProducerConfig - ProducerConfig values:
...
[main] INFO org.apache.kafka.clients.consumer.internals.AbstractCoordinator - [Consumer clientId=UM00160, groupId=string-group] (Re-)joining group

如何控制 Kafka 客户端库的日志记录？将我的 log4j.properties 文件链接到 Kafka 客户端库日志记录我缺少什么？为了不向输出发送垃圾邮件，我必须使用：mvn test 2> /dev/null 运行 Maven 测试。我可以通过log4j.properties 进行配置吗？

上下文：

我有以下相关文件：

── test
   ├── java
   │   └── com
   │       └── example
   │           ├── PropertyReader.java
   │           └── strings
   │               └── TestKafkaStringValues.java
   └── resources
       ├── application.properties
       └── log4j.properties

我正在尝试使用 Maven surefire 插件 (mvn test) 或 Eclipse JUnit 插件（等效于 java ...）来运行 TestKafkaStringValues.java。

为了万无一失，我在 Maven pom.xml 中使用以下配置：

<plugin>
    <artifactId>maven-surefire-plugin</artifactId>
    <version>2.22.2</version>
    <configuration>
        <systemPropertyVariables>
            <log4j.configuration>file:log4j.properties</log4j.configuration>
        </systemPropertyVariables>
    </configuration>
</plugin>

对于 JUnit，我使用以下 Java VM 参数：-Dlog4j.configuration=log4j.properties。

我还尝试在这两种情况下使用log4j.properties 的绝对路径。还是不行。

你可以看到完整的代码here。

Answer 1

上面代码中的问题是 Maven 运行时依赖项（缺少实际的 Log4j 日志记录实现）。在 pom 中，提供了 slf4j-simple 日志实现。这个实现是：

• 能够将 Kafka 日志打印到标准输出
• 无法理解 log4j.properties 或 -Dlog4j.* 属性。

因此，曾经必须包含在 Log4J 实现中。在这里可以选择Log4j 1.x（生命终结）或Log4j2。

通过以下配置，应该能够对日志记录（包括 Kafka 客户端）进行非常全面/精细的控制。

在pom.xml：

<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-api</artifactId>
    <version>2.13.1</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-core</artifactId>
    <version>2.13.1</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-slf4j-impl</artifactId>
    <version>2.13.1</version>
    <scope>test</scope>
</dependency>

虽然log4j-api 和log4j-core 是您需要的最低要求。为了使 Log4j2 也能够控制/配置在 SLF4J 之上编写的库/组件（Kafka 客户端就是这样一个库），您需要添加第三个依赖项：log4j-slf4j-impl。

注意：请注意，对于使用 SLF4J 1.8.x 及更高版本的库，您将需要此 Log4j-SLF4J 适配器的另一个版本。看到这个for more information。

现在关于配置日志记录，Log4j2 会自动加载它找到的配置文件，自动在multiple locations 中搜索。

如果您将以下log4j2.properties 文件放在资源类路径中（在src/java/resources/ 中用于主代码，在src/test/resource 中用于测试代码），您将获得所需的结果：

rootLogger.level = info
rootLogger.appenderRefs = stdout
rootLogger.appenderRef.stdout.ref = STDOUT

appenders = stdout

appender.stdout.name = STDOUT
appender.stdout.type = Console
appender.stdout.layout.type = PatternLayout
appender.stdout.layout.pattern =%d{yyyy-MM-dd HH:mm:ss.SSS} [%level] [%t] %c - %m%n

loggers = kafka, kafka-consumer

logger.kafka.name = org.apache.kafka
logger.kafka.level = warn

logger.kafka-consumer.name = org.apache.kafka.clients.consumer
logger.kafka-consumer.level = info

在上面的示例中，所有日志记录都写入stdout 并且： * 根记录器正在记录info 及以上 * 所有以org.apache.kafka 为前缀的记录器记录warn 及以上 * 所有以org.apache.kafka.clients.consumer 为前缀的记录器都在记录info 及更高版本

以下是使用 Log4j2 时的一些额外观察：

• 如果您需要 JSON 或 YAML 配置，则需要额外的依赖项
• 如果 Log4j 配置不正确，Eclipse 中的 JUnit 插件将静默终止而没有任何输出。 mvn 输出会显示错误。