Kafka Streams：配置“AdminClientConfig”或“ConsumerConfig”而不覆盖两者的值答案

【问题标题】：Kafka Streams: configuring `AdminClientConfig` or `ConsumerConfig` without overriding the values bothKafka Streams：配置“AdminClientConfig”或“ConsumerConfig”而不覆盖两者的值
【发布时间】：2019-09-25 22:49:52
【问题描述】：

使用 kafka 版本：2.0.1 和 kafka-streams-scala 版本 2.0.1

记录 DEBUG 消息，例如：

调试 2019-05-08 09:57:53,322 [he.kafka.clients.NetworkClient] [
] [ ]： [消费者 clientId=XXX-bd6b071d-a44f-4253-a3a5-539d60a72dd3-StreamThread-1-consumer, groupId=XXX] 由于请求而与节点 YYY 断开连接超时。”

导致我增加 request.timeout.ms 值：

  private val config: Properties = new Properties
  config.put(StreamsConfig.REQUEST_TIMEOUT_MS_CONFIG, "240000")
...
  private val streams: KafkaStreams = new KafkaStreams(topology, config)

但是，这会将 AdminClientConfig 和 ConsumerConfig 的新值设置为 240000ms（AdminClientConfig 和 ConsumerConfig 的默认 request.timeout.ms 值实际上是不同的——分别为 120000ms 和 40000ms )。

有没有办法为AdminClientConfig 或ConsumerConfig 设置Kafka Streams 配置值不覆盖两者的值？

【问题讨论】：

标签： scala apache-kafka kafka-consumer-api apache-kafka-streams

【解决方案1】：

您可以在任何配置前面加上 consumer. 或 admin. 以将其仅应用于一个客户端。

还有main.consumer.、restore.consumer.和global.consumer.，进一步区分不同的消费者。使用consumer. 作为前缀，配置应用于所有消费者。

最后，还有producer.前缀（为了完整起见就提一下）。

比较文档：https://docs.confluent.io/current/streams/developer-guide/config-streams.html#naming

【讨论】：