【问题标题】:Spring Boot and Kafka: Broker disconnectedSpring Boot 和 Kafka:Broker 断开连接
【发布时间】:2018-02-09 12:13:49
【问题描述】:

我已经设置了一个 Spring Boot 应用程序来接收来自现有和正在工作的 Kafka 生产者的 Kafka 消息。设置是标准的,基于以下内容:https://www.codenotfound.com/spring-kafka-consumer-producer-example.html

收不到消息,控制台不断显示如下:

WARN org.apache.clients.NetworkClient :Bootstrap broker <hostname>:9092 disconnected 

此外,还会记录以下调试消息:

org.apache.common.errors.Timeout: Failed to update metadata after 60000 ms.

控制台消息在以下链接中讨论: https://community.hortonworks.com/content/supportkb/150148/errorwarn-bootstrap-broker-6668-disconnected-orgap.html

此处讨论记录的消息: https://community.cloudera.com/t5/Data-Ingestion-Integration/Error-when-sending-message-to-topic-in-Kafka/td-p/41440

很可能,当第一个问题得到解决时,超时不会发生。

给出的控制台消息的解决方案是将--security-protocol SSL 作为参数显式传递给生产者或消费者命令。

鉴于我正在侦听现有的 Kafka 代理和主题,因此无法在此处更改任何设置。任何更改都必须在 Spring Boot 端。

是否可以配置application.yml 以便将--security-protocol SSL 传递给消费者的参数?另外,有没有人遇到过这种情况,有没有其他方法可以使用 Spring Boot 和 Spring Kafka 中的配置选项来解决这个问题?

谢谢

【问题讨论】:

  • 请上传代码
  • 你可以在外部启动Kafka和zookeeper(不是嵌入式)
  • Kafka 实例和 zookeeper 是外部的,不是嵌入式的。代码和配置基于上述资源。也记录在我之前的问题中:stackoverflow.com/questions/48667097/…。谢谢

标签: spring-boot apache-kafka kafka-consumer-api spring-kafka


【解决方案1】:

the documentation

向下滚动到 Kafka。可以使用设置任意 Kafka 属性

spring:
  kafka:
    properties:
      security.protocol: SSL

适用于消费者和生产者(以及 2.0 中的管理员)。

在即将发布的 2.0 版本(目前为 RC1)中,还有

spring:
  kafka:
    properties:
      consumer:
        some.property: foo

适用于仅适用于消费者的属性(同样适用于生产者和管理员)。

【讨论】:

  • 日志显示:org.apache.kafka.common.network.InvalidReceiveException:无效接收(大小 = 369296128 大于 104857600)。
  • Spring Boot 配置是否有类似批量大小的属性?
  • 您的代理似乎未配置 SSL;如果我在客户端上使用非 SSL 代理 [2018-02-12 11:04:45,700] WARN Unexpected error from /127.0.0.1; closing connection (org.apache.kafka.common.network.Selector) org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 369296128 larger than 104857600) 设置 SSL,我会收到相同的错误
猜你喜欢
  • 2016-12-20
  • 2022-11-05
  • 1970-01-01
  • 2017-05-07
  • 2020-08-07
  • 2015-12-27
  • 2017-02-15
  • 2017-11-14
  • 1970-01-01
相关资源
最近更新 更多