【问题标题】:Kafka Console Consumer : Connection to node -1 could not be established. Broker may not be availableKafka 控制台使用者:无法建立与节点 -1 的连接。经纪人可能不可用
【发布时间】:2019-01-10 07:53:36
【问题描述】:

我现在关闭Kafka中的一个节点(3个节点的集群)当我消费其他节点时,我遇到这个消息?

[2018-04-20 22:03:47,053] WARN [Consumer clientId=consumer-1, groupId=console-consumer-36123] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

【问题讨论】:

  • 您能添加您的消费者配置吗?如果bootstrap.servers 只包含一个节点,即你关闭的节点,消费者将不会连接到集群。

标签: apache-kafka


【解决方案1】:

发生这种情况的原因有几个,但您收到的是node -1,因此未建立与代理的连接(如错误所示,它不可用)。您应该首先描述该主题,以便查看哪些分区和代理 ID可用

例如,如果您的主题的副本少于 2 个,因此它在每个代理上都不可用,那么您会看到类似的异常。

如果要保证高可用的主题,那么需要保证复制因子至少为2或3,那么min.insync.replicas也大于1,再加上Producer中的acks=all可以保证数据是为每个发送的批次复制。然后,您的消费者看到该消息的机会就会降低。

【讨论】:

    猜你喜欢
    • 2018-05-20
    • 2021-08-18
    • 1970-01-01
    • 2018-04-11
    • 2019-10-03
    • 2018-07-05
    • 1970-01-01
    • 1970-01-01
    • 2019-12-27
    相关资源
    最近更新 更多