【问题标题】:Kafka Producer: Got error produce response with correlation NETWORK_EXCEPTIONKafka Producer:得到与相关 NETWORK_EXCEPTION 相关的错误生成响应
【发布时间】:2018-01-26 00:49:24
【问题描述】:

我们在 2 台服务器上以分布式模式运行 kafka。 我通过 Java sdk 将消息发送到 Kafka 到具有复制因子 2 和 1 分区的队列。

我们正在异步模式下运行。 我在 Kafka 日志中没有发现任何异常。 任何人都可以帮助找出可能的原因吗?

    Properties props = new Properties();
            props.put("bootstrap.servers", serverAdress);
            props.put("acks", "all");
            props.put("retries", "1");
            props.put("linger.ms",0);
            props.put("buffer.memory",10240000);
            props.put("max.request.size", 1024000);
            props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
            props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

   Producer<String, Object> producer = new org.apache.kafka.clients.producer.KafkaProducer<>(props);

异常跟踪:

-2017-08-15T02:36:29,148 [kafka-producer-network-thread | producer-1] WARN producer.internals.Sender - 得到错误产生响应 主题分区 BPA_BinLogQ-0 上的相关 id 353736,重试(0 尝试离开)。错误:NETWORK_EXCEPTION

【问题讨论】:

  • 嘿,你是怎么解决这个问题的?非常感谢您的帮助。

标签: apache-kafka kafka-producer-api


【解决方案1】:

你得到一个 NETWORK_EXCEPTION 所以这应该告诉你与你正在生产的 Kafka 代理的网络连接有问题。代理关闭或 TCP 连接由于某种原因被关闭。

【讨论】:

  • 是否有具体原因/踪迹? NETWORK_EXCEPTION 是通用的,无法确定哪个出了问题。经纪人肯定不会关闭
  • 代理日志是否同时显示任何内容?错误是暂时的还是一直发生?你是通过明文端口还是 SSL 连接的?
  • 我没有同时在日志中发现任何异常。我通过将 serverAddress 属性作为 serverIP:port 进行连接。这是我们第一次遇到这个错误
  • 尝试 TRACE 级别的日志以获取更多详细信息。这是从 0.9 issues.apache.org/jira/browse/KAFKA-2120 开始添加此功能的 KIP。您是否可能遇到网络中断?
  • 嘿,你是怎么解决这个问题的?非常感谢您的帮助。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2013-03-31
  • 1970-01-01
  • 2016-12-23
  • 1970-01-01
相关资源
最近更新 更多