【问题标题】:pykafka can not connect kafka brokerpykafka 无法连接 kafka 代理
【发布时间】:2016-01-21 17:54:56
【问题描述】:

当我使用pykafka通过以下代码连接kafka集群时:

from pykafka import KafkaClient
client = KafkaClient(hosts="10.0.0.101:9092")

我得到如下异常:

引发异常('无法连接到代理以获取元数据。')

异常:无法连接到代理以获取元数据。

但是当我使用命令行如:

kafka-console-producer --broker-list 10.0.0.101:9092 --topic userCND

它工作正常,但只是给我一个警告信息:

WARN 属性主题无效 (kafka.utils.VerifiableProperties)

【问题讨论】:

  • 如果可能,请发布您的日志

标签: apache-kafka kafka-python


【解决方案1】:

您使用的是哪个版本的 Kafka? pykafka目前只支持0.8.2,不支持0.9.0。

您可能希望改用 REST API。在此处了解有关 REST API 的更多信息:

http://docs.confluent.io/2.0.0/kafka-rest/docs/index.html

【讨论】:

  • 我不确定 pykafka 与 0.8.0 的兼容性情况如何。通常,将 REST API 用于非 Java、非 C 客户端会更安全。 Java 客户端由 Kafka 社区维护,C 客户端非常扎实,REST API 由 Confluent 维护。所有其他客户端都由第 3 方维护,并且经常出现问题(至少从我所见)。
  • PyKafka 现在支持 Kafka 代理 >=0.8.2。我无法谈论与 0.8.0 的兼容性故事,因为我从未亲自测试过这么旧的代理,但我相信某些功能会降级。如果这仍然是个问题,我建议升级到更新的 Kafka 代理版本。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2018-10-18
  • 2021-12-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-10-29
  • 2018-06-16
相关资源
最近更新 更多