带有 Confluent 组件的原生 Apache Kafka 和 Zookeeper？答案

【问题标题】：Native Apache Kafka and Zookeeper with Confluent components?带有 Confluent 组件的原生 Apache Kafka 和 Zookeeper？
【发布时间】：2018-07-07 03:49:43
【问题描述】：

能否请您告诉我有关 Apache Kafka 和 Zookeeper（本地 Apache 发行版）与某些 Confluent 组件的兼容性。我已经在我的环境中安装了 Kafka 和 Zookeeper 作为多节点集群。但现在我需要添加 schema-registry、kafka-connect。

所以我实际上尝试从他们的官方 docker 镜像部署 Confluent Schema 注册表。我登录并能够在端口 9093 上成功远程登录 kafka 代理

root@schema-0:/usr/bin# telnet kafka-0.kafka-hs 9093
Trying 10.244.3.47...
Connected to kafka-0.kafka-hs.log-platform.svc.cluster.local.
Escape character is '^]'.

在我尝试做一些测试后：

# /usr/bin/kafka-avro-console-producer \
  --broker-list localhost:9093 --topic bar \
  --property value.schema='{"type":"record","name":"myrecord","fields" \
  [{"name":"f1","type":"string"}]}'

添加一些值：

{"f1": "value1"}

但没有运气:(。出现下一个错误：

value.serializer = class org.apache.kafka.common.serialization.ByteArraySerializer
 (org.apache.kafka.clients.producer.ProducerConfig)

[2018-01-28 11:23:23,561] INFO Kafka version : 1.0.0-cp1 (org.apache.kafka.common.utils.AppInfoParser)

[2018-01-28 11:23:23,561] INFO Kafka commitId : ec61c5e93da662df (org.apache.kafka.common.utils.AppInfoParser){"f1": "value1"}

[2018-01-28 11:23:36,233] WARN [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

[2018-01-28 11:23:36,335] WARN [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2018-01-28 11:23:36,486] WARN [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

整个系统都在 Kubernetes 上运行

【问题讨论】：

我认为您需要正确设置广告监听器，以便生产者可以联系到代理。
为什么不直接使用 Confluent 中的 Kafka 和 Zookeeper？他们不会修改这些来源，只会添加它们。换句话说，它是完全兼容的，但是您的设置（您没有显示）不正确。比如Kafka默认端口是9092

标签： apache-kafka confluent-platform

【解决方案1】：

Confluent Platform 是 Apache Kafka，但捆绑了其他组件（例如 Schema Registry）。

您遇到的错误与网络配置有关。您需要确保您的 Broker 可用于其他节点，包括 Schema Registry。在您的 Schema Registry 配置中，您指定了 broker-list localhost:9093 但这应该是您的 Kafka 代理。此外，正如 Dmitry Minkovsky 所提到的，请确保您已在代理中设置了广告侦听器。 This article 可能会有所帮助。

【讨论】：

谢谢，罗宾！是的，我认为这是一个连接问题。现在它可以工作了，但是 Confluent Kafka Connect 存在另一个问题（它是一个不同的容器）。我正在尝试使用“confluent.connect.avro.AvroConverter”而不是“org.apache.kafka.connect.json.JsonConverter”，我收到这样的错误“线程“主”io.confluent.common 中的异常。 config.ConfigException：缺少没有默认值的必需配置“schema.registry.url”。所以容器在启动后崩溃
将此问题标记为已回答，并为您的其他问题打开一个新问题:)