我的 kafka docker 容器无法连接到我的 zookeeper docker 容器

Question

我想同时使用 confluent/kafka 和 confluent/zookeeper 并在单个 Ubuntu 服务器上运行它们。

我正在使用以下配置：

docker run -e ZOOKEEPER_CLIENT_PORT=2181 --name zookeeper confluent/zookeeper

docker run --name kafka -e KAFKA_ADVERTISED_HOST_NAME=kafka -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 -e KAFKA_CREATE_TOPICS=testtopic:1:1 confluent/kafka

但是这会导致：无法连接到 zookeeper:2181

我想连接其他容器，如何通过 zookeeper:2181 访问 zookeeper 和通过 kafka:9092 访问 kafka？

Answer 1

有多种方法可以做到这一点。但在我们调查之前，您需要了解您的方法中有两个问题

• 当您使用 docker run 时，zookeper 主机无法访问，因为每个容器都在不同的网络隔离中运行
• kafka 可能会启动并尝试连接到 zookeeper 但 zookeeper 尚未准备好

解决网络问题

你可以做很多事情来解决问题

使用--net=host 在主机网络上同时运行

使用docker network create <name>，然后在启动两个容器时使用--net=<name>

或者您可以在 zookeeper 容器网络上运行您的 kafka 容器。

在启动 kafka 容器时使用 --net=container:zookeeper。这将确保zookeeper 主机是可访问的。除非您有充分的理由这样做，否则不建议这样做。因为一旦zookeeper 容器出现故障，您的kafka 容器的网络也会出现故障。但是为了便于理解，我把这个选项放在这里

解决启动竞赛问题

您可以在启动zookeeper 和kafka 之间保持一个间隔，以确保kafka 启动时zookeeper 启动并运行

另一种选择是在 docker run 中使用 --restart=on-failure 标志。这将确保容器在失败时重新启动，并尝试重新连接到zookeeper，希望zookeeper 的时间会到。

而不是使用docker run，我总是更喜欢docker-compose 来运行这样的链接容器。您可以通过创建一个简单的docker-compose.yml 文件然后使用docker-compsoe up 运行它来做到这一点

version: "3.4"
services:
  zookeeper:
    image: confluent/zookeeper
    environment:
      - ZOOKEEPER_CLIENT_PORT=2181
  kafka:
    image: confluent/kafka
    environment:
      - KAFKA_ADVERTISED_HOST_NAME=kafka
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      - KAFKA_CREATE_TOPICS=testtopic:1:1
    depends_on:
      - zookeeper
    restart: on-failure

Answer 2

虽然我在 Mac 上运行，但它运行良好。由于“主机”网络在 mac 中不起作用，我只需创建一个名为 kafka_net 的网络并将容器放在那里。

version: "3.4"
services:
  zookeeper:
    image: confluent/zookeeper
    environment:
      - ZOOKEEPER_CLIENT_PORT=2181
    networks:
      - kafka_net
  kafka:
    image: confluent/kafka
    environment:
      - KAFKA_ADVERTISED_HOST_NAME=kafka
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
    depends_on:
      - zookeeper
    networks:
      - kafka_net
    restart: on-failure
networks:
  kafka_net:
    driver: "bridge"

确保一切正常：

然后登录zookeeper容器

zookeeper-shell localhost:2181 => You should see something like 'Welcome to ZooKeeper!' after all the big chunk of text

然后登录kafka容器

kafka-topics --zookeeper zookeeper:2181 --list # empty list
kafka-topics --zookeeper zookeeper:2181 --create --topic first_topic --replication-factor 1 --partitions 1
kafka-topics --zookeeper zookeeper:2181 --list # you will see the first_topic
kafka-console-producer --broker-list localhost:9092 --topic first_topic # type some text and ctrl + c
kafka-console-consumer --bootstrap-server localhost:9092 --zookeeper zookeeper:2181 --topic first_topic --from-beginning # you will see the stuff you typed first_topic

如果仍然有问题，请查看官方示例。 https://github.com/confluentinc/cp-docker-images/tree/5.2.2-post/examples 并且仍在发布问题，将提供帮助。

Answer 3

Docker 在隔离网络中启动容器，称为default bridge，除非您明确指定网络。

您可以通过不同的方式取得成功，这里有两种最简单的方法：

1. 将容器放入同一个用户定义的桥接网络

   # create net
   docker network create foo
   docker run --network=foo -e ZOOKEEPER_CLIENT_PORT=2181 --name zookeeper confluent/zookeeper
   docker run --network=foo --name kafka -e KAFKA_ADVERTISED_HOST_NAME=kafka -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 -e KAFKA_CREATE_TOPICS=testtopic:1:1 confluent/kafka
   

2. 暴露端口并通过 localhost 连接

   docker run -p 2181:2181 -e ZOOKEEPER_CLIENT_PORT=2181 --name zookeeper confluent/zookeeper
   docker run --name kafka -e KAFKA_ADVERTISED_HOST_NAME=kafka -e KAFKA_ZOOKEEPER_CONNECT=host.docker.internal:2181 -e KAFKA_CREATE_TOPICS=testtopic:1:1 confluent/kafka
   

注意：在第二种方法中，您应该使用 host.docker.internal 作为主机名并为第一个容器公开（发布）端口 2181 以使其在 localhost 上可用