使用 NodeJS Kafka 和 Docker 的问题，解析的主机是容器 ID

Question

我正在运行 CentOS 7.5 虚拟机，我正在尝试将 ZooKeeper/Kafka 服务器运行到容器中（使用 docker compose）。

我正在使用 kafka-node(2.6.1) 来使用 Kafka。直接在 VM 上运行时一切正常。但是当 Kafak 服务器被 dockerized 时，会出现一个与 IPv6 相关的问题。

当我在容器外（在主机上）使用/bin/kafka-topics.sh 脚本时，我可以在 Kafka 服务器上创建主题，这意味着容器正常并且端口（2181、9092）已打开。

这是我正在使用的版本：

//CentOS Version
SB Version:    :core-4.1-amd64:core-4.1-noarch
Distributor ID: CentOS
Description:    CentOS Linux release 7.5.1804 (Core)
Release:        7.5.1804
Codename:       Core

//nodejs verison
5.3.0

//kafka version
2.11-2.0.0

// docker version
Client:
 Version:           18.06.0-ce
 API version:       1.38
 Go version:        go1.10.3
 Git commit:        0ffa825
 Built:             Wed Jul 18 19:08:18 2018
 OS/Arch:           linux/amd64
 Experimental:      false
Server:
 Engine:
  Version:          18.06.0-ce
  API version:      1.38 (minimum version 1.12)
  Go version:       go1.10.3
  Git commit:       0ffa825
  Built:            Wed Jul 18 19:10:42 2018
  OS/Arch:          linux/amd64
  Experimental:     false
  
//docker compose version
docker-compose version 1.21.2, build a133471
docker-py version: 3.4.1
CPython version: 2.7.5
OpenSSL version: OpenSSL 1.0.2k-fips  26 Jan 2017

这是我的 nodejs 脚本，当 kafka 在主机上时可以正常工作，但当 kafka 在 docker 中时不能正常工作：

var fs = require('fs'),
    kafka = require('kafka-node'),
    path = require('path'),
    cassandra = require('cassandra-driver'),
    moment = require('moment');
//Producer
const client = new kafka.Client("127.0.0.1:2181");

const producer = new kafka.HighLevelProducer(client);
var interval;
console.log('Hello');

producer.on("ready", function () {
    console.log("Ingestion Complete Event Producer is connected and ready.");
    interval = setInterval(function () {
        _scanDirectoryAndTagReport();
    }, (process.argv[2] || 1500));
});
producer.on('error', function(err) {
    console.log('error', err);
    
});

这是我从 VM 运行此脚本时的输出：

Hello
Ingestion Complete Event Producer is connected and ready.
error { Error: getaddrinfo ENOTFOUND d98e973bc4a7 d98e973bc4a7:9092
    at errnoException (dns.js:28:10)
    at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:79:26)
  code: 'ENOTFOUND',
  errno: 'ENOTFOUND',
  syscall: 'getaddrinfo',
  hostname: 'd98e973bc4a7',
  host: 'd98e973bc4a7',
  port: '9092' } 
error { Error: getaddrinfo ENOTFOUND d98e973bc4a7 d98e973bc4a7:9092
    at errnoException (dns.js:28:10)
    at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:79:26)
  code: 'ENOTFOUND',
  errno: 'ENOTFOUND',
  syscall: 'getaddrinfo',
  hostname: 'd98e973bc4a7',
  host: 'd98e973bc4a7',
  port: '9092' } 
  error { Error: getaddrinfo ENOTFOUND d98e973bc4a7 d98e973bc4a7:9092
    at errnoException (dns.js:28:10)
    at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:79:26)
  code: 'ENOTFOUND',
  errno: 'ENOTFOUND',
  syscall: 'getaddrinfo',
  hostname: 'd98e973bc4a7',
  host: 'd98e973bc4a7',
  port: '9092' } 
  error { Error: getaddrinfo ENOTFOUND d98e973bc4a7 d98e973bc4a7:9092
    at errnoException (dns.js:28:10)
    at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:79:26)
  code: 'ENOTFOUND',
  errno: 'ENOTFOUND',
  syscall: 'getaddrinfo',
  hostname: 'd98e973bc4a7',
  host: 'd98e973bc4a7',
  port: '9092' } 
  error { Error: getaddrinfo ENOTFOUND d98e973bc4a7 d98e973bc4a7:9092
    at errnoException (dns.js:28:10)
    at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:79:26)
  code: 'ENOTFOUND',
  errno: 'ENOTFOUND',
  syscall: 'getaddrinfo',
  hostname: 'd98e973bc4a7',
  host: 'd98e973bc4a7',
  port: '9092' } 
  error { Error: getaddrinfo ENOTFOUND d98e973bc4a7 d98e973bc4a7:9092
    at errnoException (dns.js:28:10)
    at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:79:26)
  code: 'ENOTFOUND',
  errno: 'ENOTFOUND',
  syscall: 'getaddrinfo',
  hostname: 'd98e973bc4a7',
  host: 'd98e973bc4a7',
  port: '9092' } 

错误消息正在循环。

有人有线索吗？

祝你有美好的一天，

NeitoFR

编辑 1：正如评论中指出的，这不是 IPv6 相关问题，但问题是我的生产者解析的主机是容器 ID

Answer 1

我找到了一个解决方案，您可以在 docker-compose.yml 中指定一个主机名，并将 nodejs 客户端设置为连接到该主机名。

这是 .yml ：

version: '3'

services:
  kafkazoo:
    build: ./kafka
    hostname: kafkazoo
    ports:
      - 9092:9092
      - 2181:2181
  data_input_service:
    build: ./data_input_service
    # environment:
    #   - SCRIPT_NAME=pull_data_service.js
    volumes: 
      - /predix/shared/linux_shared/JSON_REPORTS:/data/JSON_REPORTS
    depends_on: 
      - kafkazoo
  external_pull_data_service:
    build: ./external_pull_data_service
    # environment:
    #   - SCRIPT_NAME=report_generator.js
    volumes: 
      - /predix/shared/linux_shared/JSON_REPORTS:/data/JSON_REPORTS
    depends_on: 
      - kafkazoo

如您所见，我添加了主机名：kafakazoo，这是新的 Kafka 客户端：

const client = new kafka.Client("kafkazoo:2181");

const producer = new kafka.HighLevelProducer(client);

而且效果很好

感谢Michael Hampton