Confluent 的 Docker 映像 - 添加 Confluent Hub 连接器答案

【问题标题】：Docker image for Confluent - adding Confluent Hub connectorsConfluent 的 Docker 映像 - 添加 Confluent Hub 连接器
【发布时间】：2021-01-05 21:14:12
【问题描述】：

我想稍微修改 Confluent 的 Git 存储库 Dockerfile 以在我的 Confluent Connect 页面中包含 mongoDB 和 Snowflake 连接。一切正常，但我在门户中看不到它们。

docker-compose.yml也应该修改吗？

原码：

FROM confluentinc/cp-server-connect-base:5.5.1

ENV CONNECT_PLUGIN_PATH="/usr/share/java,/usr/share/confluent-hub-components"

ARG CONNECTOR_NAME
RUN confluent-hub install --no-prompt confluentinc/${CONNECTOR_NAME}:5.5.0

修改后的代码：

FROM confluentinc/cp-server-connect-base:5.5.1

ENV CONNECT_PLUGIN_PATH="/usr/share/java,/usr/share/confluent-hub-components"

ARG CONNECTOR_NAME
RUN confluent-hub install --no-prompt confluentinc/${CONNECTOR_NAME}:5.5.0 \
   && confluent-hub install --no-prompt mongodb/kafka-connect-mongodb:1.2.0 \
   && confluent-hub install --no-prompt snowflakeinc/snowflake-kafka-connector:1.4.3

【问题讨论】：

Unable to parse plugin id, make sure it has format: <owner>/<name>:<version|latest> 是我在尝试构建文件时也遇到的错误。
请提供您的 docket-compose.yml
还有你的 docker 构建命令
github.com/marcin2x4/confluentlearn/find/master
$ docker build github.com/marcin2x4/confluentlearn/find/master

标签： docker apache-kafka apache-kafka-connect confluent-platform confluent-control-center

【解决方案1】：

我认为您可以尝试执行以下操作。

修改你的Dockerfile:

FROM confluentinc/cp-server-connect-base:5.5.1

ENV CONNECT_PLUGIN_PATH="/usr/share/java,/usr/share/confluent-hub-components"

RUN confluent-hub install --no-prompt mongodb/kafka-connect-mongodb:1.2.0 \
   && confluent-hub install --no-prompt snowflakeinc/snowflake-kafka-connector:1.4.3

因为您只需要安装mongodb 和snowflake 连接器。

在docker-compose.yml 中使用您的自定义图像：

...
  connect:
    # image: cnfldemos/cp-server-connect-datagen:0.3.2-5.5.0
    build: .
    hostname: connect
    container_name: connect
...

【讨论】：

第一部分已完成，但我不知道如何创建 docker-compose 文件。
从这里添加行github.com/meddlin/cpat/blob/…
我找到了适用于您的案例的说明：github.com/meddlin/cpat/blob/…
因此您可以构建自己的带有标签的 kafka 连接图像（例如 my-custom-image:1.0.0），然后在 docker-compose 中使用它。或者直接告诉 docker-compose 构建镜像（见我的回答）
有趣的是，当我在 Dockerfile 文件中添加 && confluent-hub install --no-prompt snowflakeinc/snowflake-kafka-connector:1.4.3 行时，一切正常。当我对以前的文件执行相同操作时，并非所有组件都已安装。并不重要，但值得一提。