如何在 Minikube 中运行 Kafka-Connect？答案

【问题标题】：How to run Kafka-Connect in Minikube?如何在 Minikube 中运行 Kafka-Connect？
【发布时间】：2020-09-10 10:30:58
【问题描述】：

为了在我的本地 mac 中运行 cp S3-connect 来使用 kafka 主题，我做了类似下面的操作

    1. Installed Confluent Kafka connector and ran the kafka connect-standalone.sh
ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ confluent-hub install confluentinc/kafka-connect-s3:latest --component-dir /usr/local/share/java --worker-configs config/connect-distributed.properties 

ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ cd kafka_2.12-2.5.0

ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ bin/connect-standalone.sh config/connect-standalone.properties s3-sink.properties. // s3-sink.properties connector.class=io.confluent.connect.s3.S3SinkConnector

现在，为了在 minikube 中运行 Kafka S3 连接，我已经使用 cp-helm-charts 在 minikube 中安装了 Kafka-connect(kafka-connect-s3)，并帮助本教程 Using a connector with Helm-installed Kafka/Confluent。

如何在 kafka-connect pod 中复制 kafka 配置和脚本文件？
我是否需要登录 kafka-connect pod 才能运行 connect-standalone.sh 命令？

【问题讨论】：

标签： apache-kafka apache-kafka-connect minikube

【解决方案1】：

有一个从头开始的过程here。唯一的要求是 Minikube。

您需要的步骤如下：

启动 Minikube
使用 Strimzi Operator 部署 Kafka 集群
构建您自己的自定义映像，包括所需的插件和依赖项
使用该映像以分布式模式部署 Kafka Connect 集群
创建一个传递配置 YAML 的 KafkaConnector 实例

【讨论】：

【解决方案2】：

如何在 kafka-connect pod 中复制 kafka 配置和脚本文件

你不应该复制任何东西。一切都由 env-vars 配置。 Helm 图表应该主要记录这些变量的工作方式。

Docker 映像使用 Connect Distributed，它通过 REST API 而不是属性文件启动。而confluentinc/cp-kafka-connect 已经包含 S3 Connect

【讨论】：

【解决方案3】：

你也可以看看https://strimzi.io/。该项目旨在让 Kubernetes 上的 Kafka 和 Kafka Connect 集群的安装和管理变得非常容易。

【讨论】：