如何激活和配置 ElasticSearch Kafka Connect 接收器？

【问题标题】：How to activate and configure ElasticSearch Kafka Connect sink?如何激活和配置 ElasticSearch Kafka Connect 接收器？
【发布时间】：2019-05-14 23:25:32
【问题描述】：

我正在尝试使用 helm 在 Kubernetes 集群中设置 Kafka。

我用了Confluent helm chart，已经很全了，安装了Kafka。

然后我尝试查看elastic Kafka connect sink 是如何配置的。有一点特别让我印象深刻：confluent load elasticsearch-sink 命令。当容器启动时，我怎样才能让它reproducibely完成？此外，要配置弹性，我必须设置一个属性文件。我可以使用 ConfigMap 吗？但是我很困惑，因为我必须更改 helm 生成的 YAML 配置，这似乎不太可重现......

有什么建议吗？

【问题讨论】：

标签： elasticsearch kubernetes apache-kafka confluent-platform kubernetes-helm

【解决方案1】：

有一点特别让我印象深刻：confluent load elasticsearch-sink 命令

confluent 命令仅用于localhost 开发/入门环境仅。因此它不会了解 Kubernetes（例如，您需要一个 Ingress 控制器来公开 Connect REST API）。

我可以使用 ConfigMap 吗？

我不认为这是正确的。至少不在 Kafka Connect 的 Operator Framework 之外（如果存在的话）。

连接是configured through a JSON REST API。

因此，也无法在启动时加载配置。它需要手动发布，然后该配置将持久保存在 Kafka 的CONNECT_CONFIG_STORAGE_TOPIC 中。

在内部，confluent load 实际上是 curl -XPOST -H 'Content-Type: application/json' -d${file} localhost:8083/connectors

【讨论】：

是的，使用REST API，不要使用confluent CLI，它只适用于单节点，本地安装。