Kafka S3 源连接器答案

【问题标题】：Kafka S3 Source ConnectorKafka S3 源连接器
【发布时间】：2021-02-25 05:40:33
【问题描述】：

我有一个要求，我们的应用程序之外的源将文件放入 S3 存储桶中，我们必须在 kafka 主题中加载该文件。我正在查看 Confluent 的 S3 Source 连接器，目前正在定义用于在我们的环境中设置连接器的配置。但是有几篇文章表明，只有使用 S3 Sink 连接器将文件拖放到 S3 中，才能使用 S3 Source 连接器。

以上是真的吗？我在哪里/使用什么属性来定义配置中的输出主题？从 S3 读取消息并将它们放入主题时是否可以转换消息。两者都是 JSON / Avro 格式。

Confluent 的快速入门示例还假设您使用了 S3 Sink 连接器，因此提出了问题。

谢谢

【问题讨论】：

标签： amazon-s3 apache-kafka apache-kafka-connect confluent-platform

【解决方案1】：

我收到了来自 Confluent 的回复，Confluent S3 Source 连接器确实只能与 Confluent S3 Sink 连接器一起使用。不能单独使用

【讨论】：

【解决方案2】：

截至 2021 年 12 月 15 日，Confluent 发布版本 2.0.0。此版本包含generalized s3 source connection mode

【讨论】：