使用 Kafka Connect S3 Sink 时从 S3 路径中删除主题名称答案

【问题标题】：Remove topic name from S3 paths when using Kafka Connect S3 Sink使用 Kafka Connect S3 Sink 时从 S3 路径中删除主题名称
【发布时间】：2020-07-28 11:45:14
【问题描述】：

使用https://docs.confluent.io/current/connect/kafka-connect-s3/index.html

如何设置连接器以使 Kafka 主题名称不包含在输出 S3 路径中？

我正在使用TimeBasedPartitioner，我想在路径中使用固定名称而不是主题名称。所以这个：

fixed_name/<encodedPartition>/<topic>+<kafkaPartition>+<startOffset>.<format>

代替默认：

topics/<topic>/<encodedPartition>/<topic>+<kafkaPartition>+<startOffset>.<format>

谢谢！

【问题讨论】：

标签： amazon-s3 apache-kafka apache-kafka-connect

【解决方案1】：

除非您自己编写Partitioner 并覆盖generatePartitionedPath，否则您无法删除主题名称

【讨论】：