有没有一种方法可以定义一个函数来根据 kafka connect 中的主题消息来决定 S3 路径答案

【问题标题】：Is there a way I can define a function to decide S3 path based on topic message in kafka connect有没有一种方法可以定义一个函数来根据 kafka connect 中的主题消息来决定 S3 路径
【发布时间】：2019-03-13 17:00:34
【问题描述】：

这个问题与Kafka to S3有关。

要求：我们感兴趣的kafka主题之一有一些特定的信息，即时间戳，表格等。我们可以使用这些数据来决定它将去哪个S3路径，即@ 987654322@

问题：我们正在考虑使用 kafka connect，因为没有理由重新发明轮子。但是，我找不到一种方法可以插入 sort of function 来在 kafka connect 中进行映射（从主题数据到 S3 路径）（后跟链接 https://docs.confluent.io/current/connect/kafka-connect-s3/configuration_options.html）。我想知道kafka connect是否提供此功能，如果没有，以前有其他人这样做过吗？

【问题讨论】：

标签： amazon-s3 apache-kafka apache-kafka-connect confluent-platform

【解决方案1】：

TimestampPartitioner 默认行为将写入

s3bucketName/s3Prefix/topicName/timestamp/files.avro

如果这不令人满意，Kafka Connect 完全是“插件”驱动的，您可以自己编写。例如，没有分区器可以将时间戳和某个字段都放在数据中 - 您需要单独编写

【讨论】：