将 Kafka 与具有不同目录结构的 aws s3 同步

Question

我们有事件来到 Kafka，我们使用 kafka connect 将这些事件与 aws s3 同步。 数据在 s3 的以下 dir 结构中可见：

bucket_name/sub_folder/
                       Partition=0/events.json
                       Partition=1/events.json
                       Partition=2/events.json

有没有办法存储在下面的目录结构中：

Bucket_name/sub_folder/date=today_date/ events.json or Partition=0..2/date=today/events.json
Bucket_name/sub_folder/date=today_date/ events.json or 

动机是将那一天的事件存储在那一天的目录中，我搜索了网页但找不到任何其他方式。 提前致谢。

Answer 1

您可以使用TimeBasedPartitioner

根据摄取时间对数据进行分区。

例如每小时分区：

[…]
"partitioner.class": "io.confluent.connect.storage.partitioner.TimeBasedPartitioner",
"path.format": "'year'=YYYY/'month'=MM/'day'=dd/'hour'=HH",
"locale": "US",
"timezone": "UTC",
"partition.duration.ms": "3600000",
"timestamp.extractor": "RecordField",
"timestamp.field": "my_record_field_with_timestamp_in",
[…]