【问题标题】:Kafka connect s3 sink multiple partitionsKafka连接s3 sink多个分区
【发布时间】:2020-12-11 01:38:30
【问题描述】:

我有多个关于 kafka connect S3 sink 连接器的问题

1.我想知道是否可以使用kafka connect的S3 sink来保存具有多个分区的记录?

例如我有这个 json 记录:

{
 "DateA":"UNIXTIMEA",
 "DateB":"UNIXTIMEB",
 "Data":"Some Data"
}

(所有字段均为顶级)

是否可以通过以下路径将数据保存在S3中:

s3://sometopic/UNIXTIMEA/UNIXTIMEB

2.我可以转换 UNIXTIMEA/UNIXTIMEB 在不更改记录值本身的情况下转换为可读的日期格式? (出于可读性原因)

3.我可以在 S3 路径中为 UNIXTIMEA 添加前缀吗? 例如:

s3://DateA=UNIXTIMEA/DateB=UNIXTIMEB/...

我刚开始阅读文档,我慢慢掌握了窍门, 我仍然没有真正找到这些问题的直接答案。

我想在我的配置中执行所有这些操作,但我怀疑我能做到 如果没有自定义分区器,我想尽快确认。

提前致谢

马铃薯

【问题讨论】:

    标签: amazon-s3 apache-kafka apache-kafka-connect


    【解决方案1】:
    猜你喜欢
    • 2020-06-15
    • 1970-01-01
    • 2017-09-13
    • 2020-12-12
    • 2018-08-03
    • 2022-05-31
    • 2021-02-02
    • 2020-05-09
    • 2020-12-20
    相关资源
    最近更新 更多