【发布时间】:2020-12-11 01:38:30
【问题描述】:
我有多个关于 kafka connect S3 sink 连接器的问题
1.我想知道是否可以使用kafka connect的S3 sink来保存具有多个分区的记录?
例如我有这个 json 记录:
{
"DateA":"UNIXTIMEA",
"DateB":"UNIXTIMEB",
"Data":"Some Data"
}
(所有字段均为顶级)
是否可以通过以下路径将数据保存在S3中:
s3://sometopic/UNIXTIMEA/UNIXTIMEB
2.我可以转换 UNIXTIMEA/UNIXTIMEB 在不更改记录值本身的情况下转换为可读的日期格式? (出于可读性原因)
3.我可以在 S3 路径中为 UNIXTIMEA 添加前缀吗? 例如:
s3://DateA=UNIXTIMEA/DateB=UNIXTIMEB/...
我刚开始阅读文档,我慢慢掌握了窍门, 我仍然没有真正找到这些问题的直接答案。
我想在我的配置中执行所有这些操作,但我怀疑我能做到 如果没有自定义分区器,我想尽快确认。
提前致谢
马铃薯
【问题讨论】:
标签: amazon-s3 apache-kafka apache-kafka-connect