Confluent 云 S3 接收器连接器 - S3 对象的自定义对象名称

【问题标题】：Confluent cloud S3 sink connector - custom object name for S3 ObjectsConfluent 云 S3 接收器连接器 - S3 对象的自定义对象名称
【发布时间】：2021-10-19 08:22:30
【问题描述】：

我的Kafka 消息将包含 UUID，它将成为所有未来通信的标识符。我为我的主题配置了一个s3-sink-connector，它使用默认命名约定（即<topic>+<kafkaPartition>+<startOffset>.<format>）将所有摄取的消息写入我的S3存储桶。使用这些名称，很难识别给定消息 UUID 对应的 s3 对象。

有没有办法用原始消息的字段值之一来定义 S3 对象名称？

提前致谢。

【问题讨论】：

标签： amazon-s3 apache-kafka apache-kafka-connect

【解决方案1】：

您可以使用FieldPartitioner 创建包含s3://bucket/uuid=xxx-yyy-zzz/topic.format 文件的路径

【讨论】：

uuid 是我的消息的字段之一，您能告诉我如何将其设置为路径的一部分吗？
您是否尝试过查找 S3 接收器的 partitioner.class 或 FieldPartitioner 属性的文档？

猜你喜欢

2021-08-08
2017-08-30
2019-08-08
1970-01-01
2019-12-02
2022-11-24
2021-08-17
2022-01-16
2022-05-31

相关资源

下载 2022-12-10
下载 2023-03-18
下载 2021-06-07

最近更新更多

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode