【发布时间】:2020-06-03 17:46:02
【问题描述】:
我正在寻找正确的格式,以使用 partition.class FieldPartitioner 应用于 Kafka S3 Sink 连接器的 s3-sink.properties。
我需要根据我的 kafka 消息中的字段名称创建 3 个分区(另一个分区的一个子分区,例如 field1=value/field2=value/field3=value) .
我真的需要一个例子来说明 partition.field.name 的用法。它收到一个列表,但我还没有找到示例。
这是我目前拥有的,也是我需要的:
storage.class=io.confluent.connect.s3.storage.S3Storage
format.class=io.confluent.connect.s3.format.parquet.ParquetFormat
schema.generator.class=io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator
schema.compatibility=NONE
partitioner.class=io.confluent.connect.storage.partitioner.FieldPartitioner
partition.field.name=fieldName #Wrong so far, it can't even find my first one with this format. And I need two more, like: partition.field.name=field1,field2,field3
谢谢。
【问题讨论】:
标签: amazon-s3 apache-kafka apache-kafka-connect confluent-platform