Kafka连接partition.duration.ms和刷新大小之间的属性关系？答案

【问题标题】：Kafka connect property relation between partition.duration.ms and flush size?Kafka连接partition.duration.ms和刷新大小之间的属性关系？
【发布时间】：2019-03-16 14:01:51
【问题描述】：

有人能解释一下 partition.duration.ms 和 flushsize 在下面的配置中的意义吗？设置这些属性背后的想法是什么？

"connector.class": "io.confluent.connect.s3.S3SinkConnector",
  "s3.region": "eu-central-1",
  "partition.duration.ms": "1000",
  "topics.dir": "root_bucket",
  "flush.size": "10",
  "topics": "TEST_SRV",
  "tasks.max": "1",
  "s3.part.size": "5242880",
  "timezone": "UTC",
  "locale": "US",
  "key.converter.schemas.enable": "true",
  "format.class": "io.confluent.connect.s3.format.json.JsonFormat",
  "partitioner.class": "io.confluent.connect.storage.partitioner.TimeBasedPartitioner",
  "schema.generator.class": "io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator",
  "value.converter.schemas.enable": "false",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "storage.class": "io.confluent.connect.s3.storage.S3Storage",
  "s3.bucket.name": "events-dev-s3",
  "key.converter": "org.apache.kafka.connect.storage.StringConverter",
  "path.format": "'year'-YYYY/'month'-MM/'day'-dd/'hour'-HH",
  "timestamp.extractor": "RecordField",
  "timestamp.field": "event_data.created_at"

【问题讨论】：

您是否设法使其工作，每 1 秒创建一个文件并将其保存到“小时”文件夹中？如果可以，你可以分享配置吗？谢谢

标签： apache-kafka apache-kafka-connect

【解决方案1】：

1 秒的分区持续时间没有意义，因为您已将分区程序设置为仅按小时进行分区。

分区器未设置为仅按小时进行分区。

"path.format": "'year'-YYYY/'month'-MM/'day'-dd/'hour'-HH"

这会将目录结构粒度设置为小时

"partition.duration.ms": "1000"

这会将连接器配置为为每“秒”的数据（..每个输入分区）输出一个文件

文件将被写入包含生成文件的“秒”的“每小时”目录。

I.E.每小时目录将包含该小时的所有数据（在这种情况下，所有每秒文件）

【讨论】：

【解决方案2】：

分区持续时间决定了基于时间的分区程序创建新“path.format”的频率。在您的情况下，1 秒的分区持续时间没有意义，因为您已将分区程序设置为仅按小时进行分区。

那么刷新大小是任何给定文件中存在多少 Kafka 记录的上限

这些值背后的想法取决于主题的吞吐量以及在从 S3 而非直接从 Kafka 读取记录之前您愿意容忍的延迟时间。

请注意，您为每次 S3 扫描付费，因此更高的刷新率和更少的整体文件将有助于节省资金

【讨论】：

谢谢@cricket。在那个 partition.duration.ms 应该设置为 1 小时，如果这就是它的结论？