Flink：为 FlinkKafkaConsumer 分配水印

Question

我有一个 FlinkKafkaConsumer 定义如下 FlinkKafkaConsumer[String]("topic", new SimpleStringSchema(), properties)，我正在使用 setStreamTimeCharacteristic(TimeCharacteristic.EventTime) 处理事件时间。

现在我想用函数assignTimestampsAndWatermarks 分配一个周期性水印，但我不知道我应该传递给该函数什么，因为在文档中，此函数的示例接收一个类型为MyType 的元素getCreationTime() 而我的消费者是字符串类型。

在这种情况下是否可以分配事件时间？

编辑：我想用作事件时间的时间是每个寄存器存储在 Kafka 中的时间。

Answer 1

EventTime 的概念至少在定义中与事件的创建时间而非接收时间严格相关。因此，如果您从 Kafka 消费的事件具有某种时间戳（例如，如果您将 JSON 作为字符串消费然后对其进行解析），那么您可以在 assignTimestampsAndWatermarks 函数中使用此时间戳。

如果您正在解析普通的 String 对象，那么您可以做的最好的事情是使用自定义 KafkaDeserializationSchema 为每个事件提取 Kafka 时间戳并使用它。

从技术上讲，您甚至可以使用为每条记录人为增加时间戳的计数器（例如通过将其增加 1），但这在 EventTime 处理方面似乎没有意义。