Spark Structured Streaming - 无法在日志中打印数据

Question

我正在使用 Scala 中的 Spark Structured Streaming 代码以 JSON 数据格式使用来自 Kafka 主题的数据，并将数据写入另一个 kafka 接收器。

我们正在以集群模式提交作业，并且正在尝试检查否。一批消息，但我们看不到没有。批量传入的消息被写入日志。

是否有可能找出批量传入的要写入日志文件的消息的编号。

Answer 1

根据Spark Structured Streaming + Kafka integration Guide你得到源的每一行的以下数据：

Column         Type
key            binary
value          binary
topic          string
partition      int
offset         long
timestamp      long
timestampType  int

使用偏移量，您应该能够记录您正在处理的偏移量。