在 Spark 的结构化流中，是否有类似 Spark 流中的流上下文等价物？答案

【问题标题】：In Spark's Structured Streaming is there a Streaming Context equivalent like there is in Spark Streaming?在 Spark 的结构化流中，是否有类似 Spark 流中的流上下文等价物？
【发布时间】：2020-01-06 18:21:25
【问题描述】：

我正在尝试获取结构化流式查询的批处理信息以最终记录。一般来说，我是 Spark 的新手，我对从 Spark Streaming 访问等效的流上下文感到困惑。 streamingContext 是仅适用于 Spark Streaming 的吗？

我试图做类似于以下的事情，除了我无法注册监听器（因此我试图理解），因为我没有流上下文。尝试使用带有结构化流的 StreamingContext 是否完全偏离了轨道？

In Spark Streaming, is there a way to detect when a batch has finished?

【问题讨论】：

标签： apache-spark spark-structured-streaming

【解决方案1】：

StreamingQueryListener 有查询的生命周期事件，onQueryStarted、onQueryUpdated、onQueryTerminated。据我所知，OnQueryUpdated 在批次之间触发并报告最后处理的批次。

创建一个自定义侦听器并附加到事件总线，您应该一切顺利。

spark.streams.addListener(customListener)

【讨论】：