StructuredStream 中流式处理和批处理 DataFrames/Datasets 之间的联合答案

【问题标题】：Union between streaming and batch DataFrames/Datasets in StructuredStreamStructuredStream 中流式处理和批处理 DataFrames/Datasets 之间的联合
【发布时间】：2019-08-23 12:41:14
【问题描述】：

我正在尝试对流数据帧和批处理数据帧进行联合操作。但我发现了以下错误：

ERROR Uncaught throwable from user code: org.apache.spark.sql.AnalysisException: 不支持流和批处理 DataFrames/Datasets 之间的联合；；联合

Struct Stream 中是否还不支持此功能？

谢谢。

【问题讨论】：

嗨，您能详细说明一下您是如何使用微批处理的吗？我正在使用foreachBatch 并尝试进行联合，但仍然收到相同的错误消息。
唯一的方法是从微批处理内部进行联合

标签： scala apache-spark

【解决方案1】：

是的，Spark 结构化流不支持批处理和流之间的联合操作。要查看不支持的操作列表，您可以查看here

【讨论】：

谢谢。在微批次内部，任何方式的联合都是可能的。这解决了我的问题