Spark Streaming Dataframe 执行，有状态，分区本地 groupBy，避免洗牌

Question

此时感觉有些失落。

我有一个基于 Spark 2.4.2 和 Kafka 的流应用程序，它将聚合（时间窗口）流写回 Kafka：

• [DF1] 流式预分区数据帧（在 Key theKey 上），即 保证 K 到达同一个分区的流 每次。
• [DF2] 我与 DF1 连接的查找表（约 1000 行）。
• GroupBy 基于 Key 和连续移动的 1 天窗口。

    DF1.join(DF2, "df1.a" === "df2.b", "left")
       .withWatermark("timestamp", "24 hours")
       .groupBy(window('timestamp, "24 hours"), 'theKey)
       .agg(collect_list('payload) as "payload")

问题： 洗牌。通过预先对数据集进行预分区（在 Kafka 中），我希望能够实现分区本地 groupBy。不幸的是，这不起作用。

问题是，在没有洗牌的情况下，实现这一目标的正确方法是什么？有吗？

到目前为止我探索过的解决方案：

1. "agg over window..."：流式传输中不支持（Spark 抛出： Non-time-based windows are not supported on streaming DataFrames/Datasets)
2. mapPartitions：不确定如何考虑状态 (mapWithState)。 mapGroupsWithState 需要 KeyValueGroupedDataset[K, V]，该 KeyValueGroupedDataset[K, V] 仅由 GroupByKey 提供。

我正在考虑的解决方案（不情愿地）：

1. dataframe 上的mapPartitions，带有自定义状态管理。然而，这使得 Spark 的 有状态的流式传输，没用。
2. 以某种方式将原始散列分区（来自 Kafka 数据帧）插入 Spark，以便它可以永久处理随机播放（并且不使用默认的 200），但我还没有找到明确的来源。

非常感谢任何帮助！

Answer 1

实际上，查找表导致了所有的洗牌。我希望 Spark 更喜欢对较大的数据集进行分区而不是较小的查找表，但事实并非如此。它采用流式数据集，忽略分区并将它们打乱到查找表分区所在的位置。

只要我按照 Streaming 数据帧对查找表进行了重新分区，Spark 就很高兴。不过，Spark 并没有将较大数据集的分区优先于较小数据集，这违反直觉。