在 Spark Streaming 中合并两个流

Question

您能否通过以下问题将我推向正确的方向？ （即使链接到包含所需信息的文档也将不胜感激。）

是否有能力将多个数据流合并成元组流。

例如我们有带有元素 (A1, t1), (A2, t2), ...(An, tn) 的流 A 和带有元素 (B1, t1'), (B2, t2'), ... , ( Bn, tn')。

其中 t 是时间值（值实际上是时间序列）。

我想接收带有值的流 C

(A1", B1", t1"), ...,(An", Bn", tn")

流 A 和 B 的时间可能不同（这就是我使用 ' 和 " 的原因）。指标可以在不同的时间以不同的速率使用。在这种情况下，必须采用最新到所需时间戳的值，而合并流。

Answer 1

您可以使用 DStream.join。当在 (K, V) 和 (K, W) 对的两个 DStream 上调用时，返回一个新的 (K, (V, W)) 对 DStream，其中包含每个键的所有元素对。