从多个 Kafka 主题读取的 Spark 结构化流式应用程序

Question

我有一个 Spark 结构化流应用程序 (v2.3.2)，它需要从多个 Kafka 主题中读取数据，进行一些相对简单的处理（主要是聚合和一些连接）并将结果发布到其他一些 Kafka 主题.所以多个流在同一个应用程序中处理。

我想知道如果我只设置 1 个订阅多个主题的直接 readStream 然后使用选择拆分流，从资源的角度（内存、执行程序、线程、Kafka 侦听器等）是否会有所不同，与每个主题 1 个 readStream 相比。

类似

df = spark.readStream.format("kafka").option("subscribe", "t1,t2,t3")
...
t1df = df.select(...).where("topic = 't1'")...
t2df = df.select(...).where("topic = 't2'")...

对比

t1df = spark.readStream.format("kafka").option("subscribe", "t1")
t2df = spark.readStream.format("kafka").option("subscribe", "t2")

其中一个比另一个更“有效”吗？我找不到任何关于这是否有影响的文档。

谢谢！

Answer 1

每个操作都需要完整的沿袭执行。你最好把它分成三个单独的 kafka 读取。否则，您将阅读每个主题 N 次，其中 N 是写入次数。

我真的不建议这样做，但如果您想将所有主题放在同一个阅读中，请执行以下操作：

streamingDF.writeStream.foreachBatch { (batchDF: DataFrame, batchId: Long) =>
  batchDF.persist()
  batchDF.filter().write.format(...).save(...)  // location 1
  batchDF.filter().write.format(...).save(...)  // location 2
  batchDF.unpersist()
}

Answer 2

从资源（内存和核心）的角度来看，如果您在集群上将其作为多个流（多个驱动器-执行器）运行，则会有所不同。

对于第一种情况，你提到了-

df = spark.readStream.format("kafka").option("subscribe", "t1,t2,t3")... t1df = df.select(...).where("topic = 't1'")... t2df = df.select(...).where("topic = 't2'")...

考虑到您在上面提供了一个驱动程序和两个执行器。

第二种情况-

t1df = spark.readStream.format("kafka").option("subscribe", "t1") t2df = spark.readStream.format("kafka").option("subscribe", "t2")

您可以将它们作为不同的流运行 - 2 个驱动程序和 2 个执行程序（每个 1 个执行程序）。 在第二种情况下，需要更多的内存和内核来提供额外的驱动程序。