使用 Spark 并行缓存和查询数据集

Question

我有一个要求，我想缓存一个数据集，然后通过在该数据集上并行触发“N”个查询来计算一些指标，所有这些查询都会计算相似的指标，只是过滤器会改变并且我想运行这些查询是并行的，因为响应时间很重要，而且我要缓存的数据集的大小总是小于 GB。

我知道如何在 Spark 中缓存数据集，然后随后对其进行查询，但是如果我必须对同一个数据集并行运行查询，我该如何实现呢？引入 alluxio 是一种方式，但在 Spark 世界中我们可以通过其他方式实现同​​样的效果吗？

例如使用Java，我可以将数据缓存在内存中，然后通过使用多线程我可以实现相同的效果，但是如何在Spark中做到这一点？

Answer 1

使用 Scala 的并行集合在 Spark 的驱动程序代码中触发并行查询非常简单。这是一个最小的例子：

val dfSrc = Seq(("Raphael",34)).toDF("name","age").cache()


// define your queries, instead of returning a dataframe you could also write to a table etc
val query1: (DataFrame) => DataFrame = (df:DataFrame) => df.select("name")
val query2: (DataFrame) => DataFrame = (df:DataFrame) => df.select("age")

// Fire queries in parallel
import scala.collection.parallel.ParSeq
ParSeq(query1,query2).foreach(query => query(dfSrc).show())

编辑：

要在地图中收集查询 ID 和结果，您应该这样做：

val resultMap  = ParSeq(
 (1,query1), 
 (2,query2)
).map{case (queryId,query) => (queryId,query(dfSrc))}.toMap