Apache Spark DataFrame 是否为每个处理从数据库加载数据，或者除非另有说明，否则它是否使用相同的数据？

Question

我们有一个用例，我们需要搜索满足特定条件的特定记录。我们需要识别这些记录中的多种情况。我们计划使用 apache Spark Dataframes。 Apache Spark 数据帧是否为我们计划执行的每个搜索从 db 加载表数据，或者它是否在 spark 集群节点之间加载和分发表数据一次，然后在这些节点上运行搜索条件，直到被明确告知加载数据来自数据库？

Answer 1

如果您使用 .cache() 或 .persist() 命令创建数据帧，那么它会尝试将数据帧保存在内存中。

如果您不使用 .cache 创建它，那么它会按需从源数据集中读取数据。

如果没有足够的可用内存来保存缓存中的完整数据集，那么 Spark 将动态重新计算一些块。

如果您的源数据集不断变化，那么您可能希望首先创建一个相当静态的导出数据集。

查看Spark RDD persist documentation（DataFrames 也是如此）以更好地了解您可以做什么。