spark如何在后台读取数据？

Question

例如，我对 spark 如何从 s3 读取数据感到有些困惑。假设要从 s3 读取 100 GB 的数据，并且 spark 集群的总内存为 30 GB。一旦触发动作，将触发读取所有 100 GB 的数据并将最大数量的分区存储在内存中，并将其余分区溢出到磁盘，或者它会仅读取它可以存储在内存中的分区处理它们，然后读取其余部分数据？任何指向某些文档的链接都将受到高度赞赏。

Answer 1

关于这个有a question on Spark FAQ：

我的数据是否需要放入内存才能使用 Spark？

没有。如果数据不适合内存，Spark 的运算符会将数据溢出到磁盘，从而使其能够在任何大小的数据上运行良好。同样，不适合内存的缓存数据集要么溢出到磁盘，要么在需要时动态重新计算，由 RDD 的storage level 确定。

MEMORY_AND_DISK

在 JVM 中将 RDD 存储为反序列化的 Java 对象。如果 RDD 不适合内存，请将不适合的分区存储在磁盘上，并在需要时从那里读取它们。