spark close() 导致缓存被自动清除？答案

【问题标题】：spark close() cause the cache to be cleared automatically?spark close() 导致缓存被自动清除？
【发布时间】：2021-03-30 12:28:25
【问题描述】：

我知道 spark.catalog.clearCache() 用于明确清除缓存。但我想知道当我调用 spark.close() 时它是否会自动清除 Spark 的缓存。

期待回复，非常感谢您的帮助。

【问题讨论】：

【解决方案1】：

Spark 指向 SparkSession，这意味着当您执行 spark.close() 时，您将关闭该会话。在调用 spark.close() 之后，如果您想执行任何转换或操作，您需要重新创建该 SparkSession，然后只有您可以工作。

但在 spark.catalog.clearCache() 的情况下，如果只会清除缓存的表。

长话短说： spark.catalog.clearCache() ：清除缓存表。 spark.close() ：关闭火花会话根据usecse，两者都有不同的工作。

【讨论】：

那么，当通过调用 spark.close() 完成 spark 会话时，即使我不调用 spark.catalog.clearCache()，缓存表也会从内存中消失吗？我想知道 Spark 的 cache() 堆积起来的缓存什么时候会从内存中消失。
是的，当您调用 spark.close() 时，您最终将关闭 spark 应用程序，这意味着所有中间数据和缓存数据都将被删除。
很抱歉，我刚开始使用 StackOverflow，所以我无法投票，因为我缺乏声誉。如果这成为可能，我一定会来投票。