如何决定何时使用 spark sql 缓存或持久化？

【问题标题】：How to decide when to use spark sql cache or persists?如何决定何时使用 spark sql 缓存或持久化？
【发布时间】：2019-03-17 12:17:27
【问题描述】：

我使用 spark-sql 进行数据迁移项目。那么我应该如何在 spark 中实现 stage area 呢？何时使用 spark sql 缓存或持久化？任何实时用例？

~沙

【问题讨论】：

【解决方案1】：

与RDD (What is the difference between cache and persist?) 类似，cache 和persist 之间的唯一区别是能够设置非默认存储模式。

但有一个重要的区别。与RDD API 不同，其中cache 使用MEMORY_ONLY，Dataset 对应使用MEMORY_AND_DISK。

【讨论】：