【问题标题】：Question regarding Spark sql tables and databases关于 Spark sql 表和数据库的问题
【发布时间】：2021-04-19 12:59:58
【问题描述】：
我是 Spark 的新手，对以下几点感到困惑：
当我们为自己的分析创建新的数据库和全局表时（使用 dataframe API 或 spark sql），这些是在哪里创建/存储的？这些是存储在 Spark 内存中还是存储在 Spark 读取数据的外部存储（可能是 Hive/HDFS/RDBMS..etc）中？临时视图/本地表是否只在 Spark 内存中创建？
谢谢！
【问题讨论】：
标签：
apache-spark
pyspark
apache-spark-sql
【解决方案1】：
当我们为自己的分析创建新的数据库和全局表时（使用 dataframe API 或 spark sql），这些是在哪里创建/存储的？
这取决于您的基础架构。例如：
- 如果您在本地环境中，则基础数据位于 HDFS 上
- 如果您在 Azure Databricks 中，则基础数据位于 Azure 数据存储中
- 如果您在 Databricks Cloud 中，则基础数据位于 Amazon S3 上
这些是存储在 Spark 内存中还是存储在 Spark 读取数据的外部存储（可能是 Hive/HDFS/RDBMS..etc）中？
此数据仅在您调用df.cache()时加载到内存中
临时视图/本地表是否只在 Spark 内存中创建？
是的