如何在 Databricks 的 PySpark 中使用在 Scala 中创建的 DataFrame

Question

我的 Databricks 笔记本使用 Python。 笔记本中的一些代码是用 Scala 编写的（使用 %scala），其中之一是用于创建数据帧。

如果我再次使用 Python/PySpark（默认模式），我如何使用/访问这个在 scala 模式下创建的数据帧？

有可能吗？

谢谢

Answer 1

您可以通过 SparkSQL 中的临时表访问以一种语言和另一种语言创建的 DataFrame。

例如，假设您在 Scala 中有一个名为 scalaDF 的 DataFarame。您可以为其创建一个临时视图并使其可供 Python 单元访问，例如：

scalaDF.createOrReplaceTempView("my_table")

然后你可以在 Python 单元格中运行

pythonDF = spark.sql("select * from my_table")

pythonDF.show()

在这些语言和 R 之间传递数据帧也是如此。常见的构造是 SparkSQL 表。