使用 as.data.frame 在 Spark 中的 R 中创建数据框时出错答案

【问题标题】：Error in data frame creation in R in Spark using as.data.frame使用 as.data.frame 在 Spark 中的 R 中创建数据框时出错
【发布时间】：2021-07-21 10:37:44
【问题描述】：

我正在尝试将 SparkDataFrame 转换为 R 数据帧。

%python

temp_df.createOrReplaceTempView("temp_df_r")

%r

temp_sql = sql("select * from temp_df_r")

temp_r = as.data.frame(temp_sql)

as.data.frame.default(temp_sql) 中的错误：不能将类‘structure("SparkDataFrame", package = "SparkR")’强制为data.frame

有时我会出错，但我仍然不知道为什么我有时会出错，有时不会。

【问题讨论】：

标签： sql r pyspark sparkr

【解决方案1】：

我需要更多详细信息。你用什么环境？

【讨论】：

我正在使用 Databricks（ML 集群）。