如何从 SparkR 中的数据框创建表

【问题标题】：How to create a table from a dataframe in SparkR如何从 SparkR 中的数据框创建表
【发布时间】：2020-12-02 05:51:21
【问题描述】：

我正在尝试找到一种将数据框转换为表格以在另一个 Databricks 笔记本中使用的方法。我在 R 中找不到任何关于这样做的文档。

【问题讨论】：

as.table 会为你做吗？
我会试试的，谢谢！
这能回答你的问题吗？ Convert a data frame to a data.table without copy
还可以创建一个可以从另一个笔记本访问的临时表。 createOrReplaceTempView(createDataFrame(df), "temp_df")

标签： sql r data-science databricks

【解决方案1】：

首先，使用SparkR::createDataFrame(R_dataframe) 将 R 数据帧转换为 SparkR 数据帧。然后使用saveAsTable 函数保存为永久表 - 可以通过其他笔记本访问。 SparkR::createOrReplaceTempView 如果您尝试从不同的笔记本访问它，将无济于事。

require(SparkR)
data1 <- createDataFrame(output)
saveAsTable(data1, tableName = "default.sample_table", source="parquet", mode="overwrite")

在上面的代码中，default 是一些现有的数据库名称，将在其下创建一个名为 sample_table 的新表。

【讨论】：