如何将 SparkR 数据帧转换为本地 R 数据表？

Question

我正在将本地 R 脚本更改为 sparkR。输入是 hive 表，我使用以下代码读取表：

>sparkR.session()
>results <- sql("SELECT * FROM temp.temp_ceshi limit 3")
>head(results)

>typeof(results)
[1] "S4"

本地 R 脚本使用 fread 读取 csv 文件。我想将 sparkR 数据框转换为 data.table 并使用本地 R 脚本。如何制作？

Answer 1

你可以使用collect()函数：

>results_df <- collect(results)

您还可以通过以下链接了解有关转换的更多信息： https://markobigdata.com/2016/03/26/sparkr-and-r-dataframe-and-data-frame/