如何在 sparklyr 中使用 dplyr

Question

您好，我刚开始使用 Sparklyr，在尝试使用 dplyr 处理一些数据时遇到错误。

library(sparklyr)

sc <- spark_connect(master = "local")

spark_read_csv(sc, "df2_tbl", 
"C:/Users/...csv")

 spark_read_csv(sc, "df_n2_tbl", 
"C:/Users/...csv")

我在“环境”和“历史”旁边的“连接”选项卡以及 Spark UI 上看到对象“df2_tbl”和“df2_n2_tbl”，但是当我运行以下命令时

match_cat <- df_n2_tbl %>% 
         filter(var1 %in% df2_tbl) %>% 
         collect()

我得到错误 -

"Error in eval(lhs, parent, parent) : object 'df_n2_tbl' not found"

Answer 1

我需要将 spark_read_csv() 函数的结果分配给一个对象。

library(sparklyr)

sc <- spark_connect(master = "local")

df1 <- spark_read_csv(sc, "df2_tbl", 
"C:/Users/...csv")

df2 <- spark_read_csv(sc, "df_n2_tbl", 
"C:/Users/...csv")