带有 apache 箭头的 Sparklyr R 失败，意外终止：找不到对象“as_tibble”

Question

我正在尝试将 sparklyr 与 arrow 一起使用以提高性能，例如 here，但是遇到了错误。

这是一个（希望）可重现的例子：

# Prepare session and data
library(sparklyr)
library(dplyr)
config <- sparklyr::spark_config()
sc <- sparklyr::spark_connect(master = "local", config = config)
mtcars_sp <- dplyr::copy_to(sc, datasets::mtcars, overwrite = TRUE)

使用不带箭头的 sparklyr 效果很好：

if ("arrow" %in% .packages()) detach("package:arrow")
mtcars_sp %>% sparklyr::spark_apply(function(df) df) %>% collect()

但是，将箭头添加到组合中并运行相同会产生错误：

library(arrow)
mtcars_sp %>% sparklyr::spark_apply(function(df) df) %>% collect()

错误消息似乎没有太大帮助，但查看工作人员日志我看到：

错误 sparklyr：RScript (6891) 意外终止：找不到对象“as_tibble”

相关会话信息：

• R 版本 3.6.0，x86_64-redhat-linux-gnu（64 位）
• 包：arrow_0.14.1、dplyr_0.8.3、sparklyr_1.0.1
• Spark 版本 2.4.3

Answer 1

有更新版本的sparklyr 可用，1.0.2。看起来该版本中有some changes 需要与arrow 0.14.x 一起使用。 sparklyr 的continuous integration 和最新版本的arrow 正在通过。