【发布时间】:2018-05-14 22:30:09
【问题描述】:
您好,我想知道是否有办法直接将数据库表读取到 sparkR 数据帧。我在一个 EMR 集群上安装了 rstudio,它上面有我的配置单元元存储。
我知道我可以做到以下几点:
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
library(DBI)
query <- "select * from schema.table"
result <- dbGetQuery(sc, query)
result_t <- copy_to(sc,result)
但是有没有办法直接查询到result_t?
【问题讨论】:
-
你试过
result_t <- tbl(sc, "schema.table")吗? -
是的,我确实试过了,它成功了,抱歉,忘记更新了
标签: r apache-spark amazon-emr sparkr sparklyr