【问题标题】:Sparklyr read database table to distributed DFSparklyr 读取数据库表到分布式 DF
【发布时间】:2018-05-14 22:30:09
【问题描述】:

您好,我想知道是否有办法直接将数据库表读取到 sparkR 数据帧。我在一个 EMR 集群上安装了 rstudio,它上面有我的配置单元元存储。

我知道我可以做到以下几点:

library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
library(DBI)
query <- "select * from schema.table"
result <- dbGetQuery(sc, query) 
result_t <- copy_to(sc,result)

但是有没有办法直接查询到result_t?

【问题讨论】:

  • 你试过result_t &lt;- tbl(sc, "schema.table")吗?
  • 是的,我确实试过了,它成功了,抱歉,忘记更新了

标签: r apache-spark amazon-emr sparkr sparklyr


【解决方案1】:

就像@kevinykuo 建议的那样,

result_t <- tbl(sc, "schema.table")

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-12-19
    • 1970-01-01
    • 1970-01-01
    • 2019-07-17
    • 2017-08-31
    • 2016-12-09
    • 2011-05-06
    • 2011-09-04
    相关资源
    最近更新 更多