【问题标题】:sparkR sql() returns stringsparkR sql() 返回字符串
【发布时间】:2018-03-18 20:15:37
【问题描述】:

我们在服务器上保存了parquet 数据,我正在尝试通过以下方式使用SparkR sql() 函数

df <- sql("SELECT * FROM parquet.`<path to parquet file`")
head(df)
show(df) # returns "<SQL> SELECT * FROM parquet.`<path to parquet file`"

createOrReplaceTempView(df, "table")
df2 <- sql("SELECT * FROM table")
show(df2) # returns "<SQL> SELECT * FROM table"

在这两种情况下,我得到的是字符串格式的 sql 查询,而不是 spark 数据框。有谁知道为什么会发生这种情况以及为什么我没有得到数据框?

谢谢

【问题讨论】:

    标签: r parquet sparkr


    【解决方案1】:

    不要使用show 语句使用showDF()...或View(head(df2, num=20L))

    【讨论】:

      【解决方案2】:

      这是一个非常愚蠢的问题。解决方法是只使用方法的全名

      SparkR::sql(...)
      

      而不是短名称。显然函数sql 被屏蔽了。

      【讨论】:

        猜你喜欢
        • 2021-10-16
        • 2018-09-15
        • 1970-01-01
        • 2016-05-28
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多