从 SparkR 数据帧创建 HQL 表答案

【问题标题】：Create an HQL table from SparkR dataframe从 SparkR 数据帧创建 HQL 表
【发布时间】：2020-06-17 08:54:35
【问题描述】：

我正在使用 Zeppeling 的 sparkR 并具有以下代码：

%spark2.r
df <- sql(" select column1 FROM my_schema.my_table")

该数据框已正确加载，现在我想从那里在我的“my_schema”上创建一个新表，例如：

my_schema.my_table_from_df

为此，我正在尝试以下方法：

saveAsParquetFile(df, "my_table_from_df.parquet")

我没有从那里得到任何错误，但是当我尝试时：

%spark2.r
df <- sql(" select column1 FROM my_schema.my_table_from_df")

或：

%spark2.r
df <- sql(" select column1 FROM my_table_from_df")

我得到错误：

Table or view not found

【问题讨论】：

【解决方案1】：

saveAsParquetFile(df, "my_table_from_df.parquet") 我想你写文件。您还需要使用文件读取数据。对不起。我不火花R

试试看在 Scala 中

df.write
  .format("parquet")
  .mode(SaveMode.Overwrite)
  .saveAsTable("<database name>.<table name>")

【讨论】：