Google DataProc Presto：如何将 Presto 查询结果写入谷歌云存储？

Question

我有一个安装了 Presto 作为可选组件的 DataProc 集群。我的数据存储在谷歌云存储 (GCS) 中，我可以使用 Presto 进行查询。但是，我没有找到将查询结果写回 GCS 的方法。如果我登录到主节点并从那里运行 Presto 命令，我可以写入 hdfs，但它无法识别任何 GCS 位置。

如何将 Presto 查询结果写入 GCS？

Answer 1

您需要创建一个GCS支持的Hive外部表，例如：

gcloud dataproc jobs submit hive \
    --cluster <cluster> \
    --execute "
        CREATE EXTERNAL TABLE my_table(id  INT, name  STRING)
        STORED AS PARQUET
        location 'gs://<bucket>/<dir>/';"

然后将您的 Presto 查询结果插入到表中。