Amazon Redshift UNLOAD 可以转换成 Parquet 或 Avro 格式吗？答案

【问题标题】：Can Amazon Redshift UNLOAD into Parquet or Avro format?Amazon Redshift UNLOAD 可以转换成 Parquet 或 Avro 格式吗？
【发布时间】：2019-11-27 05:20:17
【问题描述】：

从redshift卸载任何数据时，通常会指定分隔符和压缩以及所需的参数

例子

 UNLOAD ('SELECT * from  <schema>.<table_name>') 
TO '<s3_path>' 
DELIMITER AS '$' 
GZIP 
ALLOWOVERWRITE
iam_role 'arn:aws:iam::xxxxxxxxxxxxxxxxxx' 
escape addquotes;

redshift 是否支持以 Parquet 或 avro 等不同的文件格式进行卸载？ redshift 是否会为卸载添加对文件格式的支持？

【问题讨论】：

标签： amazon-web-services amazon-s3 amazon-redshift

【解决方案1】：

Redshidt 现在可以以 Parquet 格式将数据卸载到 S3：

UNLOAD ('select-statement')
TO 's3://object-path/name-prefix'
FORMAT PARQUET

文档在UNLOAD - Amazon Redshift 提到它

【讨论】：

今天看到，AWS最近增加了通过指定格式来卸载数据的支持。

【解决方案2】：

UNLOAD 文档确实不将 Parquet 或 Avro 显示为输出格式。

您可以使用 Amazon Athena 将来自 UNLOAD 的输出转换为其中一种格式。

【讨论】：