有没有办法使用 RedShiftCopyActivity 仅将特定列从 RedShift 复制到 S3？

Question

我假设从 RedShift -> S3 复制只能通过 RedshiftcCopyActivity 完成。但是，我似乎找不到仅将特定列复制到 S3 的方法（仅复制所有列）。

我这样做的原因是红移中的一列包含回车符，这与稍后定义的 PigActivity 混淆了。所以我想，由于我不需要该列，我将只复制这些列以使我的 PigActivity 顺利运行。

Answer 1

您可以使用 RedshiftCopyActivity 中的 transformSql 选项来复制选择性列。 参考：http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-redshiftcopyactivity.html

Answer 2

我相信 RedshiftCopyActivity 用于利用 COPY 命令，即 S3->Redshift。相反的命令是UNLOAD。

您的请求可以通过 SQLActivity 完成，您可以在其中使用 SELECT 语句编写完整的 UNLOAD 命令来定义要卸载的列。