使用 AWS Data Pipeline 将数据从 PostgreSQL 复制到 S3答案

【问题标题】：Copy data from PostgreSQL to S3 using AWS Data Pipeline使用 AWS Data Pipeline 将数据从 PostgreSQL 复制到 S3
【发布时间】：2019-03-29 00:48:14
【问题描述】：

我正在尝试将所有表从架构（PostgreSQL，50 多个表）复制到 Amazon S3。

最好的方法是什么？我可以创建 50 种不同的复制活动，但是有没有一种简单的方法可以复制模式中的所有表或编写一个管道和循环？

【问题讨论】：

标签： amazon-web-services amazon-rds aws-data-pipeline

【解决方案1】：

我认为旧方法是：

 1. Unload your data from PostgreSQL to a CSV file first using something like psql  
 2. Then just copy the csv to S3

但是，AWS 为你提供了一个脚本，RDSToS3CopyActivity 请参阅来自 AWS 的 this 链接

【讨论】：

【解决方案2】：

因为您有大量的表。与 AWS Data Pipeline 相比，我建议使用 AWS Glue。 Glue 易于配置，具有爬虫等，使您可以灵活地选择列、定义等。此外，AWS Glue 中的底层作业是 pyspark 作业，可以很好地扩展，为您提供非常好的性能。

【讨论】：