在没有 AWS Pipeline 的情况下，将数据（csv 文件）从 s3 自动传输到 Redshift 的最佳方式是什么？

Question

我正在尝试获取存储在 s3 存储桶中的 csv 文件中的 sql 数据，并将数据传输到 AWS Redshift 并使该过程自动化。使用 lambda/glue 编写 etl 脚本是否是解决此问题的最佳方法，如果是，我如何让脚本/传输定期运行？如果不是，那么将数据从 s3 传输到 Redshift 的最佳方式是什么。

尝试使用 AWS Pipeline，但在我所在的地区不可用。我也尝试使用 Lambda 和 Glue 的 AWS 文档，但不知道在哪里可以找到问题的确切解决方案

Answer 1

所有系统（包括 AWS Data Pipeline）都使用 Amazon Redshift COPY 命令从 Amazon S3 加载数据。

因此，您可以编写一个 AWS Lambda 函数，连接到 Redshift 并发出 COPY 命令。您需要包含一个兼容的库（例如 psycopg2）才能调用 Redshift。

您可以使用 Amazon CloudWatch Events 定期调用 Lambda 函数。或者，您可以花哨并配置 Amazon S3 事件，以便在将文件放入 S3 存储桶时，它会自动触发 Lambda 函数。

如果不想自己写，可以在网上搜索已有代码，包括：

• 非常简单的基于 Python 的christianhxc/aws-lambda-redshift-copy: AWS Lambda function that runs the copy command into Redshift
• 功能更全面的基于节点的A Zero-Administration Amazon Redshift Database Loader | AWS Big Data Blog