我想使用 python boto3 脚本将数据加载到 Amazon Redshift 集群中

Question

我想使用 boto3 Python 脚本将数据加载到 Amazon Redshift 集群中。

我想使用 boto3 python 创建一个脚本来执行以下操作：

1. 创建集群
2. 将数据加载到集群中
3. 创建集群性能报告

我在 boto3 中看到没有可用于将数据加载到集群中的方法。可能来自平面文件或 S3。

如何使用 boto3 或任何其他 python 包将数据加载到集群中？

Answer 1

1.创建 Amazon Redshift 集群

调用create_cluster() 命令。

2。将数据加载到集群中

Amazon Redshift 像普通的 PostgreSQL v8.0.2 数据库一样运行。要在数据库本身上运行命令（包括COPY 命令），您应该建立到数据库的 JDBC/ODBC 连接。

见：Connecting to an Amazon Redshift Cluster Using SQL Client Tools - Amazon Redshift

一种常用的方法是使用psycopg2：

conn = psycopg2.connect(...)
cur = conn.cursor()
cur.execute("COPY...")
conn.commit()

见：Copying data from S3 to AWS redshift using python and psycopg2

3.创建集群性能报告

绩效报告有两种信息来源：

• Amazon Redshift Performance Data 来自 Amazon CloudWatch
• 数据库本身中的STL Tables for Logging

见：Monitoring Amazon Redshift Cluster Performance - Amazon Redshift