将 bigquery 数据移至 Redshift答案

【问题标题】：Moving bigquery data to Redshift将 bigquery 数据移至 Redshift
【发布时间】：2019-07-15 18:57:07
【问题描述】：

我需要将我的 bigquery 表移动到 redshift。

目前我有一个从 redshift 获取数据的 python 作业，它是在 redshift 上增量加载我的数据。

这个 python 作业正在读取 bigquery 数据，在服务器中创建一个 csv 文件，在 s3 上删除相同的文件，readshift 表从 s3 上的文件中读取数据。但是现在时间会很大，服务器处理不了。

你们碰巧知道比这更好的吗？

我需要移动的 bigquery 上的 7 个新表，每个表大约 1 TB，并带有重复的列集。（我正在做一个 unnest join 来展平它）

【问题讨论】：

【解决方案1】：

您实际上可以按照说明 here 将数据从 Big Query 移动到 Cloud Storage Bucket。之后，您可以通过运行轻松地将数据从 Cloud Storage 存储桶移动到 Amazon s3 存储桶：

gsutil rsync -d -r gs://your-gs-bucket s3://your-s3-bucket

可以在here找到相关文档

【讨论】：