将数据从 PostgreSQL 移动到 AWS S3 并使用 RedShift Spectrum 进行分析

Question

我有大量具有不同架构的 PostgreSQL 表以及其中的大量数据。

我现在无法进行数据分析，因为数据量非常大 - 几 TB 的数据，而 PostgreSQL 无法在合理的时间内处理查询。

我正在考虑以下方法 - 我将使用 Apache Spark 处理我的所有 PostgreSQL 表，加载 DataFrame 并将它们作为 Parquet 文件存储在 AWS S3 中。然后我将使用 RedShift Spectrum 来查询存储在这些 PARQUET 文件中的信息。

首先，我想问一下 - 这个解决方案是否有效？

第二个 - RedShift Spectrum 是否能够从这些 Parquet 文件自动创建 EXTERNAL 表而无需额外的架构规范（即使原始 PostgreSQL 表包含 AWS RedShift 不支持的数据类型）？

Answer 1

AWS Glue 可能对您来说很有趣。它既是 Spark 的托管版本，带有一些 AWS 特定的插件和 Data Crawler + Data Catalogue。

它可以爬取 Parquet 文件等非结构化数据并找出结构。然后，您可以在需要时以结构化形式将其导出到 AWS RedShift。

请参阅this blog post，了解如何使用 JDBC 将其连接到 postgres 数据库以将数据从 Postgres 移动到 S3。

Answer 2

1. Redshift Spectrum 几乎支持与 Redshift 本身相同的数据类型。

2. Redshift Spectrum 在后台创建计算节点集群。集群的大小取决于实际 Redshift Cluster 节点的数量，因此如果您计划创建 1 个节点的 Redshift 集群，Spectrum 的运行速度会非常慢。

3. 正如您在 cmets 中所述，您可以使用 Athena 来查询数据，在您的情况下，它会比 Spectrum 更好。但是 Athena 有几个限制，比如 30 分钟的运行时间、内存消耗等。因此，如果您打算使用多个连接进行复杂的查询，它就无法工作。

4. Redshift Spectrum 无法在没有提供结构的情况下创建外部表。

5. 在您的情况下，最佳解决方案是使用 Spark（在 EMR 或 Glue 上）转换数据，使用 Athena 进行查询，如果 Athena 无法执行特定查询 - 对相同数据使用 SparkSQL。您可以使用 Glue，但在 Spot 实例上的 EMR 上运行作业会更加灵活且成本更低。 EMR 集群附带 EMRFS，让您能够几乎透明地使用 S3 而不是 HDFS。