AWS 在 VPC 中访问 Redshift答案

【问题标题】：AWS Accessing Redshift in a VPCAWS 在 VPC 中访问 Redshift
【发布时间】：2017-08-23 09:05:43
【问题描述】：

我正在尝试使用 AWS Glue 将数据从 Redshift 实例（在 VPC 中）传输到 S3 存储桶。为此，我使用 Redshift 创建了 JDBC 连接。

爬虫成功地将架构信息从 Redshift 提取到数据目录。但是当我运行 ETL 作业时，它无法获取数据并显示“资源不可用”

【问题讨论】：

【解决方案1】：

Redshift 在您的 VPC 中。 Glue 在您的 VPC 内部。 S3 不是。在大多数情况下，默认情况下访问 S3 需要访问 Internet。

要访问 S3 中的数据，您需要一个 NAT 网关、一个 NAT 实例或一个 S3 VPC Endpoint 来为 VPC 内的 S3 流量带来一个终止点。

【讨论】：

我已经配置了一个 S3 VPC 终端节点。让我困惑的是，为什么当爬虫能够从 redshift 读取模式信息时 ETL 作业会失败？我什至看不到 cloudwatch 日志，因为它们没有被创建。但是，当我运行从 S3 到 S3 的 ETL 数据的示例 Glue 教程时，它成功运行，甚至创建了日志。如有任何有关如何解决此问题的指导，我将不胜感激。
尚不清楚您可能缺少什么。可能是安全组设置？

【解决方案2】：

对于遇到此问题的任何人来说，这仍然是一个持续存在的问题。对于我的设置，它是 RDS 连接的子网所在的可用区，但据我了解，这适用于任何连接类型。

“修复”是：

如果作业仍然因资源不可用而失败，请重复此操作，直到成功为止。

【讨论】：