AWS Glue 在运行作业时返回错误答案

【问题标题】：AWS Glue returning error while running jobAWS Glue 在运行作业时返回错误
【发布时间】：2018-06-21 22:03:14
【问题描述】：

我想从存储在 aws redshift 上的数据生成 parquet 文件格式，为此我创建了连接和爬虫以获取数据信息。所有数据库目录均已成功获取，但在运行作业以获取表数据、生成 parquet 文件并将其存储到 aws s3 时，AWS Glue 给了我以下错误：

ip "someIp address" 的反向 dns 解析失败

但是，我可以成功生成 parquet 文件，其中源数据存储和目标数据存储为 AWS S3。仅当我将 redshift 集群用作源数据存储并使用 S3 作为目标数据存储时才会生成错误。

我知道该错误与向我显示错误的 Route53 服务无关。我还检查了我的安全组。它还允许 VPC 中的所有入口流量。我还检查了 S3 存储桶和 Redshift 是否在同一区域。子网也是正确的。

【问题讨论】：

【解决方案1】：

您需要为 redshift 子网中的所有 IP 创建反向 DNS 记录。

【讨论】：

【解决方案2】：

您应该启用 DNS 主机名和解析。

转到您的 VPC > 选择您的 VPC > 点击操作 > 点击编辑 DNS 解析 > 点击是 > 点击保存

与上述类似，为您的 VPC 启用 DNS 主机名

点击操作>点击编辑DNS主机名>点击是>点击保存

【讨论】：

【解决方案3】：

尝试将 DNS UDP 的粘合连接的 SG 出口规则设置为 all。协议 UDP，端口 53。

【讨论】：