【发布时间】:2019-08-31 12:11:43
【问题描述】:
如果我的服务需要 IP 白名单,我如何将 AWS Glue 连接到它?我读到我似乎能够将 AWS Glue 放入私有 VPC 并配置 NAT 网关。然后我可以允许我的 NAT IP 连接到该服务。但是,我无论如何都找不到将我的 Glue 作业配置为在子网/VPC 内运行。我该怎么做呢?
【问题讨论】:
标签: amazon-web-services aws-glue
如果我的服务需要 IP 白名单,我如何将 AWS Glue 连接到它?我读到我似乎能够将 AWS Glue 放入私有 VPC 并配置 NAT 网关。然后我可以允许我的 NAT IP 连接到该服务。但是,我无论如何都找不到将我的 Glue 作业配置为在子网/VPC 内运行。我该怎么做呢?
【问题讨论】:
标签: amazon-web-services aws-glue
如果您将数据库连接附加到 VPC 内的资源,该作业将在 VPC 中自动运行。例如,我有一个工作,它使用 Glue 连接(配置为 JDBC)从 S3 读取数据并写入私有 VPC 中的 Aurora 数据库。
该作业自动有权访问 VPC 内的所有资源,例如 explained here。如果 VPC 为外部访问启用了 NAT,那么您的工作也可以利用它。
请注意,如果您使用需要 VPC 的连接并且使用 S3,则还需要在该 VPC 中为 S3 启用一个端点。
【讨论】:
您的问题的答案已在此处得到解答——https://stackoverflow.com/a/64414639 请注意,Glue 是一项“托管”服务,因此它不会发布任何可列入白名单的 IP 地址列表。作为一种解决方法,您可以使用 EC2 实例运行您的自定义 python 或 pyspark 脚本并将该特定 EC2 实例的 IP 地址列入白名单
【讨论】: