【问题标题】:How can AWS Glue access IP whitelisted resourceAWS Glue 如何访问 IP 白名单资源
【发布时间】:2019-08-31 12:11:43
【问题描述】:

如果我的服务需要 IP 白名单,我如何将 AWS Glue 连接到它?我读到我似乎能够将 AWS Glue 放入私有 VPC 并配置 NAT 网关。然后我可以允许我的 NAT IP 连接到该服务。但是,我无论如何都找不到将我的 Glue 作业配置为在子网/VPC 内运行。我该怎么做呢?

【问题讨论】:

    标签: amazon-web-services aws-glue


    【解决方案1】:

    如果您将数据库连接附加到 VPC 内的资源,该作业将在 VPC 中自动运行。例如,我有一个工作,它使用 Glue 连接(配置为 JDBC)从 S3 读取数据并写入私有 VPC 中的 Aurora 数据库。

    该作业自动有权访问 VPC 内的所有资源,例如 explained here。如果 VPC 为外部访问启用了 NAT,那么您的工作也可以利用它。

    请注意,如果您使用需要 VPC 的连接并且使用 S3,则还需要在该 VPC 中为 S3 启用一个端点。

    【讨论】:

    • 嗯,如果我不需要数据库连接怎么办。例如,我只想连接到私有 API。或者更确切地说,在这种情况下,API 实际上在 VPC 之外,但我需要一个 IP 地址来执行 IP 白名单。所以我打算把它放在VPC里面,用NAT IP做白名单
    • 据我所知,Glue 仅在需要连接到 VPC 中的资源时才会使用 VPC。正如您所提到的,它没有明确的 VPC 配置。
    【解决方案2】:

    您的问题的答案已在此处得到解答——https://stackoverflow.com/a/64414639 请注意,Glue 是一项“托管”服务,因此它不会发布任何可列入白名单的 IP 地址列表。作为一种解决方法,您可以使用 EC2 实例运行您的自定义 python 或 pyspark 脚本并将该特定 EC2 实例的 IP 地址列入白名单

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-03-31
      • 2021-09-13
      • 1970-01-01
      • 2019-01-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多