【问题标题】:Connect to "on-premise" postgresql database with AWS glue使用 AWS 胶水连接到“本地”postgresql 数据库
【发布时间】:2019-09-09 18:14:26
【问题描述】:

我有一个 PostgreSQL 数据库,它实际上是“内部部署”,但我有凭据和 JDBC 连接字符串。我想读取 AWS 胶水上的表格并将其用作作业中的源,然后写入 S3。

但它要求 VPC?我不明白。我可以在作业中对连接进行硬编码吗?对于 ETL 环境来说,这似乎是一项基本任务。我错过了什么?

【问题讨论】:

  • 你能分享一下你在做什么的细节吗? VPC 有什么要求?
  • 我将在控制台中使用 AWS 胶水。在左侧窗格中选择连接。我在记事本++ 上有我的JDBC 连接。我要求通过 JDBC 连接。我被要求提供“VPC”和“子网”。
  • Glue 无法直接连接到本地数据库服务器。 VPC 和子网提供了该连接。您可能想先了解一下。
  • @ChetanRanpariya 如何配置 VPC 和子网以便能够从我的 JDBC 数据源中读取数据?它是公开的,我有一个有效的 JDBC 连接。我只需要以某种方式建立联系。

标签: amazon-web-services etl aws-glue amazon-vpc


【解决方案1】:

Glue 可以使用 JDBC 连接到任何数据库。这是一个快速跟踪 pyspark 编码的好工具箱。

基本上,您需要了解您在 AWS 环境中的实际位置。并识别或创建 VPC。从那里,建立您的 ACL 和安全组。

祝你好运!

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-05-30
    • 1970-01-01
    • 2019-06-15
    • 2023-01-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多