【问题标题】:AWS Data Pipeline Cannot Connect with RDS Mysql (connection time out)AWS Data Pipeline 无法与 RDS Mysql 连接(连接超时)
【发布时间】:2016-11-25 00:06:10
【问题描述】:

我一直在制作一个 AWS 数据管道,它将数据从 RDS Mysql 传输到 s3。 我已经尝试过 Template 但失败了很多。然后我做了这个自我配置的管道,但仍然没有成功。任何人都可以通过查看架构师来指出问题吗?

这里是 RDS MySQL 详细信息 -> 注意

这是数据桩线架构师

以下是第一个块的设置,即配置

以下是RDS MySQL数据库的设置

以下是 EC2 机器的设置

以下是 SQL 数据节点的设置 - 我猜是从 RDS 获取数据

以下是复制活动的设置

以下是 S3 数据节点的设置 - 我猜是把数据放在 S3 上

这是错误日志

我了解到这可能是由于 VPC(虚拟私有云)权限导致的错误,但我不确定如何添加这些设置,因为服务器是生产服务器,我害怕执行此测试。请问哪位大神可以提供一个解决方案?

【问题讨论】:

  • 您的 EC2 实例在哪个 VPC 和子网中?您的 EC2 实例无法连接到数据库您是否尝试从 EC2 实例连接到 RDS?
  • 您能否提供 DBserverSG-prod 安全组的转储?
  • @error2007s 如何查看 EC2 实例的 VPC 和子网?我在控制台打开 EC2,生产服务器上运行了 500 多个实例
  • @RodrigoM 你能告诉我如何获得那个转储,我会和安全团队核实是否可以分享它
  • 你能找到这台机器“下面是EC2机器的设置”

标签: amazon-web-services amazon-s3 amazon-ec2 amazon-data-pipeline aws-rds


【解决方案1】:

如前所述,您的 ec2 实例无法联系数据库端点。请使用链接正确配置安全组http://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_VPC.Scenarios.html

要对此进行测试,请在子网中启动一个 ec2 实例并远程登录到数据库端点,以确保连接正常。然后,您可以继续激活您的管道。

命令

  1. sudo yum install telnet

  2. telnet 主机名端口

【讨论】:

  • 我们使用 VPN 连接 RDS MySQL。我猜 VPN 的 IP 被添加到 VPC 安全组中。但是如何将我的 EC2 添加到该安全组中?
  • 您需要创建一个 Ec2 安全组,例如 ESG,并将其添加到 VPC 安全组中的“允许”列表中。然后,任何使用 ESG 启动的 ec2 实例都可以连接到 VPC 内的数据库。在这种情况下,您需要在 datapipeline 中的 Ec2Resource 的 'securityGroup' 槽中指定 ESG。
  • 你如何'添加到允许'? VPC 安全组和 EC2 安全组是出于相同目的而制作的两个不同的东西。请解释您的评论
猜你喜欢
  • 1970-01-01
  • 2017-07-25
  • 2020-10-19
  • 1970-01-01
  • 2021-03-01
  • 2020-12-26
  • 2017-05-24
  • 2018-05-13
  • 2017-09-13
相关资源
最近更新 更多