【问题标题】:How to connect EMR in VPC subnet to a redshift instance in ec2-classic?如何将 VPC 子网中的 EMR 连接到 ec2-classic 中的 redshift 实例?
【发布时间】:2020-11-26 03:15:07
【问题描述】:

我们有一个 不在 VPC 中的 redshift 集群,我一直在尝试从 VPC(附加互联网网关)中的 EMR 集群连接到它,但到目前为止没有运气。我想知道是否有可能的方法。

注意 - 我已经尝试在 VPC 公有子网中启动一个新的 redshift 集群,并且能够从同一子网中的 EMR 连接到它。

【问题讨论】:

  • 如果有人可以提供帮助,请再次回到同一个问题。这将节省一些精力,因为我们最终不会将集群迁移到 VPC。

标签: amazon-redshift amazon-emr amazon-vpc


【解决方案1】:

联系了 AWS 支持团队并得知无法从 VPC 中的 EMR 连接到 ec2-classic 中的 redshift。解决方案是在 ec2-classic 中启动 EMR,或者在 VPC 中恢复 redshift 集群。我们继续使用第二个选项(在 VPC 中恢复 redshift 集群),它非常简单。

在下面添加参考 - https://docs.amazonaws.cn/en_us/redshift/latest/dg/load-from-emr-steps-create-cluster.html

"如果 Amazon Redshift 集群在 VPC 中,则 Amazon EMR 集群必须在同一个 VPC 组中。如果 Amazon Redshift 集群使用 EC2-Classic 模式(即不在 VPC 中),Amazon EMR 集群也必须使用 EC2-Classic 模式”

最好的方法是移动 VPC 中的 Redshift 集群以连接到 EMR 集群。为此,您可以拍摄快照

https://docs.aws.amazon.com/redshift/latest/mgmt/managing-snapshots-console.html#snapshot-create

Redshift 集群然后从快照在 VPC 中创建一个新集群

https://docs.aws.amazon.com/redshift/latest/mgmt/managing-snapshots-console.html#snapshot-restore

之后,您可以修改安全组规则以在您的 Redshift 集群中添加 EMR 安全组。这里概述了这些步骤

https://docs.aws.amazon.com/redshift/latest/mgmt/managing-security-groups-console.html#security-group-modify

【讨论】:

    猜你喜欢
    • 2016-05-25
    • 2014-02-01
    • 1970-01-01
    • 1970-01-01
    • 2014-09-28
    • 1970-01-01
    • 2016-07-21
    • 2019-03-03
    • 1970-01-01
    相关资源
    最近更新 更多