AWS Data Pipeline 不支持“m3.xlarge”答案

【问题标题】：'m3.xlarge' is not supported in AWS Data PipelineAWS Data Pipeline 不支持“m3.xlarge”
【发布时间】：2020-09-03 15:03:30
【问题描述】：

我是 AWS 新手，试图通过将数据从 DynamoDB 加载到 S3 来运行 AWS DATA Pipeline。但我得到了错误。请帮忙

无法为 @EmrClusterForBackup_2020-05-01T14:18:47 创建资源，原因是：不支持实例类型“m3.xlarge”。（服务：AmazonElasticMapReduce；状态代码：400；错误代码：ValidationException；请求 ID：3bd57023-95e4-4d0a-a810-e7ba9cdc3712）

【问题讨论】：

m3 实例类型在 EMR 上已弃用，这可能是导致问题的原因。您是否尝试过使用m4.xlarge 或m5.xlarge？

标签： amazon-web-services amazon-data-pipeline

【解决方案1】：

当我在 us-east-2 区域中创建 dynamoDB 表和 s3 存储桶并在 us-east-1 中创建管道时，我遇到了同样的问题，因为我不允许在 us-east-2 区域中创建管道。

但是，一旦我在 us-east-1 区域创建了 dynamoDB 表和 s3 存储桶，然后也在同一区域中创建了管道，即使使用 m3.xlarge 实例类型，它也能正常工作。

【讨论】：

很高兴知道。因此，由于数据管道仅支持大约 5 个区域......如果您想备份不同区域的数据库，您首先需要通过其他方式备份和恢复您的数据库，然后您可以备份您的数据库。是的，谢谢aws ..

【解决方案2】：

使用最新一代实例总是好的。它们在技术上更先进，有时甚至更便宜。

所以没有理由从老一代开始。它们只适用于那些已经在这些机器上拥有基础设施的人。所以提供向后兼容性。

【讨论】：

上一代同等规格的产品几乎总是更便宜
谢谢大家！！。即使将其更改为 m4.xlarge，它仍然会抛出相同的错误（例如 m3.xlarge）。在定义部分下方。 {“名称”：“EmrClusterForBackup”，“coreInstanceType”：“m4.xlarge”，“coreInstanceCount”：“1”，“masterInstanceType”：“m4.xlarge”，“releaseLabel”：“emr-5.23.0”，“ id": "EmrClusterForBackup", "region": "#{myDDBRegion}", "type": "EmrCluster" },
请尝试m5 ..这是最新一代的..如果仍然无法正常工作；我会尝试在我的最后复制问题..还有你在使用哪个地区？
感谢 Deepak 的快速回复。即使将其更改为 m5，我也会收到相同的错误（m3）。我正在尝试将数据从 DynamoDB（孟买地区）加载到 S3... 数据管道在 us-east-1
似乎 Pipleline 正在按照 #{myDDBRegion} 占用 Mumabai 区域。我已在管道 GUI 中将其更改为 us-east-1。当前状态是 WAITING_ON_DEPENDENCIES 一段时间...不确定原因

【解决方案3】：

我认为这应该对您有所帮助。如果您使用 DynamoDBDataNode 或 resizeClusterBeforeRunning，AWS 将强制您使用 m3

https://aws.amazon.com/premiumsupport/knowledge-center/datapipeline-override-instance-type/?nc1=h_ls

【讨论】：