我们如何在 AWS Data Pipeline 作业中预置核心实例的数量答案

【问题标题】：How can we provision number of core instances in AWS Data Pipeline job我们如何在 AWS Data Pipeline 作业中预置核心实例的数量
【发布时间】：2017-02-24 08:14:24
【问题描述】：

要求：从 S3 备份位置恢复 DynamoDB 表。

我们创建了 Data Pipeline 作业，然后在 Architect Wizard 中编辑资源部分。

我们在核心实例计数下放置了 20 个实例，但在数据管道作业激活后，创建的 EMR 集群只有一个主实例和一个核心实例。

您能否建议我们，如何增加资源部分下的核心数量

【问题讨论】：

标签： amazon-web-services amazon-emr amazon-data-pipeline data-pipeline

【解决方案1】：

您可能会达到 EC2 总资源限制。除非您请求提高限制，否则您只能运行 20 个按需 EC2 实例。 Datapipeline 承认此限制。您必须使用以下链接增加 EC2 Ondemand 资源限制。

来自docs的类似场景：

如果您将 AWS Data Pipeline 配置为自动创建 20 节点用于处理数据的 Amazon EMR 集群，您的 AWS 账户有一个 EC2 实例限制设置为 20，您可能会无意中耗尽可用的回填资源。因此，请考虑这些资源限制在您的设计中或相应地增加您的帐户限制。

如果您需要额外容量，可以使用Amazon Web Services Support Center request form 来增加容量。

【讨论】：

我们没有任何其他活动的 EC2 实例。这是增加核心实例数量的正确方法吗？还是我们有其他方法来编辑和增加核心实例数。
在Datapipeline中创建EMR资源时，传递CoreInstanceCount下的数字是请求核心实例的正确方式。除了主实例计数之外，您还请求总共 21 个实例。 master 和 core 请求的实例类型是什么？有没有任务实例？
不会有指定主实例计数的选项吧？纠正我如果我错了。我也没有看到任务实例规范。
不能指定主实例数，默认为1，不可修改。但是有可用的任务实例类型和任务实例计数选项。由于您没有添加它们，因此您碰巧总共请求了 21 个实例。请求的实例类型是什么？
我指定了任务实例计数：5（他们正在配置 5 个实例 - 现在刚刚检查）。问题在于核心实例计数，它不会从 1 开始变化。我们对任务实例和核心实例都使用了“m3.xlarge”类型。通过指定 Task Instance count >1（它们按照我们的要求进行配置）是否会提高性能？