【发布时间】：2016-04-19 14:53:08
【问题描述】：
我在运行 2 台工作机器的 Amazon EC2 机器上设置了 Spark。它从 cassandra 读取数据，进行一些处理并写入 sql server。我听说过亚马逊 EMR 并阅读过它。我想要一个托管系统，如果我的工作需要更多时间并在我的工作完成时关闭，我的工作机器会自动添加到我的集群中。
我可以通过 Amazon EMR 实现这一点吗？
【问题讨论】：
标签： amazon-emr
【发布时间】：2016-04-19 14:53:08
【问题描述】：
要求是：
如果我的工作需要更多时间，我的工作机器会自动添加到我的集群中。
我的工作完成后关机。
没有。如果您的工作是从这些步骤启动的，那么 2 绝对是可能的。有一个选项可以在最后一步完成后自动终止集群。或者，这也可以使用 SDK 以编程方式完成。
没有。 1 有点困难，但 EMR 有三类节点；主、核心和任务。创建集群后可以添加任务节点。对此的触发可能必须以编程方式或使用其他亚马逊服务（如 Lambda）来完成。
【讨论】：