当步骤在 s3 中产生不良结果时，如何终止 EMR 集群

Question

我的 Amazon Simple 工作流程会旋转 EMR 集群并添加一些步骤，这些步骤取决于前一步骤的输出。如果我有 10 个步骤，并说我的第 6 步在 s3 中生成输出，应该由第 7 步查看以确定该步骤是否可以进一步继续或根据第 6 步输出终止集群。我的工作流程运行良好，但是如果输出不理想，我该如何终止集群。我正在使用 AWS java sdk。

Answer 1

当您发现问题时，使用如下代码终止集群

您可能已经使用以下代码来启动集群

AmazonElasticMapReduce emr=new AmazonElasticMapReduceClient(
.

.

// Run the job flow
 RunJobFlowResult result = emr.runJobFlow(request)

//shutdown when you notice any error

 emr.shutdown();