Step Functions 上的 EMR 托管自动缩放

Question

有没有人尝试过在 Step Function 上创建具有托管自动缩放​​功能的 EMR 集群？也许我遗漏了一些东西，但in the documentation 没有提到如何实现这一点。这还支持吗？

Answer 1

我自己没有尝试过，但是从阅读文档来看，它似乎是受支持的。如果您查看示例创建集群here，它遵循标准RunJobFlow 语法。在定义的创建集群示例中，它具有以下 LogUri：

"LogUri": "s3n://aws-logs-123456789012-us-east-1/elasticmapreduce/",

所以在 JSON 中的同一级别，您可以像这样添加 ManagedScalingPolicy：

"LogUri": "string",
"ManagedScalingPolicy": { 
  "ComputeLimits": { 
     "MaximumCapacityUnits": number,
     "MaximumCoreCapacityUnits": number,
     "MaximumOnDemandCapacityUnits": number,
     "MinimumCapacityUnits": number,
     "UnitType": "string"
  }
},

然后应该使用托管扩展策略启动集群，只要您在队列配置中定义实例类型，那么托管扩展应该启动，假设您在集群上运行足够的工作负载来触发扩展事件。