基于相同的任务定义但使用不同的环境变量运行多个 ECS 任务

Question

我的任务是处理大量数据，因此数据被分批成许多部分。我已经为这类工作编写了任务定义，但现在我只知道如何通过为每个环境注册多个任务定义来手动设置它们。

每个任务都有自己的环境的示例BATCH_ID

  aws ecs register-task-definition --cli-input-json file://taskdef1.json  
  aws ecs run-task --cluster $cluster --task-definition process_data_1

  aws ecs register-task-definition --cli-input-json file://taskdef2.json  
  aws ecs run-task --cluster $cluster --task-definition process_data_2

如果有一些 .manifest 文件包含所有用于集群的任务 arn，那就更好了。

有没有办法以更优雅的方式运行多个具有不同环境参数的类似 ECS 任务，然后创建大量不同的 taskdefs 文件？

感谢您的帮助和建议

Answer 1

您可以在使用--overrides 标志运行任务时覆盖环境变量。我经常用这个;您可以覆盖现有的环境变量（在任务定义中定义）或简单地添加一个新变量。 --overrides 仅接受 JSON（无速记语法）；在你的情况下，它看起来像：

{
  "containerOverrides": [
    {
      "name": "containerNameFromTaskDefinition",
      "environment": [
        {
          "name": "BATCH_ID",
          "value": "sampleBatchId"
        }
      ]
    }
  ]
}

和命令：

aws ecs run-task --cluster $cluster --task-definition process_data_1 --overrides {"containerOverrides":[...]} 

您当然可以使用--overrides 覆盖更多内容：https://docs.aws.amazon.com/cli/latest/reference/ecs/run-task.html

Answer 2

我可能误解了这里的问题，但您能否将变量放入您的 cli 输入 .json 并在运行任务之前使用 sed 换出批处理 ID？当我需要换出环境变量时，我已经为应用程序部署完成了此操作。

首先，将要替换的变量放入 taskdef 模板文件中（如 %BATCH_ID%）

然后执行以下操作：（注意：Bash 脚本不在我的脑海中，可能需要修复）

sed 's/%BATCH_ID%/$BATCH_ID' generic_taskdef.json > process_data_$BATCH_ID.json 
aws ecs register-task-definition --cli-input-json file://process_data_$BATCH_ID.json
aws ecs run-task --cluster $cluster --task-definition process_data_$BATCH_ID