AWS Batch 作业在“dependsOn”时停留在 PENDING

Question

我在链接 AWS Batch 作业时遇到问题。

• 有 3 个计算环境（CE_A、CE_B、CE_C），每个环境关联一个作业队列（JQ_A , JQ_B, JQ_C)。

• 有 6 个工作定义（JD_1、JD_2、...、JD_6）。

• 让<jqce>-<jd>-<name> 成为在作业队列（或计算环境）<jqce> 和作业定义<jd> 上启动的作业。示例：A-1-a、C-6-z。

• 我想依次执行大约 20 个作业（使用不同的环境变量启动）：A-1-a、A-1-b、B-2-c、A-3-d、A-3-e、A-3-f、...

• 对于每个作业，我指定对先前作业的依赖关系： params.dependsOn = [{ "jobId": "xxxxx-xxxx-xxxx-xxxxxx"}] 在Batch.submitJob(params)。

• 前两个作业A-1-a 和A-1-b 在等待资源分配几分钟后成功执行。

• 在等待计算环境CE_B 启动几分钟后，第三个作业B-2-c 也成功执行。

• 同时，计算环境CE_A 已关闭，因为没有提供任何作业。

问题来了：

• 我预计此时CE_B 会下降而CE_A 会上升。 CE_A 没有上升。

• A-3-d 从未被执行，16 小时后它仍处于PENDING 状态。

  • dependsOn 没问题，它的依赖关系早就结束了。
  • 没有dependsOn，批处理运行正常，使用相同的环境变量和配置。

问题

• 您是否遇到过AWS Batch 和dependsOn 的类似问题？
• 是否可以链接来自不同作业队列的批次？
• 是否可以链接来自不同计算环境的批次？
• params.dependsOn = [{ "jobId": "xxx-xxx-xxx-xxx" }] 在您看来还可以吗？看来我不必设置type属性see array jobs；

Answer 1

你觉得 params.dependsOn = [{ "jobId": "xxx-xxx-xxx-xxx" }] 没问题吗？看来我不必设置类型属性见数组作业；

是的，类型仅在定义为数组作业时才需要。而您提供的 JobID 是您提交特定作业时返回的内容？

是否可以链接来自不同作业队列的批次？ 是否可以链接来自不同计算环境的批次？ 你应该可以做到，但我从来没有这样做过。

同时，计算环境 CE_A 已关闭，因为没有提供任何作业。

所以 CE_A 已经在运行并且已经运行 A-1-a、A-1-b 了吗？

我记得 AWS 每 10 分钟检查一次某些状态，人们遇到过系统似乎卡住的情况。

您可以将 CE_A 设置为始终拥有至少 1 个 CPU，这样它就不会消失或变得难以获得某个版本。

您可以仅出于测试目的吗？更短的操作，减少队列等

考虑查看有关 Batch 的 AWS 论坛。那里没有太多的活动，但值得多看一眼。