Azure批处理池稳定运行一段时间后崩溃答案

【问题标题】：Azure batch pool crashing after running steadily for some timeAzure批处理池稳定运行一段时间后崩溃
【发布时间】：2020-03-05 17:05:43
【问题描述】：

我在使用 Azure Batch 时遇到以下行为。我正在使用 Shipyard 启动一个包含 500 个低优先级节点的池，以执行包含 400.000 个任务的列表。使用自动缩放管理池大小。

起初，游泳池似乎运行良好。节点数量增加到最大容量，任务按预期完成。但是，一段时间后（完成了大量任务），我开始遇到“启动任务失败”错误。然后池迅速开始降级，直到所有节点都因同样的错误而崩溃。

这是我在崩溃节点之一的stdout.txt 文件中遇到的错误：

Login Succeeded
2020-03-04T09:09:07UTC - INFO - Docker registry logins completed.
2020-03-04T09:09:07UTC - WARNING - No Singularity registry servers found.
2020-03-04T09:13:37,840996225+00:00 - ERROR - Cascade Docker exited with non-zero exit code: 1

这似乎是与拉取 Docker 映像有关的问题？虽然它之前在其他节点上运行没有问题。

我知道这些信息并不多，但我无法确定哪些信息是相关的，哪些信息不相关。

更新

更新到船厂 3.9.1 后，这是 stdout.txt 中一个崩溃节点的输出（启动任务失败）：

2020-03-05T08:23:43,784166638+00:00 - DEBUG - Pulling Docker Image: mcr.microsoft.com/azure-batch/shipyard:3.9.1-cargo (fallback: 0)
2020-03-05T08:23:58,876629647+00:00 - ERROR - Error response from daemon: Get https://mcr.microsoft.com/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
2020-03-05T08:23:58,878254953+00:00 - ERROR - No fallback registry specified, terminating

【问题讨论】：

标签： azure azure-batch

【解决方案1】：

请参阅 GitHub 问题 https://github.com/Azure/batch-shipyard/issues/340。您可能需要升级您的 Batch Shipyard 版本并重新创建您的池。

【讨论】：

感谢您的建议。不幸的是，更新到 3.9.1 并没有帮助。
你必须重新创建你的池。
当然。使用新输出更新了原始帖子。
实际上，更新可能确实有所帮助。尽管我们仍然遇到“启动任务失败”的问题，但它确实有所改善，我们目前能够或多或少地保持池稳定。更多信息在这里：github.com/Azure/batch-shipyard/issues/341