在 Azure 批处理作业中是否需要删除任务和池？答案

【问题标题】：Is deleting tasks and pools necessary in Azure batch jobs?在 Azure 批处理作业中是否需要删除任务和池？
【发布时间】：2016-01-05 17:48:57
【问题描述】：

Azure Batch .net tutorial 显示删除任务，然后是作业，然后是池。同时，我发现这个article关于清理，而不是删除作业和池，它只是删除不再使用的虚拟机。这是一个好策略吗？我看到它可以帮助跟踪任务和一般组织，但是在删除已完成任务的 vm 后保留任务、作业和池有什么含义？

2018 年 5 月 15 日更新

给定作业中的最大任务数为 7770。

我按照下面的答案，最终得到了一份积累了7770个任务的工作。在这个神奇的数字之后，批处理服务不再能够向作业添加新任务，抛出以下异常：

System.AggregateException: One or more errors occurred. ---> Microsoft.Azure.Batch.Common.BatchException: InternalError: Server encountered an internal error. Please try again after some time.
RequestId:e6ab60e0-5c3b-4116-9ffb-ba2032154318
Time:2018-05-15T11:17:17.2186951Z
   at Microsoft.Azure.Batch.Protocol.CloudPoolOperations.<GetAsync>d__65.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Azure.Batch.Protocol.BatchRequest`2.<ExecuteRequestWithCancellationAsync>d__c.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Azure.Batch.Protocol.BatchRequest`2.<ExecuteRequestAsync>d__2.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Azure.Batch.ProtocolLayer.<ProcessAndExecuteBatchRequest>d__11b`2.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Azure.Batch.PoolOperations.<GetPoolAsync>d__3.MoveNext()
   --- End of inner exception stack trace ---
   at System.Threading.Tasks.Task.ThrowIfExceptional(Boolean includeTaskCanceledExceptions)
   at System.Threading.Tasks.Task.Wait(Int32 millisecondsTimeout, CancellationToken cancellationToken)
   at Microsoft.Azure.Batch.PoolOperations.GetPool(String poolId, DetailLevel detailLevel, IEnumerable`1 additionalBehaviors)
   at Pepe.Helpers.Batch.CreatePool()
   at Pepe.Helpers.LogEntryMaintainer.LaunchJob(LogFile log, PepeEntities db)

我建议定期清理历史数据。如果您需要将这些信息保留在某个地方，我建议您移动到某个地方，例如表存储。

【问题讨论】：

批处理文件标签用于 Windows .bat 文件。不知道这与那有什么关系。
@Squashman 它不断将“批处理”更改为“批处理文件”。奇怪的事情。

标签： .net azure azure-batch

【解决方案1】：

您根本不需要删除任务或其作业，将它们留在系统中并没有真正的缺点。但是，您确实需要在完成时终止作业，因为 Batch 帐户中的活动作业数量存在配额。

关于池和虚拟机，这完全取决于您希望如何管理资源（特别是考虑到这些会花费您的资金）。常见的方法包括；

明确创建一个池来运行一个或多个作业。完成后删除池。如果您想增加/减少 VM 的数量，也可以显式调整池的大小。
使用自动池功能指定一个在提交作业时自动创建的池。作业终止时，池将自动删除。
显式创建一个池并定义一个自动缩放公式，该公式可以在作业提交和完成时向上和向下缩放池。这是一个非常强大的功能，可以最大限度地提高资源利用率并最大限度地降低成本。

希望对您有所帮助。

【讨论】：