如何最大化 WebJob CPU 使用率

Question

我有一个 azure 存储队列，上面有超过 100,000 个队列项。完成每个项目的平均处理时间约为 1 分钟（如 WebJob 仪表板中所报告的）。

我已将 webJob 的最大批量大小设置为 32，如下所示：

JobHostConfiguration config = new JobHostConfiguration();
config.Queues.BatchSize = 32;

var host = new JobHost(config);
// The following code ensures that the WebJob will be running continuously
host.RunAndBlock();

如果我将其设置为高于 32，webjob 将不会启动并在（等待重新启动和启动）之间不断翻转，所以我假设 32 是最大批量大小。

但是，我的应用服务计划以 4% 的 CPU 利用率运行。我已启用基于 CPU 使用情况的自动缩放。

我想要做的是弄清楚如何让 Web 作业并行执行更多任务，以便它可以在需要时开始使用更多的 CPU 使用率，并希望它能够自动扩展，然后处理更多。我可以利用哪些杠杆来让我的 WebJob 更好地利用我的应用服务计划实例？

Answer 1

请注意，BatchSize 的最大值为 32 是 Azure 队列施加的限制，WebJobs SDK 无法控制。单个队列侦听器一次最多只能提取 32 条消息，因为这是所有队列都允许的。这就是为什么当您将其设置为大于 32 时您的工作无法正常启动的原因 - 如果您检查错误日志，您应该会看到与此相关的错误。

但是，您还可以配置第二个与并行吞吐量相关的配置旋钮。见config.Queues.NewBatchThreshold。当未明确设置时，此值默认为 BatchSize 的一半。基本上，此设置是控制何时获取新批次的阈值。因此，如果您增加此值（例如将其设置为 100），将会并行处理更多队列消息。如果设置为 100，当正在处理的消息数量低于 100 时，将获取新批次。

您还可以通过将作业扩展到多个实例来进一步提高吞吐量。我建议先尝试 NewBatchThreshold 设置，然后看看它会带来什么。

Answer 2

代码中的This comment说明情况：

    // Azure Queues currently limits the number of messages retrieved to 32. We enforce this constraint here because
    // the runtime error message the user would receive from the SDK otherwise is not as helpful.
    private const int MaxBatchSize = 32;

更多信息请访问https://azure.microsoft.com/en-us/documentation/articles/storage-dotnet-how-to-use-queues/：

有两种方法可以自定义从队列中检索消息。首先，您可以获得一批消息（最多 32 个）。 [等等...]

这就是这个限制的来源。但是，我认为 WebJobs SDK 理论上可以同时处理多个队列批次，因此它不必受此存储队列限制。这就是您应该在https://github.com/Azure/azure-webjobs-sdk/issues 上提出的问题，以便进一步讨论以了解可以做什么。但就目前而言，这确实是限制。