【问题标题】:AWS Batch Jobs does not scale to maximum VcpusAWS Batch 作业未扩展到最大 Vcpus
【发布时间】:2022-05-03 04:37:49
【问题描述】:

我正在尝试在 AWS 队列(queue A)上运行具有 200 个 VCPU 的网络爬虫,但即使最大和所需的 VCPU 数量为 200,它也只使用 40 个。我应该怎么做做?

【问题讨论】:

    标签: python amazon-web-services web-scraping cloud aws-batch


    【解决方案1】:

    您的工作定义设置如何?您的队列中有 200 个所需的 vCPU。也许您正在运行的作业被指定在 5 个 vCPU 上运行?

    【讨论】:

    • 我建议不要在答案中使用修辞问题。他们冒着被误解为根本不是答案的风险。您正在尝试回答此页面顶部的问题,不是吗?否则请删除此帖。
    • 请将其表述为有条件的解释性答案,以避免给人以澄清问题而不是回答的印象(应该使用评论而不是答案,比较meta.stackexchange.com/questions/214173/…)。例如像“如果你的问题是......那么解决方案是......因为......。”
    • 嘿@Yunnosch。这是一个老问题。我们发现问题出在我的 AWS 账户上。所以我不得不直接联系 AWS 并要求他们允许我们增加可用 VCPU 的最大数量
    • @MarcosPauloJúnior 我不明白你的意思。或者更确切地说,你没有得到我的。我试图让这篇文章的作者意识到它应该清楚地回答并避免提出澄清问题的印象。
    • 这没有提供问题的答案。一旦你有足够的reputation,你就可以comment on any post;相反,provide answers that don't require clarification from the asker。 - From Review
    【解决方案2】:

    一段时间后,我们发现问题出在我的 AWS 账户本身。所以我不得不联系 AWS 团队并要求他们增加 VCPU 的最大数量

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2019-07-20
      • 2020-05-02
      • 2021-01-28
      • 2018-09-13
      • 1970-01-01
      • 2021-06-07
      • 2016-10-03
      • 2021-03-11
      相关资源
      最近更新 更多