【问题标题】:Job-level throttling and priority-setting in bigtablebigtable 中的作业级限制和优先级设置
【发布时间】:2016-09-09 18:54:41
【问题描述】:

我有一个谷歌云大表部署,其中有几个表和几个从中读取/写入的作业。有时,有人启动了一项占用大部分 bigtable 带宽的工作,而其他工作无法访问 bigtable。

有没有一种方法可以指定每个作业的 qps 限制或优先级,这样一个作业就不会使用所有带宽或 cpu?

【问题讨论】:

  • 目前这是不可能的,因为没有针对每个作业的设置,但这是一个有趣的用例和功能,因此感谢您的反馈!如果您愿意,很高兴与您进一步讨论您的用例和需求。我是 Cloud Bigtable 的 PM;随时通过 LinkedIn 与我们联系。
  • 部分用户在作业前增加 Cloud Bigtable 节点的数量,并限制客户端处理器的数量。

标签: google-cloud-bigtable


【解决方案1】:

Cloud Bigtable 不支持每个作业的 QPS 限制。但是,我们现在确实支持Replication,例如,它可以帮助将工作负载分离和隔离到不同的集群中,以避免批量查询影响实时服务流量。您可以创建具有多个不同大小的集群的设置,并使用application profiles 来指导各个查询组的路由方式。

您可以配置不同的作业以使用具有不同路由策略的不同应用程序配置文件。

对于速率限制和其他复杂的工作和客户管理,我建议您查看Istio,它可以帮助您将这些类型的策略应用于您的工作负载。

【讨论】:

    猜你喜欢
    • 2018-09-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-11-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-10-03
    相关资源
    最近更新 更多