Dataproc (Spark v2) 中的纱线队列示例

Question

有没有人能够在 Dataproc 中的 Spark 2.x 上向 yarn 添加超过默认队列的内容？

在集群创建时失败的尝试：

capacity-scheduler:yarn.scheduler.capacity.root.queues=alpha,beta,default yarn:yarn.scheduler.capacity.root.queues=alpha,beta,default

此外，在上述任一配置前缀上设置 yarn.scheduler.fair.allow-undeclared-pools=true 以激活动态队列也会失败。

所有情况似乎都使守护进程失败，导致资源管理器在启动时死机。

Answer 1

每个队列都需要指定容量。您的示例所需的属性如下：

capacity-scheduler:yarn.scheduler.capacity.root.queues=alpha,beta,default
capacity-scheduler:yarn.scheduler.capacity.root.alpha.capacity=20
capacity-scheduler:yarn.scheduler.capacity.root.beta.capacity=20
capacity-scheduler:yarn.scheduler.capacity.root.default.capacity=60

所有指定的容量总和为根队列资源的 100%。容量调度程序的全套配置选项可以在 Hadoop documentation 中找到。