可以在纱线客户端模式下启动 Dask 吗？

Question

我使用dask_yarn（knit 的一部分）来启动 Dask Yarn 集群，如下所示：

import dask_yarn

cluster = dask_yarn.DaskYARNCluster(env='/home/hadoop/reqs/dvss.zip', lang='en_US.UTF-8')
cluster.start(n_workers=4, memory=5120, cpus=3)

这会在核心节点上为 AM 请求 1 个 vCore，并将其余 vCore 提供给工作人员。

在 Spark 中，我可以选择以yarn-client 模式运行应用程序，这将使驱动程序在主节点上运行，然后所有核心节点资源都可以免费供工作人员使用。 dask_yarn 可以做同样的事情吗？

Answer 1

我想你可能误解了spark中两种部署模式的含义。

有两种部署模式可用于在 YARN 上启动 Spark 应用程序。在集群模式下，Spark驱动运行在集群上由YARN管理的应用主进程中，客户端启动应用后即可离开。在客户端模式下，驱动运行在客户端进程中，应用主控仅用于向YARN请求资源。

据我了解，ApplicationMaster 始终存在，因此必须分配一些资源。问题是是否需要在 yarn 之外单独的客户端进程。

对于knit，总是有一个ApplicationMaster和一个客户端进程——它有效地实现了客户端模式。此外，带有 Dask 调度程序的 python 进程将运行。这可能有点浪费，我们希望不需要 (java) 客户端进程，但它很小。

对于 ApplicationMaster 的要求，实际上按 YARN 标准来说是很轻的。请注意，YARN 是一种资源分配服务，当容器请求它们时，它实际上并不会耗尽系统资源。