H2o 执行者数量不工作答案

【问题标题】：H2o Number of Executors not workingH2o 执行者数量不工作
【发布时间】：2016-05-13 17:44:30
【问题描述】：

我使用以下命令启动 sparkling-shell。

./bin/sparkling-shell --num-executors 4 --executor-memory 4g --master yarn-client

我只有两个执行人。这是 H2o 问题、YARN 问题还是 Spark 问题？

迈克

【问题讨论】：

您使用的是哪个版本的 Spark 和苏打水？你也能解释一下“我只有两个执行人”吗？你是怎么检查的？
how to make executors run spark program by using --num-executors?的可能重复
@GlennieHellesSindholt 不幸的是，从我的同事告诉我的情况来看，这实际上可能与 Spakling Water 更相关。我们遇到了类似的问题并且正在努力解决，不过希望 OP 给我们提供更多信息。
我只有两个执行器，因为当集群启动时，屏幕上的 IP 打印输出只显示两个 IP。它看起来像一个完全健康的两节点集群。

标签： hadoop apache-spark h2o sparkling-water

【解决方案1】：

这种行为可能有多种原因。

YARN 只能根据可用资源（内存、vcores）为您提供执行器的数量。如果你要求更多，那么你就有资源，它会给你最大的能力。

启用动态分配时也可能出现这种情况。这意味着 Spark 将在需要时创建新的执行器。

为了解决 Sparkling Water 中的一些技术问题，我们需要在应用程序启动时通过创建人工计算并尝试利用整个集群来发现所有可用的执行器。这也可能会减少执行者的数量。

我建议您查看https://github.com/h2oai/sparkling-water/blob/master/doc/tutorials/backends.rst，您可以在其中阅读有关上述段落的更多信息以及如何使用所谓的外部苏打水后端解决该问题。

您也可以在这里查看https://github.com/h2oai/sparkling-water/blob/master/doc/configuration/internal_backend_tuning.rst。这是用于调整配置的苏打水指南。

库巴

【讨论】：

【解决方案2】：

我通过在 cloudera manager 中更改以下四个值解决了这个问题

Setting                                  Value
yarn.scheduler.maximum-allocation-vcores 8  
yarn.nodemanager.resource.cpu-vcores     4 
yarn.nodemanager.resource.cpu-vcores     4 
yarn.scheduler.maximum-allocation-mb     16 GB

【讨论】：