从 YARN 开始的 h2o 无法正常工作答案

【问题标题】：h2o starting on YARN not working从 YARN 开始的 h2o 无法正常工作
【发布时间】：2016-09-02 22:56:52
【问题描述】：

当我在 cdh 集群上启动 H2o 时，我收到以下错误。我从网站下载了所有内容并按照教程进行操作。我运行的命令是

hadoop jar h2odriver.jar -nodes 2 -mapperXmx 1g -output hdfsOutputDirName

它表明容器没有被使用。目前尚不清楚这些将在 hadoop 上进行哪些设置。我已经给了所有设置记忆。内存的 0.0 没有意义，为什么容器不使用内存。集群现在还在运行吗？

----- YARN cluster metrics -----
Number of YARN worker nodes: 3

----- Nodes -----
Node: http://data-node-3:8042 Rack: /default, RUNNING, 1 containers used, 1.0 / 6.0 GB used, 1 / 4 vcores used
Node: http://data-node-1:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used
Node: http://data-node-2:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used

----- Queues -----
Queue name:            root.default
    Queue state:       RUNNING
    Current capacity:  0.00
    Capacity:          0.00
    Maximum capacity:  -1.00
    Application count: 0

Queue 'root.default' approximate utilization: 0.0 / 0.0 GB used, 0 / 0 vcores used

----------------------------------------------------------------------

WARNING: Job memory request (2.2 GB) exceeds queue available memory capacity (0.0 GB)
WARNING: Job virtual cores request (2) exceeds queue available virtual cores capacity (0)

----------------------------------------------------------------------

For YARN users, logs command is 'yarn logs -applicationId application_1462681033282_0008'

【问题讨论】：

你应该执行这个命令来查看详细信息：yarn logs -applicationId application_1462681033282_0008

标签： hadoop hadoop-yarn h2o

【解决方案1】：

您应该设置您的默认队列以拥有运行 2nodes 集群的可用资源。

查看警告：

WARNING: Job memory request (2.2 GB) exceeds queue available memory capacity (0.0 GB)
- 您要求每个节点 1GB（+开销），但 YARN 队列中没有可用资源
WARNING: Job virtual cores request (2) exceeds queue available virtual cores capacity (0)
- 您要求 2 个虚拟内核，但默认队列中没有可用的内核

请查看 YARN 文档 - 例如容量调度程序的设置和最大可用资源： https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

【讨论】：

完全不清楚要进行哪些调整。我已经调整了所有这些 xml 值，没有任何区别。

【解决方案2】：

我在 Cloudera Manager 纱线配置中做了以下更改

Setting                                     Value
yarn.scheduler.maximum-allocation-vcores    8 
yarn.nodemanager.resource.cpu-vcores        4
yarn.nodemanager.resource.cpu-vcores        4
yarn.scheduler.maximum-allocation-mb        16 GB

【讨论】：

好像没问题，还是失败了吗？