H2o 模型训练指标日志位置答案

【问题标题】：H2o model training metrics log locationH2o 模型训练指标日志位置
【发布时间】：2019-08-08 10:00:39
【问题描述】：

我正在使用 H2o 运行网格搜索，并试图找出已完成训练模型的模型统计信息在 H2o - Hadoop 中的存储位置。比如说，它运行 10 个模型作为网格搜索的一部分，并在完成 5 个模型后崩溃。在哪里可以找到已完成模型的分数（和参数），以及在哪里可以找到 h2o 崩溃时正在运行的模型的参数。我在任何地方都找不到这个日志。我假设它应该将数据保存在某处以显示在 H2o 流中。我就是找不到。

【问题讨论】：

标签： h2o

【解决方案1】：

工作完成后，您可以使用“纱线日志”访问日志输出命令。

当您在 hadoop 上运行 h2o 时，它会将适当的（用您的作业 ID 填写）纱线日志命令打印到标准输出。

它看起来像：

yarn logs -applicationId nnn

【讨论】：

由于 H2o 集群在网格搜索过程中崩溃，因此不会返回任何日志。所以我试图找到一个 H2o 跟踪这些细节的中间位置。它在 H2o 流 UI 中显示详细信息。但是在崩溃之后，如果我重新启动 H2o，UI 就没有关于模型的任何详细信息。它不是存储在 HDFS 或其他地方吗？
纱线作业完成后会出现日志。
随着 H2o 服务器崩溃，纱线作业失败。有没有临时记录数据的地方？
我正在寻找一个位置，它记录有关它尝试的各种模型的详细信息以及每个模型的参数/分数。
你想要的是由“纱线日志”捕获的标准输出和标准错误，一旦工作结束就可以从纱线中获得。这就是我们自 2014 年以来一直在调试 hadoop 纱线作业的方式。我不知道该怎么说。