H2O H2OServerError：训练模型时出现 HTTP 500 服务器错误

Question

尝试在 h2o（版本 3.20.0.5）中训练 DRF 分类器，错误“H2OServerError: HTTP 500 Server Error”没有进一步解释。

---------------------------------------------------------------------------
H2OServerError                            Traceback (most recent call last)
<ipython-input-44-f52d1cb4b77a> in <module>()
      4     training_frame=train_u, validation_frame=val_u,
      5     weights_column='weight',
----> 6     max_runtime_secs=max_train_time_hrs*60*60)
      7 
      8 

/home/mapr/python-virtual-envs/ml1c/venv/lib/python2.7/site-packages/h2o/estimators/estimator_base.pyc in train(self, x, y, training_frame, offset_column, fold_column, weights_column, validation_frame, max_runtime_secs, ignored_columns, model_id, verbose)
    224         rest_ver = parms.pop("_rest_version") if "_rest_version" in parms else 3
    225 
--> 226         model_builder_json = h2o.api("POST /%d/ModelBuilders/%s" % (rest_ver, self.algo), data=parms)
    227         model = H2OJob(model_builder_json, job_type=(self.algo + " Model Build"))
    228 

/home/mapr/python-virtual-envs/ml1c/venv/lib/python2.7/site-packages/h2o/h2o.pyc in api(endpoint, data, json, filename, save_to)
    101     # type checks are performed in H2OConnection class
    102     _check_connection()
--> 103     return h2oconn.request(endpoint, data=data, json=json, filename=filename, save_to=save_to)
    104 
    105 

/home/mapr/python-virtual-envs/ml1c/venv/lib/python2.7/site-packages/h2o/backend/connection.pyc in request(self, endpoint, data, json, filename, save_to)
    400                                     auth=self._auth, verify=self._verify_ssl_cert, proxies=self._proxies)
    401             self._log_end_transaction(start_time, resp)
--> 402             return self._process_response(resp, save_to)
    403 
    404         except (requests.exceptions.ConnectionError, requests.exceptions.HTTPError) as e:

/home/mapr/python-virtual-envs/ml1c/venv/lib/python2.7/site-packages/h2o/backend/connection.pyc in _process_response(response, save_to)
    728         # Note that it is possible to receive valid H2OErrorV3 object in this case, however it merely means the server
    729         # did not provide the correct status code.
--> 730         raise H2OServerError("HTTP %d %s:\n%r" % (status_code, response.reason, data))
    731 
    732 

H2OServerError: HTTP 500 Server Error:
Server error java.lang.NullPointerException:
  Error: Caught exception: java.lang.NullPointerException
  Request: None

有问题的代码sn-p如下所示：

max_train_time_hrs = 8 
drf_proc.train(
    x=train_features, y=train_response,
    training_frame=train_u, validation_frame=val_u,
    weights_column='weight',
    max_runtime_secs=max_train_time_hrs*60*60)

运行h2o.init() 命令的输出如下所示

Checking whether there is an H2O instance running at http://172.18.4.62:54321. connected.
Warning: Your H2O cluster version is too old (7 months and 24 days)! Please download and install the latest version from http://h2o.ai/download/
H2O cluster uptime: 06 secs
H2O cluster timezone:   Pacific/Honolulu
H2O data parsing timezone:  UTC
H2O cluster version:    3.20.0.5
H2O cluster version age:    7 months and 24 days !!!
H2O cluster name:   H2O_88021
H2O cluster total nodes:    4
H2O cluster free memory:    15.34 Gb
H2O cluster total cores:    8
H2O cluster allowed cores:  8
H2O cluster status: accepting new members, healthy
H2O connection url: http://172.18.4.62:54321
H2O connection proxy:   None
H2O internal security:  False
H2O API Extensions: AutoML, XGBoost, Algos, Core V3, Core V4
Python version: 2.7.12 fin

虽然我意识到有警告说我正在使用的 h2o 版本“太旧”，但我正在使用的 h2o python 包的版本和我要连接的集群仍然匹配，并且由于无法升级到访问该集群并期望某个版本的其他 h2o 应用程序（所有这些应用程序似乎在集群上运行都没有问题）。同时，任何网络浏览器都无法连接到H2O连接url。

关于这里可能发生的事情或可以调查的调试步骤有什么想法吗？

Answer 1

15GB 的内存可能不足以满足您预计持续 8 小时的训练过程。 （另外：我建议使用early stopping，而不是max_runtime_secs。）

作为调试步骤，我建议您在 Flow 界面中观看（将您的浏览器指向端口 54321 - 在您的 h2o.init() 输出中查看连接 URL）。尤其要注意内存使用量如何随着时间的推移而上升。

（有时“500”错误只是意味着它变得不稳定，内存不足是常见的触发因素。）

如果您立即收到错误，那么问题就不太可能出现（除非您拥有庞大的数据集）。

在这种情况下，如果特定列或数据行可能导致问题，我会尝试缩小范围。例如。

• 实验 1：train_features 中列的前半部分
• 实验 2：train_features 中的后半列
• 实验 3：train_u 中的前半行
• 实验 4：train_u 中的后半行
• 实验 5/6（如果仍然没有运气）：同样适用于 valid_u

如果实验对中的一个崩溃但另一个没有崩溃，则在崩溃的一半上重复实验。