我应该使用 EC2 虚拟机中的哪些参数来优化 H2O 的 XGBoost 性能？答案

【问题标题】：What parameters in a EC2 virtual machine should I use to optimize H2O's XGBoost performance?我应该使用 EC2 虚拟机中的哪些参数来优化 H2O 的 XGBoost 性能？
【发布时间】：2021-08-10 10:53:20
【问题描述】：

我正在尝试在 r4.8x large 上运行 H2O xgboost。但运行时间太长（15 小时以上，而具有相同超参数网格大小的 GBM 需要 4 小时）。

知道 XGBoost 使用缓存优化，是否有任何特定的实例类型最适合 H2O 的 XGBoost 实现？

我的训练数据有 28K 行和 150 个二进制列。我正在运行网格搜索。

【问题讨论】：

也许问题可以改写为：我应该优化虚拟机中的哪些参数才能从 xgboost 算法中获得最佳性能？（我认为“推荐”这个词可能会引发接近投票；但这个问题似乎可以用事实来回答。）
感谢达伦的建议。我已经进行了编辑

标签： amazon-web-services amazon-ec2 xgboost h2o h2o.ai

【解决方案1】：

更改您的 EC2 实例不一定会使其更快。您需要了解瓶颈在哪里。查看日志并查看 GBM 与 XGBoost 的对比。 XGBoost 是创建更深的树还是更多的树？这可能是两种算法之间的设置不同。检查所有超参数是否相似（尽可能接近）。

此外，XGBoost 使用 H2O 的 JVM 外部的内存。如FAQ of H2O's XGBoost docs 中所述，尝试添加-extramempercent 120 并降低您的H2O 内存。

【讨论】：