【发布时间】：2017-11-22 04:29:46
【问题描述】：
我尝试在 10M+ 训练数据上训练 --oaa vowpal wabbit 分类器，发现它只使用一个核心。有什么办法让它使用全部 12 个核心？
【问题讨论】：
标签： vowpalwabbit
【发布时间】：2017-11-22 04:29:46
【问题描述】：
VW 使用两个线程：一个用于加载和解析输入数据，另一个用于机器学习。
VW 附带一个spanning_tree 工具，用于在集群（例如 Hadoop）或单台机器（--span_server localhost）上并行执行多个 VW 实例（AllReduce）。
也就是说，我认为 12 个内核不足以让 AllReduce 获得回报。为了获得最佳结果，无论如何您都需要进行超参数搜索，因此您可以使用 12 个内核并行进行。
【讨论】：
-
您可能还想避免使用
--audit，否则可能会根据您的磁盘速度减慢几个数量级。