使用 Tensorflow 使用多个 CPU 内核

Question

我可以使用具有多个 CPU 内核（即 56 个）的计算机，并且在使用 Tensorflow 训练模型时，我希望通过使每个内核成为模型的独立训练器来最大限度地利用上述内核.

在 Tensorflow 的文档中，我发现这两个参数（Inter 和 Intra Op 并行度）在训练模型时控制并行度。但是，这两个参数不允许执行我想要的。

如何让每个核心都成为独立的工作人员？ （即，一批样本由每个工作人员分片，然后每个工作人员根据分配的样本计算梯度。最后，每个工作人员根据其梯度更新变量（由所有工作人员共享）已经计算过了。

Answer 1

要在所有 56 个 CPU 内核之间有效地并行化，您必须使用 Distributed TensorFlow。也可以使用线程进行并行化，但它不能很好地扩展到这么多内核。