TensorFlow：分布式环境中的自动算子放置

Question

我是 Tensorflow 的新手，这些天在尝试以分布式方式在 TF 上运行模型时遇到了困难。当我浏览过Distributed TensorFlow 时，我知道如何指定哪些操作需要放置在哪些设备上。

但我想要的是，给定一个数据流图和多台机器上的一组设备，TF 可以自己确定应该如何分割这个图以及每个部分应该放在哪里。

但我没有找到合适的解决方案。所以我想知道
1.如果TF可以自动拆分数据流图，将每个部分放到多台机器上？
2.我应该如何编写代码？举个例子会很有帮助！

Answer 1

TF 有自己的方式将图表的不同部分放置在不同的设备上（不一定是机器，因为 1 个 GPU 算作 1 个设备，但 1 台机器可以有 8 个 GPU）。变量/操作放置背后的机制与成本估算和一些启发式指标有关，在TF white paper 中进行了描述。