使用不同的 GPU 恢复训练 Caffe？

Question

请原谅可能是个疯狂的问题。

我的设置：两台机器，一台使用 GTX1080，一台使用 RX Vega 64。在 GTX1080 上重新训练/微调 bvlc_googlenet 模型。

如果我为 Vega 64 构建 Caffe，那么我可以从 GTX1080 机器上拍摄快照并在 Vega 64 上重新开始训练吗？从某种意义上说，这是否可以正常进行培训？

如果我将 GTX1080 快照移动到 AWS 中的 Volta V100 会怎样？这行得通吗？

我知道 Caffe 会在某种程度上抽象硬件，但我不知道它在这方面做得如何。我需要 GTX 1080 来做其他事情...

提前致谢！

Answer 1

据我所知，这应该没有问题。权重文件和训练快照只是一团数字，您应该能够在其他硬件（例如 CPU/GPU）、具有不同操作系统的不同机器或 32 位和 64 位进程之间恢复。