tensorflow slim多GPU无法工作

Question

目前我使用 tensorflow slim 从头开始​​训练模型。如果我只是按照这里https://github.com/tensorflow/models/tree/master/slim#training-a-model-from-scratch 的说明进行操作，一切正常。

但是，我想使用多 GPU，所以我设置了 --num_clones=2 或 4，它们都不起作用。结果是他们都卡在 global_step/sec: 0 上。他们无法继续。你可以在这里看到结果图片error result

DATASET_DIR=/tmp/imagenet
TRAIN_DIR=/tmp/train_logs
python train_image_classifier.py \
--num_clones=4 \
--train_dir=${TRAIN_DIR} \
--dataset_name=imagenet \
--dataset_split_name=train \
--dataset_dir=${DATASET_DIR} \
--model_name=inception_v3

希望有人可以帮助我，在此先感谢。顺便说一句，我在 Ubuntu 16.04 上使用 tensorflow 1.1 和 python 35。如果您需要更多信息，请告诉我。

Answer 1

您的问题类似于我使用 tf-slim 从单 GPU 切换到多 GPU 配置后的经历。我观察到参数服务器作业假定名称为“localhost”，这与 model_deploy 分配给我的 CPU 设备的默认作业名称冲突。我建议您按照this tensorflow.org article 的“记录设备放置”部分检查设备名称。它解释了如何在每个操作的基础上将设备名称打印到控制台。然后，您可以将实际作业名称作为参数传递给 DeployConfig() 的 ps_job_name 参数并继续训练。