分布式张量流中参数服务器与主服务器的良好比例是多少？

Question

假设我有 10 台机器，每台机器有 2 个 GPU，我想运行一个分布式 TensorFlow 集群。我应该为 VS master 分配多少个参数服务器？

Answer 1

一个好的启发式方法是分配最少数量的参数服务器，这样网络带宽就不会成为瓶颈。

例如，假设您有 1000 万个参数，每个计算步骤需要 1 秒。这意味着每秒钟一个工作人员发送 40MB 的参数更新向量并接收相同大小的参数向量。因此每个工作人员需要 320 Gbps 双工带宽。假设你有 10 个工人。使用单个参数服务器，您的 PS 服务器将需要 3.2 Gbps 带宽。

现在假设您的网卡支持 1 Gbps 全双工。为避免以太网卡饱和，您至少需要 4 个参数服务器工作器。