【发布时间】：2018-01-04 17:09:11
【问题描述】：
当我们有一个参数服务器由其工作人员更新时，为相同数量的工作人员设置多个参数服务器会产生什么影响？
即当我们有多个参数服务器而不是一个参数服务器时会发生什么？
谢谢。
【问题讨论】：
标签： tensorflow parameters parallel-processing distributed
【发布时间】：2018-01-04 17:09:11
【问题描述】：
这被称为具有多个参数服务器分片。这提供了更多细节 https://static.googleusercontent.com/media/research.google.com/en//archive/large_deep_networks_nips2012.pdf，尤其是第 4.1 节
为了将 SGD 应用于大型数据集，我们引入了 Downpour SGD，一种变体 使用多个异步随机梯度下降 单个 DistBelief 模型的副本。基本方法如下 如下：我们将训练数据分成多个子集并运行 每个子集上的模型副本。模型交流 通过一个集中的参数服务器进行更新，该服务器保持 模型所有参数的当前状态，分片到许多 机器（例如，如果我们有 10 个参数服务器分片，每个分片是 负责存储和应用更新到模型的 1/10 参数）（图2）
【讨论】：