并行训练神经网络，理论框架答案

【问题标题】：Training neural networks in parallel, theoretical framework并行训练神经网络，理论框架
【发布时间】：2017-02-22 16:09:55
【问题描述】：

我正在研究神经网络，目前正在探索除我的 cpu 之外的其他方法来加速训练过程。在 AWS 的 GPU 机器上使用 Keras 和 Tensorflow，我能够真正加快这个过程。

这种并行化在理论上是如何工作的？ （我不考虑集群并行化）

我很难找到参考资料，所以请您了解一下它的工作原理。

提前谢谢你

【问题讨论】：

如果您使用单个 GPU，那么加速是由于硬件在执行矩阵乘法时更快。除了在 GPU 机器上有效计算神经网络操作的技术之外，不涉及并行化。
是的，就是这样。对于第二个问题，我深表歉意，希望它不会打扰您：是否有类似 openMP 之类的东西，如您所知的神经网络共享内存训练？
@fabrizioM GPU 的加速是并行化，特别是 instruction-level parallelization。此外，单个 GPU 和多个 GPU 之间几乎没有根本区别。无论哪种方式，它只是一堆计算单元，只是在一种情况下，它们在一个板上连接在一起而不是几个板上。相关：SIMD.
在算法策略层面，单张和多张卡的处理方式有很大的根本区别

【解决方案1】：

虽然我不熟悉相关实现，但训练神经网络意味着优化该神经网络的参数，例如神经连接的权重。

常见的优化方法包括quasi-Newton methods，它们受矩阵求逆等矩阵数学运算的速率限制。 GPU在这里可以大大提高计算速度。

参考资料：

【讨论】：